Dne 4. března 2004 se Köhler vzdal svých funkcí, protože byl navržen na prezidentského kandidáta. Köhler porazil Gesine Schwanovou v prvním kole volby poměrem hlasů 604 ku 580. Pro vedlejší kandidáty bylo odevzdáno 20 hlasů, jeden volič chyběl kvůli infarktu. Köhler vystřídal Johannese Raua ve funkci prezidenta 1. července 2004 na pětileté funkční období. Prezidentský úřad v Německu je do značné míry ceremoniální funkcí. Má však také značnou morální autoritu. Od roku 2004 do začátku roku 2006 byl sídlem německého prezidenta palác Charlottenburg. Důvodem byla rekonstrukce zámku Bellevue.
Po svém zvolení Köhler prohlásil, že "vlastenectví a kosmopolitismus nejsou protiklady". Při představování svých vizí pro Německo Köhler také řekl, že "Německo by se mělo stát zemí idejí".
V červenci 2005 na žádost kancléře Gerharda Schrödera pozastavil činnost Spolkového sněmu. Schröder prohrál hlasování o důvěře ve Spolkovém sněmu. To vedlo k předčasným volbám do Spolkového sněmu v září 2005.
V říjnu 2006 učinil dalekosáhlé rozhodnutí, když vetoval zákon. Ten by převedl německý úřad pro leteckou bezpečnost Deutsche Flugsicherung do soukromého vlastnictví. Spolkový sněm tento zákon schválil, ale Köhler byl jako prezident oprávněn jej nepodepsat, pokud by podle jeho názoru odporoval ústavě. V prosinci 2006 nepodepsal zákon o informování spotřebitelů, protože ústava neumožňuje spolkové vládě dávat pokyny obecním úřadům. To mohou učinit pouze německé spolkové země. Předtím se stalo pouze šestkrát, že se německý prezident rozhodl odmítnout návrhy zákonů. Ve většině případů se jednalo o méně důležité právní předpisy. Jeho veta byla prvním výrazným příkladem v novodobé německé historii.
Ve svém vánočním projevu k národu v roce 2007 Köhler vyzval vládu, aby urychleně pokračovala v reformách. Kriticky se vyjádřil také k zavedení minimální mzdy v poštovním sektoru a uvedl, že "minimální mzda, kterou nemohou platit konkurenceschopní zaměstnavatelé, ničí pracovní místa".
Dne 22. května 2008 Köhler prohlásil, že chce kandidovat na druhé prezidentské období. Dne 23. května 2009 byl Spolkovým shromážděním znovu zvolen a 1. července 2009 složil přísahu na druhé funkční období.
V listopadu 2009 Köhler odmítl bez dalších informací podepsat "Zugangserschwerungsgesetz" (zákon o ztíženém přístupu). Zákon, jehož cílem je ztížit přístup ke stránkám na celosvětové síti s dětskou pornografií, považuje řada právních expertů za protiústavní.
Rezignace
Dne 31. května 2010 oznámil Köhler svou rezignaci na funkci německého prezidenta. Stalo se tak poté, co němečtí politici kritizovali Köhlerovy výroky týkající se nasazení vojenských sil v zahraničí:
Byl kritizován za svůj výrok, že vojenské mise Německa v zahraničí slouží také k zajištění obchodu. Později uvedl, že jeho výroky se týkaly pirátství u somálského pobřeží. Köhler prohlásil, že obvinění, že v rozhovoru překročil svou formální roli tím, že upřednostnil protiústavní postoj, nejsou opodstatněná. Poté, co Köhler ve sporu nezískal žádnou podporu, odstoupil 31. května 2010. V prohlášení uvedl: "Prohlašuji, že s okamžitou platností rezignuji na funkci předsedy". Rezignace byla považována za "překvapení". V následujících dnech byl kritizován za to, že se nedokáže vyrovnat s kritikou, přičemž sám je přísným kritikem. Jeho bezprecedentní akt okamžité rezignace byl rovněž považován za projev nedostatku úcty k jeho funkci.
Podle německé ústavy vykonával pravomoci uvolněného úřadu až do zvolení Christiana Wulffa 30. června 2010 dosavadní předseda Spolkového sněmu Jens Böhrnsen.
