V prosinci 2001 Perdue rezignoval na funkci senátora, aby mohl kandidovat na post guvernéra. V roce 2002 vyhrál guvernérské volby v Georgii, když porazil dosavadního guvernéra Roye Barnese z řad demokratů poměrem 51 % ku 46 %, přičemž kandidát libertariánů Garrett Michael Hayes získal 2 % hlasů. Stal se prvním republikánským guvernérem Georgie po více než 130 letech od doby Benjamina F. Conleyho.
Jako guvernér vedl Perdue reformy zaměřené na omezení plýtvání ve státní správě, zejména prodej přebytečných vozidel a nemovitostí. Pomohl Georgii dostat se z posledního místa v zemi ve výsledcích testů SAT. Přestože se v roce 2005 vrátila na poslední místo, v roce 2006 se Georgia v kombinovaném průměrném skóre z matematiky a čtení, včetně části testu, která byla v tomto roce přidána, dostala na 49. místo. Perdue také vytvořil další možnosti pro charterové a soukromé školy. V roce 2006 Perdue podepsal zákon, který Georgii poskytl "jedny z nejtvrdších opatření proti nelegální imigraci v zemi".
V roce 2006 byl Perdue ve volbách guvernéra Georgie znovu zvolen do druhého funkčního období, když získal téměř 58 % hlasů. Jeho demokratickým soupeřem byl viceguvernér Mark Taylor. Na volebním lístku byl také libertarián Garrett Michael Hayes.
2007 modlitba za déšť
13. listopadu 2007, kdy Georgii postihlo jedno z nejhorších such za posledních několik desetiletí, vedl Perdue skupinu několika set lidí k modlitbě na schodech státního Kapitolu. Perdue k davu promluvil: "Sešli jsme se zde jednoduše z jednoho jediného důvodu: "Bože, potřebujeme tě, potřebujeme déšť" a "velmi uctivě a s úctou se pomodlit".
