Sarrazin se narodil v německém městě Gera. Jeho otec byl lékař a matka dcera západopruského statkáře. Jeho otcovská rodina, francouzská hugenotská rodina, pocházela z Burgundska. Jeho babička byla Angličanka a Italka. Vysvětlil, že jeho jméno znamená Saracén (tj. muslim) a je běžné v jižní Francii. Pochází od arabských pirátů, kterým se ve středověku říkalo "Saracéni". Jeho matka má polský původ. Sám sebe označil za "evropského míšence".
Vyrůstal v Recklinghausenu. V sedmi letech odešel do sirotčince v Bavorsku. Vystudoval místní gymnázium a poté v letech 1967-1971 sloužil v armádě. Poté studoval ekonomii na univerzitě v Bonnu, kde získal doktorát. Od listopadu 1973 do prosince 1974 pracoval pro Nadaci Friedricha Eberta a začal působit v SPD.
V roce 1975 začal Sarrazin pracovat na federálním ministerstvu financí. Do roku 1981 působil jako vedoucí oddělení na ministerstvu práce a sociálních věcí. V roce 1981 se vrátil na federální ministerstvo financí. V říjnu 1981 začal pracovat jako vedoucí úřadu a byl blízkým spolupracovníkem spolkového ministra financí Hanse Matthöfera a jeho nástupce Manfreda Lahnsteina. I po skončení socialisticko-liberální koalice v říjnu 1982 zůstal Sarrazin na ministerstvu financí. Zde byl ředitelem několika útvarů, mimo jiné (v letech 1989-1990) "Innerdeutsche Beziehungen", které připravovaly německou měnovou, hospodářskou a sociální unii. Během svého působení v čele spolkového ministerstva financí byl částečně zodpovědný za německé železnice.
V letech 1990 až 1991 pracoval Sarrazin pro Treuhand. Poté byl až do roku 1997 státním tajemníkem na ministerstvu financí v Porýní-Falci.
Sarrazin je ženatý s Ursulou Sarrazinovou (rozenou Breitovou) a má dva syny.
