Nejstarší písemná zmínka o Castelsarrasinu jako Castel Sarracenum pochází z roku 961. Je zapsán v závěti Raymonda II. z Rouergue, v níž daroval kostel Saint-Sauveur klášteru Moissac.
Castel Sarracenum ("Saracénský hrad") dostal toto jméno proto, že byl postaven v saracénské době.
V rané historii města se odehrálo mnoho válek:
- proti Angličanům až do konce 12. století;
- albigenská křížová výprava v první polovině 13. století a
- křížové výpravy pastýřů v roce 1320, kdy bylo zabito mnoho Židů žijících ve městě.
Později region zasáhla stoletá válka. Většina obyvatel města byli katolíci, ale v jeho okolí žilo mnoho protestantů. Během francouzských náboženských válek v 16. století zde docházelo k častým bojům mezi těmito dvěma skupinami.
V následujících staletích, až do Velké francouzské revoluce, byl v regionu klidnější režim.
V letech 1790-1795 byl Castelsarrasin hlavním městem okresu Castelsarrasin v departementu Haute-Garonne. V roce 1808, kdy byl vytvořen departement Tarn-et-Garonne, se okres Castelsarrasin stal součástí nového departementu.