Ústí řeky Don je velmi důležité již od starověku. Bylo důležité z kulturních důvodů a pro obchod. Nacházela se zde řecká kolonie Tanais a také janovská pevnost Tana. Později zde Osmanská říše vybudovala pevnost. Tato pevnost dostala název Azov.
Rostov na Donu byl založen v roce 1749. V tomto roce byla na Donu postavena celnice. Později následovala velká pevnost. Byla pojmenována po svatém Dimitriji Rostovském. Dimitrij Rostovský byl biskup ze starého severního města Rostova Velikého. Postupem času význam pevnosti Asov stále klesal. Osada v blízkosti pevnosti se stala důležitější než pevnost. Byla obchodním centrem regionu. V roce 1796 získala tato osada městská práva a byla přejmenována na Rostov na Donu.
Řeka Don, po níž je město pojmenováno, je významnou lodní trasou. Spojuje jihozápadní Rusko s regiony na severu. Rostov na Donu je důležitým říčním přístavem pro lidskou i průmyslovou dopravu. Díky této výhodné geografické poloze se město rychle rozrůstalo. Je to nejprůmyslovější město jižního Ruska. Z tohoto důvodu město způsobilo velký problém mezi bílými a bolševiky během občanské války. Do roku 1928 byla regionální vláda přesunuta ze starého kozáckého hlavního města Novočerkasska do Rostova. Nedaleké arménské město Nor Nachijevan se stalo součástí města.
V sovětských letech bolševici zničili dvě hlavní rostovské památky - katedrálu svatého Alexandra Něvského (1908) a katedrálu svatého Jiří v Nachičevanu (1783-1807). Velkou část města zničila německá vojska, která jej třikrát ovládla - v letech 1918, 1941 a 1942. Dnes je nejpozoruhodnější částí historického města velmi velká katedrála Narození Panny Marie (1860-87), kterou navrhl Konstantin Thon.
Ve městě se narodil nejznámější ruský sériový vrah Andrej Čikatilo, který se zde však ve skutečnosti nenarodil.
Rostov na Donu zaznamenal v posledních letech velký hospodářský růst. Částečně proto, že ruská ekonomika posiluje. Mnoho nových společností si ve městě vybudovalo svá sídla. Lidé žijící ve městě vydělávají více peněz než v minulosti. Město se mění z místa, které se po pádu komunismu ocitlo v čase, v moderní, průmyslové a technologicky bohaté město.