Columbia leží na podzimní linii od Appalačského pohoří. Spádová čára je místo, kde lodě nemohou plout dále proti proudu, a je to také místo nejdále po proudu, kde padající voda může užitečně pohánět mlýn.
Hlavním městem státu byl před rokem 1790 Charleston na pobřeží Atlantského oceánu. V roce 1786 se zákonodárný sbor rozhodl přesunout hlavní město do středu státu a pro jeho polohu na řece pouhých 13 mil (21 km) severozápadně od geografického centra Jižní Karolíny bylo vybráno místo Columbia. Státní zákonodárný sbor zde poprvé zasedal v roce 1790. Po prvních dvou desetiletích své existence zůstala Columbia pod přímou správou zákonodárného sboru, v roce 1805 byla začleněna jako vesnice a v roce 1854 jako město. Velkým impulsem pro rozvoj Columbie bylo přímé vodní spojení s Charlestonem, které zajišťoval kanál Santee. Tento kanál spojil řeky Santee a Cooper v úseku dlouhém 22 mil (35 km). Poprvé byl pronajat v roce 1786 a dokončen v roce 1800, což z něj činí jeden z prvních průplavů ve Spojených státech. S nárůstem železniční dopravy byl jeho provoz ukončen kolem roku 1850.
Columbia byla jedním z prvních plánovaných měst ve Spojených státech. Je známé svými širokými ulicemi.
Během občanské války 17. února 1865 zničil požár velkou část Columbie, která byla obsazena vojsky Unie pod velením generála Williama Tecumseha Shermana.
Ve 20. století se Columbia stala regionálním centrem textilní výroby. Ve dvacátých letech 20. století postavili kolumbijští podnikatelé na řece Saluda velkou přehradu na výrobu vodní energie. Přehrada využívající místní červenou jílovitou půdu a skalní podloží byla po svém dokončení v roce 1930 největší zemní přehradou na světě. Jezero Murray, které přehrada vytvořila, je dlouhé 41 mil (66 km) a v nejširším místě široké 14 mil (23 km). V době, kdy bylo jezero dokončeno, bylo největší uměle vybudovanou nádrží na světě. Ze společnosti, která přehradu postavila, se stala společnost SCANA Corporation, jeden z největších zaměstnavatelů v Kolumbii.
Město Columbia v nedávné době realizovalo řadu projektů přestavby a několik dalších plánuje. V historické čtvrti Congaree Vista, která se rozkládá na ploše 1 200 akrů (5 km2 ) a táhne se od centrální obchodní čtvrti směrem k řece Congaree, se nachází řada historických budov, které byly zrekonstruovány.