V roce 1920 se v texaském Houstonu sešli sportovní funkcionáři šesti texaských vysokých škol - C. H. Fuller z Bishop College, Red Randolph a C. H. Patterson z Paul Quinn College, E. G. Evans, H. J. Evans a H. J. Starns z Prairie View A&M, D. C. Fuller z Texas College a G. Whitte Jordan z Wiley College - aby projednali společné zájmy. Na tomto setkání se dohodli na vytvoření nové ligy SWAC.
Paul Quinn se stal prvním z původních členů, který ligu opustil v roce 1929. Když byla o dva roky později do konference vpuštěna Langstonova univerzita v Oklahomě, začala migrace státem podporovaných institucí do SWAC. Southern University vstoupila do ligy v roce 1934. Arkansas AM&N vstoupila v roce 1936 a Texas Southern University v roce 1954.
Jak se školy podporované státem zvětšovaly, bylo pro církevní školy obtížné platit sportovní týmy. Brzy začaly církví podporované školy konferenci opouštět. Bishop vystoupil z konference v roce 1956, Langston v roce 1957 a Huston-Tillotson (dříve Samuel Huston) v roce 1959. Stalo se tak rok poté, co do ligy vstoupily další dvě státem podporované školy (Grambling College a Jackson State College). Cyklus vstupů a odchodů pokračoval v roce 1961, kdy se stáhla Texas College, po níž v roce 1962 následoval vstup Alcorn A&M. Wiley odešla v roce 1968, ve stejném roce vstoupila Mississippi Valley State College. Arkansas AM&N vystoupila v roce 1970 a Alabama State University vstoupila v roce 1982. Arkansas-Pine Bluff (dříve Arkansas AM&N) se k SWAC vrátila 1. července 1997 a o rok později získala status plnoprávného člena. Alabama A&M University se stala desátým členem konference, když se v září 1999 stala plnoprávným členem po ročním období jako přidružený člen SWAC.
Současná mistrovská soutěž SWAC zahrnuje soutěže mužů v baseballu, basketbalu, cross country, fotbalu, golfu, halové atletice, venkovní atletice a tenisu. Soutěž žen je nabízena ve sportech basketbal, bowling, cross country, golf, halová atletika, venkovní atletika, fotbal, softbal, tenis a volejbal.
