Nejstarší části budovy pocházejí z roku 1094. Kolem roku 1270 byla postavena větší synagoga, která zahrnovala části starší budovy. Z této doby pochází západní stěna budovy. Zachovalo se v ní šest původních oken. Na počátku roku 1300 bylo přistavěno další patro.
V roce 1349 zemřelo mnoho lidí na nákazu černou smrtí. Lidé říkali, že za to mohou Židé. Židé byli vyvražděni a donuceni opustit město. Tento pogrom je známý jako erfurtský masakr. Synagoga byla poškozena a erfurtská městská rada převzala kontrolu nad budovou. Později ji prodala jednomu místnímu podnikateli. Ten ji využíval jako skladiště a provedl úpravy interiéru, včetně vybudování sklepa. Dalších 500 let sloužila ke skladování zboží.
Od 19. století sloužila budova jako taneční sál, restaurace a dokonce i jako kuželna. Tyto změny způsobily, že se na Staronovou synagogu většinou zapomnělo. Její historie nebyla uznávána, což přispělo k její ochraně v období nacismu.
Koncem 80. let 20. století se o starou budovu znovu projevil zájem. V roce 1992 ji začal zkoumat historik architektury Elmar Altwasser. V roce 1998 objekt koupila erfurtská radnice, která jej prozkoumala a zakonzervovala. Zachovány byly všechny etapy historie budovy, nejen její využití jako synagogy.
V roce 2007 objevili archeologové nedaleko Staré synagogy vzácnou a dobře zachovalou židovskou rituální lázeň mikve. Byla postavena kolem roku 1250.
V roce 2015 byla na seznam světového dědictví navržena Stará synagoga a mikve a kamenný dům ve středověkém centru Erfurtu postavený kolem roku 1250, který rovněž patřil Židům. Ta byla předběžně zapsána na seznam, ale konečné rozhodnutí ještě nepadlo.
