Město je pojmenováno podle řeky (starorusky гра́д Моско́в, což znamená "město u řeky Moskvy"). Počátek názvu není znám, ale někteří lidé mají několik nápadů. Jednou z nich je, že název může pocházet z velmi starého finského jazyka, v němž znamená "temný" a "zamračený". První ruská zmínka o Moskvě pochází z roku 1147, kdy Jurij Dolgorukij vyzval novgorodsko-severského knížete (Severní Novgorod), aby "přišel ke mně, bratře, do Moskvy".
O devět let později, v roce 1156, nařídil kníže Jurij Dolgoruki postavit kolem rostoucího města dřevěnou zeď, která musela být mnohokrát přestavována. Po útoku v letech 1237-1238, kdy Mongolové město vypálili do základů a vyvraždili jeho obyvatele, se Moskva opět rozrostla a v roce 1327 se stala hlavním městem Vladimirsko-suzdalského knížectví (území, kterému vládne kníže). Výhodná poloha na počátku řeky Volhy napomohla tomu, že se město pomalu rozrůstalo a zvětšovalo. Moskva se na dlouhá léta proměnila v klidné a bohaté knížectví, známé jako Moskevské velkoknížectví, a stěhovalo se sem velké množství lidí z celého Ruska.
Za Ivana I. nahradilo město Tver jako politické centrum Vladimiru-Suzdalu a stalo se jediným výběrčím daní pro mongolsko-tatarské vládce. Odváděním vysokých daní si Ivan vyjednal s chánem důležitou dohodu. Na rozdíl od jiných knížectví nebyla Moskva rozdělena mezi jeho syny, ale přešla celá na nejstaršího z nich. Moskvě se však mongolská vláda nelíbila. V roce 1380 vedl moskevský kníže Dmitrij Donskoj ruské vojsko k důležitému vítězství nad Tatary v bitvě u Kulikova. Jen o dva roky později Moskvu přepadl chán Tohtamyš. V roce 1480 Ivan III. konečně vymanil Rusy z tatarské nadvlády a umožnil Moskvě stát se centrem moci v Rusku. Za Ivana III. se město stalo hlavním městem říše, která nakonec zahrnovala celé Rusko a další země.
V roce 1571 vtrhli Krymští Tataři do Moskvy a vypálili vše kromě Kremlu.
V roce 1609 táhla švédská armáda vedená hrabětem Jacobem de la Gardie a Evertem Hornem z Velkého Novgorodu na pomoc caru Vasiliji Šujskému do Moskvy. V roce 1610 vstoupili do Moskvy a zastavili revoluci proti carovi, ale počátkem roku 1611 odešli. Poté do Moskvy vtrhli Poláci. Během polsko-moskevské války (1605-1618) vstoupil do Moskvy hejtman (velitel vojska) Stanisław Żółkiewski poté, co porazil Rusy v bitvě u Klushina. V 17. století proběhlo mnoho revolucí, například solná vzpoura (1648), měděná vzpoura (1662) a moskevské povstání v roce 1682.
Mor v letech 1654-1656 zahubil polovinu obyvatel Moskvy. Město přestalo být hlavním městem Ruska v roce 1712 poté, co Petr Veliký v roce 1703 vybudoval u pobřeží Baltského moře Petrohrad. Poslední velkou morovou epidemií ve středním Rusku byl mor v roce 1771, který jen v Moskvě zabil 100 000 lidí. Během francouzské invaze do Ruska v roce 1812 Moskvané město vypálili a utekli, když se Napoleonova armáda 14. září blížila k městu. Napoleonova armáda, která byla velmi hladová a promrzlá, musela odejít a byla téměř zničena mrazivou ruskou zimou a některými útoky armády.
V lednu 1905 se Alexandr Adrianov stal prvním moskevským starostou. Po ruské revoluci v roce 1917 se Moskva 12. března 1918 stala hlavním městem Sovětského svazu. Během druhé světové války (v Rusku známé jako Velká vlastenecká válka), po německé invazi do SSSR, byla v Moskvě umístěna sovětská Skupina obrany státu a velitelé Rudé armády.
V roce 1941 bylo mezi Moskvany vytvořeno 16 skupin národních dobrovolníků (více než 160 000 osob), 25 praporů (18 500 osob) a čtyři ženijní pluky. V listopadu téhož roku byla německá armáda zastavena na okraji města a poté zahnána v bitvě o Moskvu. Mnoho továren bylo odsunuto, velká část vlády také a od 20. října bylo město prohlášeno za obležené. Jeho obyvatelé, kteří zůstali, budovali a používali protitankovou obranu, zatímco město bylo bombardováno ze vzduchu. Josef Stalin (vůdce Ruska) město neopustil, takže ve městě zůstal i generální štáb. I přes probíhající obléhání pokračovala výstavba moskevského metra po celou dobu války a do konce války bylo otevřeno několik nových linek metra.
1. května 1944 byla Moskvě udělena medaile Za obranu Moskvy a v roce 1947 další medaile Na paměť 800. výročí Moskvy. Při příležitosti 20. výročí vítězství nad nacistickým Německem se 8. května 1965 Moskva stala jedním z dvanácti sovětských měst, kterým byl udělen titul Město hrdina.
V roce 1980 se v Moskvě konaly letní olympijské hry, na které Spojené státy a několik dalších západních zemí nejelo kvůli válce Sovětského svazu v Afghánistánu na konci roku 1979. V roce 1991 se Moskva stala dějištěm neúspěšného pokusu o svržení členů vlády, kteří se postavili proti pravidlům Michaila Gorbačova. Po zániku SSSR v témže roce zůstala Moskva i nadále hlavním městem Ruska.
Od té doby se v Moskvě s nástupem tržního hospodářství rozmohly obchody, služby, architektura a životní styl západního stylu. V roce 1998 se zde konaly první Světové hry mládeže.