První předchůdce GRU v post-taristickém Rusku vznikl 21. října 1918 pod záštitou Leona Trockého, který byl tehdy civilním dozorcem nad Rudou armádou. Původně se jmenovala Registrační ředitelství (Registrupravlenie, RU). Raymond W. Leonard ve svých dějinách počátečních let GRU píše: "GRU byla založena v roce 1952:
"Původně zřízené registrační oddělení nebylo přímo podřízeno generálnímu štábu Rudé armády... V roce 1921... bylo povýšeno na druhé (zpravodajské) ředitelství štábu Rudé armády.
Jeho úkolem bylo zpracovávat veškeré vojenské zpravodajství, zejména shromažďování zpravodajských informací vojenského nebo politického významu ze zdrojů mimo Sovětský svaz. GRU provozovala rezidentury po celém světě. Provozovali SIGINT (signální zpravodajství) na Kubě a v zemích bývalého sovětského bloku, zejména v Litvě, Lotyšsku a Estonsku.
GRU byla v sovětské vládě dobře známá svou tvrdou nezávislostí na konkurenčních "vnitřních zpravodajských organizacích", jako byly NKVD a KGB. V době vzniku GRU Lenin rozzuřil Čeku (předchůdce KGB) tím, že jí nařídil, aby nezasahovala do operací GRU. Přesto Čeka v roce 1919 do GRU infiltrovala. Tím byl zasazen zárodek tvrdé rivality mezi oběma agenturami, které se zabývaly špionáží. Tato rivalita byla ještě intenzivnější než mezi FBI a CIA.
Existence GRU nebyla za sovětské éry zveřejněna. Dokumenty o ní se na Západě objevily až koncem 20. let a zmínka o ní se objevila ve vzpomínkách prvního přeběhlíka z OGPU Georgese Agabekova z roku 1931. Walter Krivickij, nejvyšší zpravodajský důstojník Rudé armády, který kdy přeběhl, ji podrobně popsal ve své autobiografii z roku 1939 (Byl jsem Stalinův agent).
V Rusku a na Západě se stala široce známou během perestrojky. "Viktor Suvorov" (Vladimir Rezun), agent GRU, který v roce 1978 přeběhl do Velké Británie, napsal o svých zkušenostech ze sovětských vojenských a zpravodajských služeb. Podle Suvorova nemohl do sídla GRU vstoupit ani generální tajemník ÚV KSSS, aniž by prošel bezpečnostní prověrkou.
GRU je stále velmi důležitou součástí zpravodajských služeb Ruské federace, zejména proto, že nikdy nebyla rozdělena jako KGB. KGB byla rozpuštěna poté, co v roce 1991 napomohla neúspěšnému puči proti tehdejšímu sovětskému prezidentovi Michailu Gorbačovovi. Od té doby byla rozdělena na Službu zahraniční rozvědky (SVR) a Federální bezpečnostní službu (FSB).
GRU byla oficiálně rozpuštěna 7. května 1992. Nadále působí jako Hlavní zpravodajské ředitelství ruských ozbrojených sil.