Klug se narodil v Želvě v Litvě židovským rodičům. Když mu byly dva roky, rodina se přestěhovala do Jihoafrické republiky. Klug vystudoval přírodní vědy na Witwatersrandské univerzitě a poté studoval krystalografii na univerzitě v Kapském Městě, než se přestěhoval do Anglie, kde v roce 1953 dokončil doktorát na Trinity College v Cambridge.
Koncem roku 1953 se přestěhoval na Birkbeck College Londýnské univerzity a začal pracovat s Rosalind Franklinovou v laboratoři Johna Bernala. Tato zkušenost v něm vzbudila celoživotní zájem o viry. Během svého působení tam pracoval na struktuře viru tabákové mozaiky.
V roce 1962 se přestěhoval do nově vybudované Laboratoře molekulární biologie MRC v Cambridge. Klug použil metody rentgenové difrakce k rozvoji krystalografické elektronové mikroskopie. Při této metodě se kombinují dvojrozměrné obrazy krystalů pořízené z různých úhlů a vytvářejí se trojrozměrné obrazy cíle. Vypracoval strukturu důležitých komplexů nukleové kyseliny a proteinu.
V letech 1986-1996 byl ředitelem Laboratoře molekulární biologie v Cambridge a v roce 1988 byl povýšen do rytířského stavu. Byl zvolen prezidentem Královské společnosti, kterým byl v letech 1995-2000. V roce 1995 byl jmenován nositelem Řádu za zásluhy.
Klung zemřel 20. listopadu 2018 v Cambridge ve věku 92 let.