Grünberg se narodil v Plzni v Čechách, které byly pod kontrolou nacistů. Země se nazývala Protektorát Čechy a Morava a dnes je známá jako Česká republika. Grünbergův otec se jmenoval Fjodor Grinberg, ale v roce 1941 si změnil jméno na Fjodor Grünberg.
Zbytek rodiny Grünbergů zůstal nějakou dobu v domě Petermannů v Untersekerschanu, ale po druhé světové válce museli všichni obyvatelé Plzně, kteří mluvili německy, opustit zemi. Jednalo se o takzvané Benešovy dekrety. S matkou (zemřela v roce 2002 ve věku 74 let) a sestrou se přestěhoval do Lauterbachu v Hesensku. Tam studoval na gymnáziu (škola druhého stupně).
Grünberg získal v roce 1962 diplom na Univerzitě Johanna Wolfganga Goetha. Poté studoval na Technické univerzitě v Darmstadtu v Německu, kde v roce 1966 získal diplom z fyziky a v roce 1969 doktorát. V letech 1969-1972 studoval na Carletonově univerzitě v kanadské Ottawě. Později nastoupil do Ústavu fyziky pevných látek ve Výzkumném centru v Jülichu, kde se až do svého odchodu do důchodu v roce 2004 stal předním vědeckým pracovníkem v oblasti magnetismu.