Hudbu napsal Haydn v roce 1797 jako hymnu Rakouska. Jmenovala se "Gott erhalte Franz den Kaiser" (Bůh ochraňuj našeho císaře Františka). Slova, která se používají dodnes, napsal v roce 1841 básník August Heinrich Hoffman von Fallersleben.
Dnes zní první věta "Německo, Německo nade vše" pro některé lidi příliš silně a často je špatně chápána. Fallersleben si při jejím psaní přál sjednocené Německo. V té době Německo nebylo jednou zemí, ale mnoha malými zeměmi. Takže "Německo nade vše" znamenalo, že nejdůležitější je mít sjednocené Německo. Básník také pobýval na Helgolandu, kde lidé mluvili německy, ale vládli jim Britové.
Fallerslebenova hudba byla ve druhé polovině 19. století v Německu velmi populární. Tato píseň tehdy nebyla národní hymnou, ale písní pro lidi, kteří milovali myšlenku silného a sjednoceného Německa. V roce 1918 nahradila hymnu Německého císařství "Heil Dir im Siegerkranz" ("Chvála válečnému vítězi"), když císař Vilém II. na konci první světové války ztratil moc. V roce 1921 napsal básník Albert Matthai "čtvrtou sloku", novou část nebo verš, se slovy o těžkém životě v tehdejším Německu. Nezpívala se příliš často.
Za Hitlera se používala pouze první část písně. Po ní často následovala nacistická stranická píseň. Tato část písně byla pro některé lidi, kteří nebyli Němci, obtížná, protože obsahuje slova popisující Německo jako zemi, k níž patří i území, které se nacházelo v jiných zemích.
Po druhé světové válce bylo Německo rozděleno na dvě země. V roce 1949 se nové západní Německo snažilo získat novou píseň pro státní hymnu. Byla vybrána jiná píseň, kterou napsal básník Rudolf Alexander Schröder. Nebyla však příliš populární. Nakonec se státní hymnou stala třetí část písně Fallersleben.
V druhé části Německa, ve východním Německu, byla použita slova básníka Johannese R. Bechera ("Auferstanden aus Ruinen" - "Znovu postaveno z trosek") s písní, kterou napsal Hanns Eisler. Nebyla příliš populární a od 70. let 20. století se slova nezpívala, protože se v ní objevil verš "Německo, [naše] sjednocená vlast".
Po sjednocení východního a západního Německa v roce 1990 se píseň Fallersleben opět stala německou hymnou, ale používá se pouze její třetí část. Dnes je první část písně oblíbená u nacionalistických extremistů.