V roce 1894 byl založen první fotbalový klub a o deset let později Rakouský fotbalový svaz (Österreichischer Fußball-Bund). Do roku 1904 byl vedoucím orgánem rakouského fotbalu Österreichische Fußball-Union, který však po založení ÖFB zanikl. V roce 1905 se stal členem FIFA. V roce 1908 hostil ÖFB pátý kongres FIFA. Od roku 1954 je ÖFB také členem UEFA.
Období před druhou světovou válkou bylo pro ÖFB nejúspěšnější. V letech 1930-1933 vyhrál takzvaný Wunderteam (zázračný tým) 14 zápasů. V roce 1934 dosáhli na čtvrté místo na mistrovství světa ve fotbale. Na olympijském fotbalovém turnaji v Berlíně získal rakouský tým stříbrnou medaili. Také po druhé světové válce se Rakousko zúčastnilo různých mistrovství světa ve fotbale: 1954, 1958, 1978, 1982, 1990 a 1998. Nejúspěšnějším mistrovstvím světa bylo mistrovství světa 1954 se třetím místem. Posledním mezinárodním turnajem bylo Euro 2008, které hostilo Rakousko a Švýcarsko.