V roce 1955 Fitzgerald opustil Deccu a připojil se ke Granzově nové nahrávací společnosti Verve Records. Později řekla: "Dostala jsem se do bodu, kdy jsem zpívala jen bebop. Myslela jsem si, že bebop je 'to' a že stačí někam zajít a zpívat bop. Ale nakonec jsem se dostala do bodu, kdy jsem neměla kde zpívat. Tehdy jsem si uvědomil, že hudba je víc než jen bop. Norman.... měl pocit, že bych měl dělat i jiné věci, a tak se mnou vydal The Cole Porter Songbook. Byl to zlomový bod v mém životě."
V roce 1956 vyšlo nové album Ella Fitzgerald Sings the Cole Porter Songbook. Bylo to první z osmi vícealbových "Songbooků", které zpěvačka nahrála pro Verve v letech 1956-1964. Mnohé z písní byly standardy a Fitzgeraldová se jimi snažila přiblížit i jinému než jazzovému publiku.
Ella Fitzgerald Sings the Duke Ellington Songbook byl jediným zpěvníkem, na kterém s ní hrál i autor písní. Duke Ellington a Billy Strayhorn, kteří spolu dlouho spolupracovali, hráli na polovině z 38 skladeb a napsali pro album dvě nové skladby: "The E and D Blues" a hudební skladbu o Fitzgeraldové (jediná skladba "Songbooku", v níž Fitzgeraldová nezpívá).
Série Zpěvník se stala Fitzgeraldovým nejoceňovanějším a nejoblíbenějším dílem. Deník New York Times v roce 1996 napsal: "Tato alba patřila k prvním popovým deskám, které věnovaly tak vážnou pozornost jednotlivým autorům písní, a měla zásadní význam pro etablování popového alba jako prostředku pro vážné hudební zkoumání."
Ella Fitzgerald nahrála v letech 1972 a 1983 také alba s písněmi Colea Portera a George Gershwina. Alba se jmenovala Ella Loves Cole a Nice Work If You Can Get It. Pozdější album s písněmi jednoho skladatele vyšlo v době, kdy působila u Pablo Records, pod názvem Ella Abraça Jobim s písněmi Antonia Carlose Jobima.
Během nahrávání Songbooků a příležitostných studiových alb absolvovala Fitzgeraldová s Normanem Granzem 40 až 45 týdnů ročně turné po Spojených státech i po celém světě. Granz jí pomohl stát se jednou z nejvýznamnějších živých jazzových interpretek.
V polovině 50. let se Fitzgerald stal prvním Afroameričanem, který vystoupil v hollywoodském nočním klubu Mocambo poté, co Marilyn Monroe přesvědčila jeho majitele, aby si ho objednal. To bylo pro Fitzgeraldovu kariéru velmi důležité. Podle této události napsala Bonnie Greerová divadelní hru, která bude od listopadu 2009 uvedena v londýnském West Endu.
Některá živá alba, která nahrála u Verve, jsou kritikou hodnocena dobře: Ella at the Opera House, Ella in Rome a Ella in Berlin.