Edward Kennedy Ellington se narodil 29. dubna 1899. Jeho rodiče se jmenovali James Edward Ellington a Daisy Kennedy Ellingtonová. Žili s Daisyinými rodiči ve
Washingtonu, D.C. James Edward Ellington (J.E.) se narodil 15. dubna 1879 v Lincolntonu v Severní Karolíně a v roce 1886 se s rodiči přestěhoval do Washingtonu, D.C. Daisy Kennedyová se narodila 4. ledna 1879 ve Washingtonu, D.C. Její rodiče se narodili v roce 1879. Její otec byl americký
otrok. J. E. pracoval pro námořnictvo Spojených států. Pracoval také jako komorník u bílého lékaře. Příležitostně pracoval jako zásobovač v
Bílém domě... Daisy i J. E. hráli na klavír.
V sedmi letech se Ellington začal učit hrát na klavír. Daisy pomáhala svému synovi naučit se dobrým mravům. Ellingtonovi přátelé si všimli, že se chová jako gentleman, a dali mu přezdívku "Duke"." Zpočátku se Ellington více zajímal o baseball než o hru na klavír. Později si vzpomněl, že ho při hře baseballu sledoval prezident Theodore Roosevelt. Ellington navštěvoval Armstrongovu technickou střední školu ve Washingtonu, D. C. Jeho první prací bylo prodávání buráků na baseballových zápasech Washington Senators. Tato práce mu pomohla získat větší sebevědomí.
V roce 1914 napsal Ellington svou první píseň. Pracoval v kavárně, kde podával limonádu z fontánky. Jeho píseň se jmenovala "Soda Fountain Rag". Tehdy ještě neuměl číst ani psát noty. Ellington zameškal mnoho hodin klavíru a myslel si, že mu to moc nejde. Když mu bylo 14 let, slyšel hrát klavíristy v kulečníkové herně. Inspirovalo ho to k tomu, aby se více snažil hrát na klavír.
Hru na klavír slyšel ve Washingtonu, D.C., Philadelphii a Atlantic City. Snažil se kopírovat styly, které slyšel. Začal se učit o harmonii a naučil se číst a psát noty. Začal vystupovat v kavárnách a klubech ve Washingtonu D.C. V roce 1916 získal stipendium na studium umění na Prattově institutu v Brooklynu, ale rozhodl se raději věnovat hudbě.
V letech 1917-1919 zahájil Ellington svou profesionální hudební kariéru. Přes den pracoval jako malíř nápisů. V noci hrál na klavír. Někdy dostával práci při hře na klavír od lidí, které potkával ve svém druhém zaměstnání. Založil svou první kapelu "The Duke's Serenaders". Hráli ve Washingtonu, D.C. a Virginii na tanečních zábavách a večírcích. Dalšími hudebníky v jeho kapele byli Otto Hardwick na baskytaru a poté na saxofon, Arthur Whetsol na trubku, Elmer Snowden na banjo a Sonny Greer na bicí. Hráli jak pro bílé, tak pro černé, což bylo tehdy neobvyklé.
