Po maturitě v roce 1944 se Davis přestěhoval do New Yorku, kde studoval na Juilliard School of Music.
Když přijel do New Yorku, většinu času se snažil navázat kontakt s Charliem Parkerem, i když mu někteří lidé říkali, že by to neměl dělat. Když Parkera našel, Davis se zapojil do jam sessions, které se konaly každý večer ve dvou harlemských nočních klubech, Minton's Playhouse a Monroe's. Těchto seancí se účastnili i další slavní hudebníci jako Thelonious Monk a Kenny Clarke.
Davis opustil Juilliard předčasně, protože nejprve požádal o svolení svého otce. Výuka na Juilliardu se mu nelíbila, protože se podle něj příliš zaměřovala na klasickou evropskou a "bílou" hudbu. Říkal také, že mu hodiny na Juilliardu pomohly pochopit hudební teorii.
Začal profesionálně hrát v mnoha jazzových skupinách a vystupoval v několika klubech na 52. ulici s Colemanem Hawkinsem a Eddiem "Lockjawem" Davisem. V roce 1945 poprvé vstoupil do nahrávacího studia jako člen skupiny Herbieho Fieldse. V roce 1946 pořídil svou první nahrávku jako kapelník, a to se skupinou nazvanou "Miles Davis Sextet plus Earl Coleman and Ann Hathaway". V této době již jako kapelník mnoho nahrávek nepořídil.
Kolem roku 1945 přestal Dizzy Gillespie s Parkerem spolupracovat a Parker najal Davise jako Gillespieho náhradu ve svém kvintetu. Ve skupině dále hráli Max Roach za bicími, Al Haig (později ho nahradili Sir Charles Thompson a Duke Jordan) na klavír a Curley Russell (později ho nahradili Tommy Potter a Leonard Gaskin) jako baskytarista.
S Parkerovým kvintetem Davis několikrát nahrával. Měl sólo v Parkerově charakteristické písni "Now's the Time". Toto sólo vedlo k počátkům jazzového stylu zvaného "cool jazz". Skupina také absolvovala turné po Spojených státech. Během turné v Los Angeles se Parker nervově zhroutil a na několik měsíců odešel do státní psychiatrické léčebny v Camarillu. Davis uvízl v L. A. Zůstal u jazzového hudebníka Charlese Minguse, se kterým hrál hudbu. Později získal práci u Billyho Eckstina na kalifornském turné, které ho přivedlo zpět do New Yorku. V roce 1948 se Parker vrátil z Los Angeles a Davis se opět připojil k jeho skupině.
Hudebníci v Parkerově skupině spolu příliš nevycházeli. Parkerovo chování bylo kvůli jeho drogové závislosti nepředvídatelné. Davis a Roach nesouhlasili s tím, aby Parker najal jako pianistu Duka Jordana, a dali by přednost Budu Powellovi). V prosinci 1948 Davis skupinu opustil po hádce s Parkerem v Royal Roost. Začal pracovat více samostatně s různými skupinami v New Yorku.
