Thielemans začal svou kariéru jako kytarista. V roce 1949 se v Paříži zúčastnil jam session se Sidneym Bechetem, Charlie Parkerem, Milesem Davisem, Maxem Roachem a dalšími. V letech 1949 a 1950 se zúčastnil evropských turné s Bennym Goodmanem. Svou první nahrávku natočil v Paříži s kolegou z kapely, tenorsaxofonistou Zootem Simsem. V roce 1951 se stal členem kapely Bobbejaan Schoepen.
V roce 1952 se přestěhoval do USA. Byl členem Charlie Parker's All-Stars a spolupracoval s Milesem Davisem a Dinah Washington. Hrál a nahrával s Ellou Fitzgerald, Jaco Pastoriusem, Peggy Lee, The George Shearing Quintet, Quincy Jonesem, Oscarem Petersonem, Billem Evansem, Paulem Simonem, Billy Joelem, The Happenings, Astrud Gilberto, Shirley Horn, Elis Reginou a dalšími.
Jazzovým standardem Tootse Thielemanse je skladba "Bluesette", kde použil pískání a kytaru v souznění. Poprvé ji Toots nahrál v roce 1962, slova k ní přidal Norman Gimbel a píseň se stala velkým celosvětovým hitem. Jeho hru na foukací harmoniku můžeme slyšet také ve filmech Půlnoční kovboj, Jean de Florette, Sugarlandský expres, Yakuza, Turecké potěšení, Útěk, Francouzský polibek, Dunderklumpen. Jeho hudba zazněla také v televizních pořadech, například v Sezamové ulici, belgickém seriálu Witse a nizozemském seriálu Baantjer. V roce 1974 vytvořil hudbu ke švédskému filmu Dunderklumpen!. Namluvil také hlas animované postavičky Pellegnillota.
Jeho pískání a hru na foukací harmoniku můžete slyšet v rozhlasových a televizních reklamách na Old Spice, které byly natočeny v průběhu let. V 80. letech vystupoval s baskytaristou a skladatelem/kapelníkem Jaco Pastoriusem. V roce 1983 se podílel na albu Billyho Joela An Innocent Man a jeho charakteristická harmonika je slyšet ve skladbě "Leave a Tender Moment Alone". O rok později se objevil v písni Juliana Lennona "Too Late For Goodbyes" z alba Valotte. V roce 1984 nahrál poslední album Billyho Eckstinea (I Am A Singer). V roce 1998 vydal album ve francouzském stylu s názvem "Chez Toots". Obsahovalo album Les Moulins De Mon Coeur (Mlýny mého srdce), na kterém hostoval zpěvák Johnny Mathis.
Kromě toho, že byl oblíbený jako hudebník, byl oblíbený i pro svou skromnost a laskavé chování. V roce 2001 byl Thielemans belgickým králem Albertem II. povýšen na barona.
