Newcastle United
Carroll začal svou mládežnickou kariéru v Newcastlu United. Za rezervní tým vstřelil několik gólů. V prvním týmu debutoval 2. listopadu 2006. Tehdy mu bylo 17 let a 300 dní. Stalo se tak při vítězství 1:0 v Poháru UEFA nad Palermem. Nastoupil jako pozdní náhradník za Nolberta Solana. Stal se tak nejmladším hráčem, který kdy reprezentoval Newcastle v Evropě.
V FA Cupu debutoval 17. ledna 2007. I zde nastoupil jako náhradník na posledních deset minut. Birmingham City v tomto zápase porazil Newcastle 5:1. Dne 25. února 2007 Carroll debutoval za Newcastle v Premier League. Při porážce 1:0 od Wiganu Athletic nastoupil jako střídající hráč v 87. minutě. V tomto zápase se mu podařilo vystřelit na branku. Dobrý zákrok brankáře Wiganu Johna Filana mu zabránil vstřelit jeho první gól v dresu Newcastlu.
V roce 2007 se stal držitelem trofeje Wor Jackie Milburn Trophy. Ta je každoročně udělována vycházející hvězdě fotbalu severovýchodní Anglie.
29. července 2007 vstřelil Carroll svůj první gól v seniorské reprezentaci při výhře 2:0 nad Juventusem. Jednalo se o přátelský zápas. Gól vstřelil levou nohou. Po zápase Carrolla pochválil italský brankář Gianluigi Buffon. Buffon řekl, že Carroll má před sebou velkou budoucnost.
14. srpna 2007 si Carroll na šest měsíců vypůjčil Preston North End. Téhož dne debutoval v Ligovém poháru proti Morecambe. Dne 18. září byl Carroll vyloučen v utkání Prestonu proti Scunthorpe United. Svůj první gól v Championship a zároveň první gól v anglické lize vstřelil 6. listopadu proti Leicesteru City.
Carroll poprvé nastoupil za Newcastle v sezoně 2008/09 20. října. Nastoupil jako náhradník za Shola Ameobiho v domácím utkání s Manchesterem City. Carroll nastoupil v základní sestavě proti West Hamu United 10. ledna 2009. V tomto zápase vstřelil svůj první domácí gól. Byl to gól hlavou. Zápas skončil remízou 2:2. Dne 12. března 2009 podepsal novou smlouvu na tři a půl roku. Jeho smlouva v Newcastlu nyní skončila v roce 2012.
Newcastle v té sezoně sestoupil. Klub opustili útočníci prvního týmu Michael Owen, Mark Viduka a Obafemi Martins. Carroll se na začátku nové sezony připojil k Shole Ameobimu v útoku Newcastlu. Svůj první ligový gól v Championship vstřelil 16. září 2009 v utkání proti Blackpoolu hlavou. Do roku 2010 hrál Carroll téměř v každém zápase. Jeho novým útočným partnerem se stal Peter Løvenkrands. Tito dva hráči vstřelili v roce 2010 více než polovinu klubových gólů. Carroll zakončil sezónu jako nejlepší střelec Newcastlu. Ve všech soutěžích nastřílel 19 gólů. Z toho 17 v lize a 2 v pohárových zápasech.
Carroll dostal pro sezónu 2010/11 týmové číslo 9. Toto číslo je pro příznivce Newcastlu United důležité. Toto číslo za Newcastle nosili skvělí útočníci jako Jackie Milburn, Malcolm Macdonald a Alan Shearer. Carroll vstřelil svůj první hattrick v kariéře proti Aston Ville při jejich vítězství 6:0 v Premier League 22. srpna 2010. Carroll nastoupil jako náhradník za Kevina Nolana proti Manchesteru City. V tomto zápase byl poprvé kapitánem týmu. V říjnu 2010 podepsal Carroll novou pětiletou smlouvu. Jeho smlouva trvala do roku 2015. Dne 11. prosince 2010 vstřelil Carroll třetí gól Newcastlu při vítězství 3:1 nad Liverpoolem v St James' Parku. Byla to střela z 25 metrů. Střela byla nízká.
Liverpool
31. ledna 2011 nabídl Liverpool za Carrolla 30 milionů liber. Tato nabídka byla zamítnuta. Newcastle poté přijal nabídku ve výši 35 milionů liber. Carroll brzy absolvoval lékařskou prohlídku a podepsal smlouvu. Přestup byl dokončen krátce před uzávěrkou ve 23:00. Carroll prohlásil, že byl nucen Newcastle opustit. Klub však uvedl, že o přestup požádal poté, co odmítl nabídku Liverpoolu ve výši 30 milionů liber. Liverpool potvrdil, že Carroll bude nosit dres s číslem 9. Ten předtím nosil Fernando Torres, který odešel z Anfieldu do Chelsea tentýž večer za 50 milionů liber. Díky tomuto přestupu se Carroll stal v té době celkově osmým nejdražším fotbalistou. Byl nejdražším britským fotbalistou všech dob. Po Torresovi se stal také druhým nejdražším fotbalistou hrajícím za britský klub. Carroll utrpěl zranění během působení v Newcastlu United. Liverpool proto oznámil, že si Carroll bude muset na svůj debut nějakou dobu počkat.
Nakonec debutoval v Liverpoolu jako střídající hráč při vítězství 3:1 nad Manchesterem United 6. března 2011. Dne 10. března nastoupil ke svému prvnímu evropskému zápasu za Liverpool. Liverpool v zápase Evropské ligy prohrál s Bragou 1:0. Carroll přišel jako náhradník po poločase. V odvetném utkání o týden později poprvé nastoupil za Liverpool. Zápas skončil 0:0. Liverpool soutěž opustil, protože prohrál 1:0 na zápasy. Dne 20. března poprvé nastoupil za Liverpool v Premier League proti Sunderlandu. Skórovat se mu nepodařilo. Liverpool vyhrál 2:0. Dne 11. dubna Carroll vstřelil své první góly za Liverpool. Bylo to při vítězství 3:0 proti Manchesteru City na Anfieldu. Jeho první gól padl z dálky. Jeho druhý gól byl hlavičkový. V této sezóně se prosadil ještě několikrát. Další góly však již nevstřelil.
24. srpna 2011 vstřelil svůj první gól v nové sezoně. Vstřelil ho 20 metrů od branky. Zápas se hrál proti Exeter City. Ve druhém kole Ligového poháru se postaral o výsledek 3:0. Dne 1. října 2011 vstřelil svůj první gól v Premier League 2011/12 při vítězství 2:0 nad Evertonem v Goodison Parku. Svůj třetí gól v sezóně vstřelil při vítězství 2:0 venku na hřišti West Bromu. Svůj první gól v roce 2012 vstřelil při vítězství 5:1 ve třetím kole FA Cupu proti Oldhamu Athletic. Ve čtvrtém kole FA Cupu 28. ledna asistoval u gólu Dirka Kuyta v 88. minutě proti Manchesteru United. Výsledkem bylo vítězství Liverpoolu. Svůj pátý gól v sezóně vstřelil 31. ledna při vítězství 3:0 venku na hřišti Wolves. Stalo se tak v den jeho prvního výročí příchodu do klubu. V pátém kole FA Cupu Liverpool vyhrál 6:1 nad Brighton & Hove Albion. Carroll vstřelil jeden gól a na jeden gól asistoval Luisi Suárezovi. 26. února získal s Liverpoolem svou první trofej, když vyhrál Ligový pohár. Ve finále porazili Cardiff. Dne 10. dubna vstřelil gól z hlavičky proti Blackburnu během nastaveného času, Liverpool zápas vyhrál. Liverpool tak ukončil sérii čtyř zápasů bez výhry. O čtyři dny později vstřelil hlavou v závěru zápasu další gól, který Liverpoolu zajistil vítězství. Tentokrát se jednalo o vítězství 2:1 proti Evertonu v semifinále FA Cupu ve Wembley. Díky jeho gólu se Liverpool kvalifikoval do finále. Byl to jeho padesátý zápas odehraný za Liverpool. Carroll svůj vítězný gól v zápase popsal jako "nejlepší pocit v životě". Jeho spoluhráč Jamie Carragher řekl, že tento gól měl "sám o sobě hodnotu 35 milionů liber". Také řekl, že Carroll "bude navždy zapamatován". Carroll skóroval i ve finále, které Liverpool prohrál 2:1 s Chelsea.
West Ham United
Kouzlo půjčky
30. srpna 2012 podepsal Carroll smlouvu s West Hamem. Byl zapůjčen na celou sezónu. Liverpool chtěl do smlouvy zahrnout klauzuli, podle které by West Ham zaplatil 17 milionů liber za jeho trvalý příchod do klubu. Museli ji však odstranit, protože West Ham s tím nesouhlasil. West Ham nakonec zaplatil poplatek za sjednání půjčky ve výši 2 milionů liber. Začal také platit celou Carrollovu liverpoolskou mzdu ve výši 80 000 liber týdně.
Carroll debutoval 1. září. Připravil (asistoval) dva góly při domácím vítězství 3:0 nad Fulhamem. Svůj první gól vstřelil 25. listopadu 2012. Bylo to při venkovní porážce 3:1 proti Tottenhamu Hotspur. V listopadu se Carroll zranil. Vrátil se 2. února 2013 protiSwansea City. V tomto zápase vstřelil jediný gól. Carroll ukončil své hostování se sedmi góly ve 24 vystoupeních.
Trvalý převod
21. května 2013 se West Ham a Liverpool dohodly na částce přibližně 15 milionů liber za trvalý přestup Carroll souhlasil s přestupem a 19. června 2013 podepsal s West Hamem šestiletou smlouvu. Tato částka byla klubovým rekordem.
2013–14
Carroll začal sezónu 2013-14 zraněný. V posledním zápase minulé sezony měl problémy s patou. Poprvé v sezoně nastoupil 12. ledna 2014. Nastoupil jako střídající hráč v 72. minutě utkání proti Cardiffu City (2:0). Asistoval Marku Nobleovi u druhého gólu West Hamu.
1. února 2014 byl Carroll při výhře West Hamu nad velšským klubem 2:0 vyloučen za násilný zákrok proti obránci Swansea City Chicu Floresovi. Dne 15. března vstřelil svůj první gól v této sezóně Premier League při porážce 3:1 na hřišti Stoke City. Dne 31. března byl vyhlášen mužem zápasu televizní stanicí Sky Sports za způsob hry při vítězství 2:1 proti Sunderlandu na Stadium of Light. Vstřelil jeden gól a u druhého gólu West Hamu asistoval.
Carroll zakončil sezónu 2013/14 v Premier League s pouhými dvěma góly z 18 vystoupení.
2014–15
Během předsezónního turné na Novém Zélandu si Carroll poranil kotník. To znamenalo, že nemohl nastoupit do prvních jedenácti zápasů West Hamu v Premier League. Carroll se do týmu vrátil 8. listopadu 2014. V zápase s Aston Villou (0:0) nastoupil jako náhradník za Marka Noblea.
Carroll byl vybrán, aby nastoupil v dalším zápase Kladivářů. Odehrál celých devadesát minut. West Ham prohrál s Evertonem 1:2. Dne 7. prosince 2014 vstřelil své první dva góly v sezóně. Bylo to v zápase proti Swansea City. Kladiváři v zápase zvítězili na domácím hřišti 3:1. Byly to první góly, které doma vstřelil od března 2013. Dne 20. prosince vstřelil Carroll padesátý ligový gól v kariéře. West Ham porazil Leicester City 2:0.