Synové ruských židovských přistěhovalců Robert a Richard Shermanovi začali společně psát písně v roce 1951 na výzvu svého otce, písničkáře Al Shermana. Po zbytek desetiletí psali bratři společně a s různými textařskými partnery.
V roce 1958 Robert založil hudební vydavatelství Music World Corporation. Později navázal spolupráci s vydavatelstvím Wonderland Music Company, které je součástí BMI společnosti Disney. V témže roce měli bratři Shermanovi svůj první hit v první desítce s písní "Tall Paul", kterou nazpívala Myšák Judy Harriet na značce Surf Records. Skladbu nazpívala také Annette Funicello, členka skupiny Mouseketeer. Úspěch této písně přitáhl pozornost Walta Disneyho. Ten poté najal bratry Shermanovy jako zaměstnance studia Walt Disney, kteří se podíleli na psaní písní. První písní, kterou napsali na osobní objednávku Walta Disneyho, byla "Strummin' Song" v roce 1961. Byla použita v televizním filmu Annette Funicello s názvem The Horsemasters.
Během svého působení u společnosti Disney napsali bratři Shermanové více filmových hudebních skladeb než kterýkoli jiný autor v historii filmu. Napsali také jejich asi nejznámější píseň "it's a small world (after all)" pro Světovou výstavu v New Yorku v roce 1964. Od té doby někteří tvrdí, že se tato píseň stala nejpřekládanější a nejhranější písní na světě, ačkoli je to z velké části způsobeno tím, že se hraje na stejnojmenných atrakcích Disneyho zábavního parku "it's a small world".
V roce 1965 získali bratři Shermanové dva Oscary za film Mary Poppins, který obsahuje písně "Feed The Birds", "Supercalifragilisticexpialidocious" a oscarovou "Chim Chim Cher-ee". Od doby, kdy byla Mary Poppins poprvé uvedena, získali Shermanovi devět nominací na Oscara, dvě ceny Grammy, čtyři nominace na cenu Grammy a 23 zlatých a platinových desek.
Robert a Richard Shermanovi pracovali přímo pro Walta Disneyho a až do jeho smrti v roce 1966 dokončovali hudbu k hraným hudebním filmům Nejšťastnější milionář a Jediná a pravá, originální rodinná kapela. Po odchodu ze společnosti pracovali bratři na volné noze jako autoři hudby k filmům, televizním pořadům, výstavám v tematických parcích a divadelním muzikálům.
Jejich první nedisneyovská zakázka přišla v roce 1968 s filmovou produkcí Chitty Chitty Bang Bang Alberta R. Broccoliho pro United Artists. Za tuto píseň získali bratři třetí nominaci na Oscara za nejlepší původní píseň.
V roce 1970 se Shermanovi na krátkou dobu vrátili ke společnosti Disney, kde dokončili práci na filmech The Aristocats a Bedknobs and Broomsticks. Za posledně jmenovaný film získali bratři čtvrtou a pátou nominaci na Oscara. V roce 1972 byl uveden film Snoopy se vrací domů, za který bratři získali nominaci na Grammy.
V roce 1973 se bratři Shermanovi zapsali do historie také tím, že jako jediní Američané získali první cenu na filmovém festivalu v Moskvě za film Tom Sawyer, k němuž napsali i scénář.
V roce 1976 byla hra "The Slipper and the Rose" vybrána jako představení roku na královském velitelství. Představení se zúčastnila královna Alžběta, královna matka. Moderní muzikálová verze klasického příběhu o Popelce "Střevíček" obsahovala také písně, hudbu a scénář bratří Shermanů. Za tento film získali bratři další dvě nominace na Oscara. V témže roce dostali bratři Shermanové svou hvězdu na hollywoodském "chodníku slávy" přímo naproti Graumanovu čínskému divadlu.
Mezi další nejúspěšnější filmy bratrů Shermanových patří Kniha džunglí (1967), Aristokáti (1970), Past na rodiče (1961), Past na rodiče (1998), Šarlotina pavučinka (1973), Huckleberry Finn (1974),Mnoho dobrodružství Medvídka Pú (1977), Snoopy, vrať se domů (1972), Bedknobs and Broomsticks (1971) a Malý Nemo: (1989).
Mimo filmů je to jejich hit nominovaný na cenu Tony Over Here! (1974) se stal nejvýdělečnějším původním broadwayským muzikálem toho roku. Bratři Shermanové jsou také autory mnoha nejprodávanějších písní včetně "You're Sixteen", která se dvakrát dostala do první desítky žebříčku Billboard Hot 100: poprvé s Johnnym Burnettem v roce 1960 a poté na první místo s Ringo Starrem o více než třináct let později. Mezi další hity v první desítce patří "Pineapple Princess", "Let's Get Together" a další.
V roce 2000 napsali bratři Shermanové hudbu k filmu The Tigger Movie od Disneyho. Tento film byl prvním velkým filmem bratrů Shermanů pro společnost Disney po více než 28 letech.
V roce 2003 se čtyři muzikály bratří Shermanů umístily mezi deseti nejoblíbenějšími dětskými filmy všech dob v celostátní anketě britské BBC. Na prvním místě se umístil film Chitty Chitty Bang Bang 1968.
V pozdějších letech, kdy se Robert přestěhoval do Londýna, napsali bratři mnoho nových písní pro divadelní muzikály Chitty Chitty Bang Bang a Mary Poppins, které produkovali Disney a Cameron Mackintosh.
Za svůj přínos filmovému průmyslu mají bratři Shermanovi hvězdu na Hollywoodském chodníku slávy na adrese 6918 Hollywood Blvd. Dne 9. června 2005 byli uvedeni do Síně slávy písničkářů. Dne 16. listopadu 2006 měla Mary Poppins premiéru v New Amsterdam Theatre na Broadwayi.
17. listopadu 2008 obdrželi bratři Shermanovi Národní medaili za umění, což je nejvyšší ocenění udělované umělcům vládou Spojených států. Ocenění jim předal prezident Spojených států George W. Bush na slavnostním ceremoniálu v East Room v Bílém domě.
22. května 2009 byl v kinech uveden film The Boys: The Sherman Brothers' Story (Chlapci: příběh bratrů Shermanových). Film režírovali a produkovali jejich synové Gregory V. Sherman a Jeff Sherman. Uvedla jej společnost Walt Disney Pictures.
V říjnu 2009 vydala společnost Disney kompilaci 59 skladeb na dvou CD, která obsahuje jejich práci pro studio v průběhu dvaačtyřiceti let. CD nese název "The Sherman Brothers Songbook".
11. března 2010 bylo bratrům Shermanovým na počest jejich přínosu zábavním parkům společnosti Disney v kalifornském Anaheimu představeno okno na Mainstreet Disneylandu. Dne 17. května 2010 obdrželi bratři Shermanovi na slavnostním večeru The Theatre Museum's 2010 Awards Gala v New Yorku ocenění "Career Achievement Award".