V roce 1695 získala Žofie Šarlota Hannoverská od svého manžela kurfiřta Fridricha III. okres Lietzow výměnou za statky Caputh a Langerwisch u Postupimi.
V letech 1695-1699 nechal Fridrich pro svou ženu postavit letní sídlo od architekta Johanna Arnolda Neringa. V roce 1701 se Fridrich stal prvním pruským králem (Fridrich I. Pruský) a budovu výrazně zvětšil.
Hned po smrti Žofie Šarloty byla vesnice v blízkosti paláce nazvána "Charlottenburg" a samotný palác zámkem Charlottenburg a osada byla prohlášena za město. Král byl starostou města až do připojení Lietzowa k Charlottenburgu v roce 1720.
Fridrichův nástupce Fridrich Vilém I. Pruský se v paláci zdržoval jen zřídka. Fridrich Vilém se dokonce pokusil zrušit městská privilegia. Teprve v roce 1740, při korunovaci jeho nástupce Fridricha II (Fridricha Velikého), získalo město opět na významu. Východní Nové křídlo nechal v letech 1740-1747 postavit Georg Wenzeslaus von Knobelsdorff jako sídlo Fridricha Velikého. Později dal Fridrich II. přednost paláci Sanssouci, který si částečně sám navrhl.
Když Fridrich II. v roce 1786 zemřel, nastoupil na jeho místo synovec Fridrich Vilém II. a Charlottenburg se stal jeho oblíbeným sídlem, stejně jako jeho syn a nástupce Fridrich Vilém III.
Po porážce pruské armády u Jeny v roce 1806 obsadili Charlottenburg Francouzi. Napoleon obsadil palác, zatímco jeho vojska tábořila poblíž.
Rekreační a obytná oblast
Koncem 18. století nebyl rozvoj Charlottenburgu závislý pouze na koruně. Město se stalo rekreační oblastí pro rozrůstající se Berlín. První skutečný hostinec byl otevřen v 70. letech 17. století v ulici, která se tehdy nazývala "Berliner Straße" (dnes Otto-Suhr-Allee), a následovalo mnoho dalších hostinců a pivnic, oblíbených zejména pro víkendové večírky.