Dne 13. června 1752 se v King's Lynn narodila Frances Burneyová. Pokřtěna byla 7. července. Jejími staršími sourozenci byli Ester (Hetty) (1749-1832) a James (1750-1821). Jejími mladšími sourozenci byli Susanna Elizabeth (1755-1800), Charles (1757-1817) a Charlotte Ann (1761-1838). Susanna Elizabeth se stala blízkou přítelkyní Frances Burneyové. James Burney se stal admirálem. Plavil se s kapitánem Jamesem Cookem na jeho druhé a třetí cestě. Mladší Charles Burney byl učenec. Její mladší nevlastní sestra Sarah Burneyová (1772 - 1844) se rovněž stala spisovatelkou. Vydala pět děl, která sama napsala. Esther Sleepe Burneyová měla také dva chlapce, kteří zemřeli při narození.
První matka
Esther Sleepe Burneyová byla o tři roky starší než Charles Burney. S Charlesem měla nejstarší dceru Esther ještě před svatbou. Frances Burneyová to uchovávala jako "rodinné tajemství". Dokonce neřekla nic ani o datu otcova sňatku. Také v Pamětech neuvedla, kdy se narodily jeho děti. Někteří lidé si mysleli, že data zatajila, aby všichni uvěřili, že Evelinu vydala v sedmnácti letech.
Její matka náhle onemocněla. Vydala se na výlet do Bathu a Bristolu Hot Wells. Právě sem se hlavní hrdinka knihy Evelína vydává, aby se pokusila znovu uzdravit. Nicméně se jí neulevilo. Předpokládalo se, že nemocí je tuberkulóza. Je také možné, že šlo o rakovinu. V roce 1760 zemřela její matka Esther Sleepe Burneyová. Historici ji popisují jako jemnou ženu "srdečnou a inteligentní". Je možné, že francouzský původ Esther Burneyové ovlivnil její psaní. Příkladem jsou konflikty mezi madame Duvalovou a kapitánem Mirvanem v románu Evelína. Mohl být také jedním z důvodů její lásky a sňatku s Alexandrem D'Arblayem. Fanny byla velmi otřesena a smutná, když se dozvěděla, že její matka zemřela. Její sousedka, paní Pringleová, to komentovala. Později řekla, že "...nikdy neviděla takové utrpení" a že Fanny "nepřijímala žádnou útěchu - a málem ji zabil pláč [sic]". Její otec Charles Burney byl také velmi nešťastný. Utěšoval se psaním smutných básní o své ženě.
Otec
Jejího otce si jako hudebníka vážilo mnoho lidí. Byl také velmi vzdělaný. Chtěl ukázat, že i hudebník může být gentleman. Frances Burneyová se často setkávala s mnoha operními pěvci, tanečníky, hudebníky a herci (jako byli herci Garrick nebo Christopher Smart), kteří mluvili mnoha druhy jazyků. Zmínila se o něm v Evelíně: "Nuže, ať je pan Garrick tak slavný, tak všeobecně (všude) obdivovaný - neměla jsem ani tušení o tak skvělém umělci... každý pohled mluví!... Bojím se, že mě budete považovat za blázna (bláznivou), takže víc neřeknu; přesto opravdu věřím, že pan Garrick by vás také pobláznil, kdybyste ho mohli vidět." Viděla také víc ze světa, než by mohla vidět většina "mladých dam". Do svých deníků si zapisovala spoustu hrubostí, které jí lidé říkali. Cestovatel Richard Twiss jednou uvedl rodinu do rozpaků tím, že mluvil o nevhodných věcech. Řekl, že neskromná kniha Slovník lásky je velmi dobrá. Po Twissově odjezdu si Burneyová do deníku zapsala: "Dokonce i můj jemný a upřímný (pravdomluvný) otec říká, že se v té věci docela spletl a že už nikdy neuvidí ve svém domě ubrus".
Někteří lidé tvrdí, že Burneyová se možná styděla kvůli svému otci. Lidé říkali, že jedinou chybou pana Burneyho byla "úslužnost" (přílišné posluhování mužům). Frances svého otce nikdy otevřeně nekritizovala. Dokonce pečlivě ničila vše, co na něm bylo špatné. Ve svých Pamětech napsala, že její otec neměl žádné chyby. Psala však vysvětlení a omluvy pro věci, které její otec považoval za správné.
Druhá matka
V říjnu 1767 se její otec oženil s bohatou vdovou. Jmenovala se Elizabeth Allenová. Měla již tři syny. Burneyho děti neměly svou nevlastní matku rády. Hester, Francesina starší sestra, se provdala za svého bratrance. Jmenoval se Charles Rosseau Burney. Byl to hudebník. Provdala se za něj v září 1770. Udělala to pravděpodobně proto, aby opustila svůj domov. Frances kvůli tomu přišla o sestru, která jí byla jako druhá matka. Burneyovy děti vedly s paní Allenovou "tajnou válku". Říkaly jí "paní Drahomíra", "madam" a "dáma". V dopise Frances Burneyové sestře Hester se psalo: "Výmluvu, kterou je třeba si pro tento účel vymyslet (vymyslet, vylhat), přenechávám vaší vlastní vynalézavosti." Přestože v té době bylo Frances 25 let, musela si najít záminku k návštěvě své vdané sestry. Dokonce i jejich starý přítel Samuel "Daddy" Crisp se připojil s výsměchem paní Elizabeth Allenové.
Vzdělávání
Její otec vzdělával její sestry Esther a Susannu mnohem více než Frances Burneyovou. Když jí bylo osm let, ještě se nenaučila abecedu. Byla také tak plachá, že jí návštěvníci v otcově domě říkali "stará paní". Někteří badatelé se domnívají, že mohla trpět určitým druhem dyslexie. Její bratr si s ní zahrával tak, že předstíral, že ji učí číst, a dával jí knihu vzhůru nohama. Ona nezjistila, že je ve skutečnosti vzhůru nohama, a snažila se ji přečíst. Lidé říkali, že by "malá hloupá" měla dostat výprask. Esther Sleepe Burneyová však vždy odpovídala, že "o Fanny nemá strach". Její sestra Susanna říkala, že Fanny má "rozum, citlivost a stydlivost (plachost)". Dodala také: "Obávám se... že moje sestra Fanny je příliš zdrženlivá".
V roce 1763 nebo 1764 se Samuel "Daddy" Crisp sblížil s rodinou Burneyových. Pomáhal Frances psát tím, že si od ní vyžádal mnoho deníkových dopisů o její rodině a životě. Velmi tím ovlivnil její psaní.
