V roce 1086 žilo v Hartley 15 rodin a 3 otroci. Před černou smrtí (1348) zde žilo asi 150 osob. V roce 1377 odvádělo daň 53 osob, což znamená, že zde tehdy žilo asi 85 osob. V roce 1392 se v listině uvádí, že zde byl hlavní dům, v němž žil správce. Ten pro majitele obhospodařoval půdu. Tento pozemek se nazýval Hartley Court. Ostatní osoby, které vlastnily pozemky v Hartley, musely chodit do dvora majitele a vykonávat pro něj další práce. V roce 1554 došlo v Hartley Wood k boji mezi příznivci a odpůrci anglické královny Marie I. V roce 1554 se v Hartley Wood odehrála bitva. Zvítězili její příznivci. Hartley v roce 1650 se podobalo místu v roce 1850, protože tehdy zde stály téměř všechny budovy. V roce 1770 spisovatel Edward Hasted řekl, že do Hartley nejezdí mnoho lidí.
Některé budovy byly postaveny v roce 1700 (například Hartley House a Yew Cottage). V roce 1841 žilo v Hartley 224 osob. Téměř všichni pracovali na farmách. Byl zde také kolář, kovodělník a prodejci nápojů.
Hartley se začalo rozrůstat poté, co do Longfieldu v roce 1876 přivedli železnici a v roce 1902 zavedli vodovod. Další dvě společnosti - Payne, Trapps and Co Ltd a Small Owners Limited prodávaly pozemky pro výstavbu domů a malých farem. Po roce 1945 zde vyrostlo mnoho nových domů a silnic.
