Název řeky pochází z algonkinského slova lappihanne (zaznamenaného také jako toppehannock), které znamená "řeka rychlé, stoupající vody" nebo "kde příliv a odliv přichází", což je název používaný místním domorodým obyvatelstvem, kmenem Rappahannock.
Ačkoli v raných koloniálních dobách existovalo podél dolního toku řeky Rappahannock několik malých vesnic, osídlování údolí řeky Rappahannock začalo na popud guvernéra Alexandra Spotswooda v prvních letech 18. století. Řeka James byla prozkoumána až k jejímu spádu, tedy k místu, kde se z geologického hlediska setkává kontinentální podloží Piedmontu se sedimentárními horninami a naplaveninami pobřežní nížiny. Spotswood podporoval osídlení v jiném říčním údolí než v údolí řeky James. V roce 1714 začal hledat přistěhovalce z Porýní-Falce a Švýcarska, kteří by se usadili na jím ovládaných pozemcích poblíž místa, kde se Rappahannock a Rapidan stékají. Tyto vesnice, známé jako osady Germanna, byly založeny za účelem využití ložisek železné rudy v regionu.
Během války v roce 1812 se na řece odehrála bitva u Rappahannock River. Sedmnáct britských lodí se stovkami námořníků a mariňáků zajalo čtyři americké řadové lodě.
Během americké občanské války představovala řeka s několika vhodnými brody a menším počtem mostů překážku a obrannou linii. Za touto linií se vojska nemusela obávat útoku ze strany řeky. Pro vojska Unie to byla obzvláště obtížná překážka, kterou musela překonat při pokusech o proniknutí do jižní Virginie. Kontrola nad řekou se v průběhu války mnohokrát změnila. Mezi významné bitvy, které se podél řeky odehrály, patří bitva u Fredericksburgu a bitva u Rappahannock Station. Obrannou linii u řeky nakonec obešel Ulysses S. Grant v kampani Wilderness (neboli Overland) v roce 1864, která skončila konečným vítězstvím Unie.
V některých dokumentech z 18. a 19. století, včetně některých záznamů z občanské války, byla řeka Rappahannock označována jako "Hedgemanova řeka".V průzkumu z let 1736-1737 byla řeka Rappahannock nad ústím Rapidanu označena jako "Cannon" a dále proti proudu jako "Hedgemanova řeka", pojmenovaná po Nathanielu Hedgemanovi, raném osadníkovi této oblasti.