První zahradní trpaslík byl vytvořen ve Švýcarsku. Později, v roce 1847, je ve Velké Británii představil sir Charles Isham, když si z cesty do Německa přivezl 21 terakotových figurek a rozmístil je po zahradách svého domu Lamport Hall v Northamptonshire. Z původní série trpaslíků se dochoval pouze jeden: Lampy, jak se mu říká, je vystaven v Lamport Hall a je pojištěn na jeden milion liber.
Zahradní trpaslíci se stali oblíbeným doplňkem mnoha zahrad, ale ne všichni je milují. Mohou se stát terčem žertů. Je známo, že lidé tyto zahradní trpaslíky "vracejí do přírody", zejména francouzská "Front de Liberation des Nains de Jardins" a italská "MALAG" (Garden Gnome Liberation Front). Někteří unesení zahradní trpaslíci byli posláni na cesty po celém světě, předáváni od člověka k člověku a fotografováni u různých slavných památek, přičemž fotografie byly vráceny majiteli. Tato praxe se objevila ve francouzském filmu Amélie z roku 2001 a v reklamní kampani pro Travelocity.com . Vznikly také netradiční sochy skřítků, například blikající skřítek v pláštěnce nebo zamilovaný skřítčí pár.
Mezi sběrateli zahradních trpaslíků existuje subkultura. Tento fenomén je v populární kultuře často zesměšňován.