Statistické chyby a rezidua vznikají proto, že měření není nikdy přesné.
Přesné měření není možné provést, ale je možné říci, jak přesné měření je. Lze opakovaně měřit stejnou věc a shromažďovat všechna data dohromady. To nám umožňuje provádět statistiku těchto údajů. Chybami a rezidui se rozumí rozdíl mezi pozorovanou nebo naměřenou hodnotou a skutečnou hodnotou, kterou neznáme.
Pokud existuje pouze jedna náhodná veličina, je rozdíl mezi statistickými chybami a rezidui rozdílem mezi průměrem populace a průměrem (pozorovaného) vzorku. V takovém případě je reziduum rozdílem mezi tím, co říká rozdělení pravděpodobnosti, a tím, co bylo skutečně naměřeno.
Předpokládejme, že se provádí experiment, při kterém se měří výška 21letých mužů z určité oblasti. Střední hodnota rozdělení je 1,75 m. Pokud je jeden náhodně vybraný muž vysoký 1,80 m, "(statistická) chyba" je 0,05 m (5 cm); pokud je vysoký 1,70, chyba je -5 cm.
Reziduum (nebo chyba přizpůsobení) je naproti tomu pozorovatelný odhad nepozorovatelné statistické chyby. Nejjednodušší případ zahrnuje náhodný vzorek n mužů, jejichž výška je měřena. Výběrový průměr se použije jako odhad populačního průměru. Pak máme:
- Rozdíl mezi výškou každého muže ve vzorku a nepozorovatelným populačním průměrem je statistická chyba a
- Rozdíl mezi výškou každého muže ve vzorku a pozorovaným průměrem vzorku je reziduum.
Součet reziduí v rámci náhodného vzorku musí být nulový. Rezidua tedy nejsou nezávislá. Součet statistických chyb v rámci náhodného výběru nemusí být nulový; statistické chyby jsou nezávislé náhodné veličiny, pokud jsou jedinci vybráni z populace nezávisle.
Shrnuto a podtrženo: