Lineární regrese je způsob, jak vysvětlit vztah mezi závislou proměnnou a jednou nebo více vysvětlujícími proměnnými pomocí přímky. Jedná se o zvláštní případ regresní analýzy.
Lineární regrese byla prvním typem regresní analýzy, který byl důsledně studován. Je to proto, že modely, které jsou lineárně závislé na svých neznámých parametrech, se snáze přizpůsobují než modely, které jsou se svými parametry spojeny nelineárně. Navíc se snáze určují statistické vlastnosti výsledných odhadů.
Lineární regrese má mnoho praktických využití. Většina aplikací spadá do jedné ze dvou následujících kategorií:
- Lineární regresi lze použít k přiřazení predikčního modelu k souboru pozorovaných hodnot (dat). To je užitečné, pokud je cílem předpověď, prognóza nebo redukce. Pokud je po vytvoření takového modelu následně zadána další hodnota X bez doprovodné hodnoty y, lze fitovaný model použít k předpovědi hodnoty y.
- Vzhledem k proměnné y a řadě proměnných X1, ..., Xp, které mohou souviset s y, lze lineární regresní analýzu použít ke kvantifikaci síly vztahu mezi y a Xj, k posouzení, které Xj nemají vůbec žádný vztah k y, a k určení, které podmnožiny Xj obsahují nadbytečné informace o y.
Lineární regresní modely se snaží, aby vertikální vzdálenost mezi přímkou a datovými body (např. reziduálními hodnotami) byla co nejmenší. Tomu se říká "přizpůsobení přímky datům". Lineární regresní modely se často snaží minimalizovat součet čtverců reziduí (nejmenší čtverce), ale existují i jiné způsoby přizpůsobení. Patří mezi ně minimalizace "neshodnosti" v nějaké jiné normě (jako u regrese nejmenších absolutních odchylek) nebo minimalizace penalizované verze ztrátové funkce nejmenších čtverců jako u hřebenové regrese. Přístup nejmenších čtverců lze použít i k fitování modelů, které nejsou lineární. Jak bylo nastíněno výše, pojmy "nejmenší čtverce" a "lineární model" spolu úzce souvisejí, ale nejsou to synonyma.
