Původně byla sekunda známá jako "sekundová minuta", což znamenalo druhé minutové (tj. malé) dělení hodiny. První dělení bylo známé jako "prime minute" a odpovídá minutě, kterou známe dnes. Při výpočtech se někdy používaly třetí a čtvrté minuty.
Koeficient 60 pochází od Babyloňanů, kteří používali sexagesimální (základ 60) číselnou soustavu. Babylóňané však své časové jednotky nedělili sexagesimálně (s výjimkou dne). Staří Egypťané definovali hodinu buď jako 1/12 denní, nebo 1/12 noční hodiny, obě se tedy měnily podle ročních období. Řečtí astronomové, například Hipparchos a Ptolemaios, definovali hodinu jako 1/24 středního slunečního dne. Dělením této průměrné sluneční hodiny na sekundy vznikla sekunda 1/86,400 průměrného slunečního dne. []
Řecké časové úseky, například průměrný synodický měsíc, byly obvykle stanoveny poměrně přesně, protože byly vypočítány z pečlivě vybraných zatmění vzdálených od sebe stovky let - jednotlivé průměrné synodické měsíce a podobné časové úseky nelze měřit. Nicméně s rozvojem kyvadlových hodin, které udržovaly střední čas (na rozdíl od zdánlivého času zobrazovaného slunečními hodinami), se vteřina stala měřitelnou. Sekundové kyvadlo bylo navrženo jako jednotka délky již v roce 1660 Královskou společností v Londýně. Doba trvání jednoho úderu nebo půlperiody (jednoho zhoupnutí, ne tam a zpět) kyvadla o délce jednoho metru na povrchu Země je přibližně jedna sekunda.
V roce 1956 byla vteřina definována jako doba oběhu Země kolem Slunce pro určitou epochu, protože v té době již bylo známo, že rotace Země kolem vlastní osy není dostatečně rovnoměrným měřítkem času. Pohyb Země byl popsán v Newcombových tabulkách Slunce, které uvádějí vzorec pro pohyb Slunce v epoše 1900 na základě astronomických pozorování provedených v letech 1750 až 1892. Takto definovaná sekunda je
zlomek 1/31,556,925.9747 tropického roku pro 1900 leden 0 ve 12 hodin efemeridového času.
Tuto definici schválila 11. generální konference o mírách a váhách v roce 1960. Tropický rok v definici nebyl měřen, ale vypočítáván ze vzorce popisujícího tropický rok, který se v čase lineárně snižuje, proto ten zvláštní odkaz na konkrétní okamžitý tropický rok. Protože tato sekunda byla nezávislou časovou veličinou používanou v efemeridách Slunce a Měsíce po většinu dvacátého století (Newcombovy tabulky Slunce se používaly od roku 1900 do roku 1983 a Brownovy tabulky Měsíce od roku 1920 do roku 1983), byla nazývána efemeridovou sekundou.
Když byly vyrobeny atomové hodiny, staly se základem definice sekundy, nikoliv otáčení Země kolem Slunce.
Po několika letech práce Louis Essen z Národní fyzikální laboratoře (Teddington, Anglie) a William Markowitz z Námořní observatoře Spojených států (USNO) určili vztah mezi frekvencí hyperjemného přechodu atomu cesia a efemeridovou sekundou. Pomocí metody měření se společným pohledem, založené na přijímaných signálech z radiostanice WWV, určili oběžný pohyb Měsíce kolem Země, z něhož bylo možné odvodit zdánlivý pohyb Slunce, vyjádřený časem měřeným atomovými hodinami. Výsledkem bylo, že v roce 1967 definovala třináctá generální konference o mírách a vahách sekundu atomového času v Mezinárodní soustavě jednotek (SI) jako
doba trvání 9 192 631 770 period záření odpovídající přechodu mezi dvěma hyperjemnými hladinami základního stavu atomu cesia-133.
Základní stav je definován při nulovém magnetickém poli. Takto definovaná sekunda je ekvivalentní efemeridové sekundě.
Definice druhého z nich byla později na zasedání BIPM v roce 1997 upřesněna a doplněna o následující tvrzení
Tato definice se vztahuje na atom cesia v klidu při teplotě 0 K.
Z revidované definice by se zdálo, že ideální atomové hodiny by obsahovaly jediný atom cesia v klidu, který vysílá jedinou frekvenci. V praxi však definice znamená, že vysoce přesné realizace sekundy by měly kompenzovat vliv okolní teploty (záření černého tělesa), v níž atomové hodiny pracují, a podle toho extrapolovat hodnotu sekundy, jak je definována výše.
