Charles Ryder, který příběh vypráví, je studentem Oxfordské univerzity. Spřátelí se se Sebastianem Flytem, mladším synem šlechtické rodiny. Sebastian, který pochází z velmi bohaté rodiny, vezme Charlese do svého rodinného sídla, zámku Brideshead. Charles se seznámí s jeho rodinou, včetně Sebastianovy sestry Julie.
Během prázdnin se Charles vrací domů, kde žije se svým otcem. Během prázdnin se Sebastianovi stane malý úraz a Charles se k němu vrátí. Sebastian a Charles spolu stráví zbytek léta.
Sebastianova rodina je katolická. Jeho otec, lord Marchmain, byl anglikán, ale konvertoval ke katolictví, k náboženství své ženy. Rodina o náboženství hodně mluví, což Charlese, který si vždy myslel, že křesťanství není důležité téma, překvapí. Lady Marchmainová, Sebastianova matka, je velmi přísná katolička. Snaží se ovládat ostatní tím, že v nich vyvolává pocity viny. Sebastian nachází útěchu v pití alkoholu. Často se opíjí a v průběhu dvou let má s rodinou Flyteových stále méně společného.
Charles se však s rodinou Flyteových znovu setkává a zamiluje se do Julie, která je v té době provdaná za bohatého Kanaďana Rexe Mottrama.
Charlesova vlastní žena mu byla nevěrná, a tak se s ní chce rozvést, aby se mohl s Julií vzít. Julie se však z náboženských důvodů rozhodne, že by nebylo správné, aby si Charlese vzala. Když lord Marchmain umíral, přijal svátost nejvyššího pomazání. Tento akt ovlivnil i Charlese, který "v těch dnech hledal lásku", když se poprvé setkal se Sebastianem, "těmi nízkými dveřmi ve zdi... které se otevíraly do uzavřené a kouzelné zahrady", což je v knize důležitá metafora.
Charles se stal architektem. Během druhé světové války se stává armádním důstojníkem. Shodou okolností je ubytován v Bridesheadu. Zdá se mu, že stavbaři dělají užitečnou práci, i když se občas vyskytnou problémy.
