Kanonické spisy Nového zákona a další písemné prameny rané církve poskytují určitý vhled do života svatého Jakuba a jeho role v rané církvi. Synoptikové zmiňují jeho jméno, ale nic jiného o něm nepíšou, zatímco Janovo evangelium a první kapitoly Skutků apoštolů Jakuba ani nezmiňují.
Skutky apoštolů v dalších kapitolách dokládají, že Jakub byl důležitou postavou křesťanské komunity v Jeruzalémě. Když Petr po zázračném útěku z vězení musí uprchnout z Jeruzaléma, žádá, aby byl Jakub informován (12,17). Když se křesťané v Antiochii zabývají otázkou, zda křesťané z pohanů musí být obřezáni, aby byli spaseni, a posílají Pavla a Barnabáše, aby se poradili s tamní jeruzalémskou církví, Jakub hraje významnou roli při formulaci rozhodnutí rady (15,13nn). Poté, co Petr a Pavel přednesli své argumenty, je to skutečně Jakub, kdo nakonec vynese to, co nazývá "rozsudek" - původní význam je blízký "mému rozhodnutí" - a poté jej všichni přijmou. Jinými slovy, Jakub se ukazuje jako vedoucí jeruzalémské skupiny, což je v rozporu s pozdějšími tvrzeními o Petrově prvenství v této skupině. A když Pavel přijíždí do Jeruzaléma předat peníze, které tam vybral pro věřící, hovoří právě s Jakubem, který trvá na tom, aby se Pavel v Herodově chrámu rituálně očistil, aby prokázal svou víru a popřel zvěsti o tom, že učí vzpouru proti Tóře (21,18nn) (obvinění z antinomianismu).
Pavel dále popisuje Jakuba jako jednoho z těch, kterým se vzkříšený Kristus ukázal (1Kor 15,3-8); později v 1Kor se o Jakubovi zmiňuje způsobem, který naznačuje, že Jakub byl ženatý (9):V listu Galaťanům Pavel uvádí Jakuba spolu s Kéfou (známějším jako Petr) a Janem jako tři "sloupy" církve, kteří budou sloužit "obřezaným" (obecně Židům a židovským prozelytům) v Jeruzalémě, zatímco Pavel a jeho druhové budou sloužit "neobřezaným" (obecně pohanům). (2:9, 2:12). Tyto pojmy (obřezaní/neobřezaní) se obecně vykládají jako Židé a Řekové, kteří převažovali, nicméně je to přílišné zjednodušení, protože v provincii Iudaea v 1. století žili také někteří Židé, kteří se již neobřezávali, a někteří Řekové (nazývaní prozelyté nebo judaisté) a další, jako Egypťané, Etiopané a Arabové, kteří se obřezávali.
