Ordinato sacerdote (1903) e licenziato in teologia a Roma nel 1904, ritornò a Bergamo, dove fino al 1914 fu segretario del vescovo Giacomo Radini Tedeschi, insegnando contemporaneamente in seminario storia della Chiesa e apologetica non senza sospetti e denunzie da parte degli antimodernisti. Dopo la I guerra mondiale, cui partecipò come cappellano militare, ebbe incarichi a Roma. Fu poi delegato apostolico in Bulgaria, in Turchia e in Grecia, dove rimase fino al 1944. Finita la guerra, fu nunzio apostolico a Parigi presso il governo della IV Repubblica. Qui ebbe modo di osservare i fermenti della Chiesa di Francia, dove si attuavano ardite esperienze pastorali (tra cui quella dei preti operai). Creato cardinale nel 1953 e nominato patriarca di Venezia, nel conclave tenuto nell'ottobre-novembre del 1958 venne eletto papa. Già nel suo primo discorso delineò il programma del suo pontificato ponendo in primo piano la direttiva pastorale e distanziandosi così da Pio XII. Nel governo della Chiesa ridiede un titolare al posto di segretario di Stato, vacante dal 1944; provvide ad ampie nomine cardinalizie, andando oltre il numero di 70 stabilito da Sisto V, per assicurare adeguata rappresentanza anche alle nuove chiese d'Asia e d'Africa. In occasione delle celebrazioni ufficiali del centenario dell'Unità d'Italia (1961) parlò senza recriminazioni della fine del potere temporale, sottolineando la funzione religiosa e morale del papato. Di fronte alle tensioni politiche del mondo G. intensificò la sua azione di pace ammonendo tutti in fondamentali encicliche: Ad Petri cathedram del 29 giugno 1959, Pacem in terris dell'aprile 1963 (suo testamento), mentre di fronte alle tensioni sociali e ai problemi della nuova economia, in occasione del 70º anniversario della Rerum novarum ne richiamò, con gli adattamenti necessari, principi e spirito (Mater et Magistra, 15 maggio 1961). In codesto spirito riallacciò relazioni coi Paesi comunisti, ricevette personalità di regimi antireligiosi (tra cui il genero di Chruscëv), abolì le rappresentanze dei governi polacco e lituano in esilio presso la Santa Sede (1959). Con questi atti papa Roncalli si distanziò da una concezione della Chiesa quale fortilizio, staccato dal mondo, astenendosi dal pronunziare sul mondo contemporaneo i consueti giudizi di condanna, giacché vedeva in esso “segni dei tempi”, il maturare di una nuova realtà di rapporti umani non in necessaria opposizione alla Chiesa, ma con essa convergente verso le mete spirituali e sociali che le erano proprie. In questa prospettiva papa Roncalli preannunziò fin dal 1959, assieme alla riforma del codice di diritto canonico e al sinodo romano, un nuovo Concilio (Vaticano II) che convocò (bolla Humanae salutis, 25 dicembre 1961) dopo adeguati lavori preparatori e vaste consultazioni.
Nell'allocuzione di apertura (11 ottobre 1962) ne fissò gli scopi, tra i quali quello di cercare un nuovo linguaggio con cui presentare a tutti gli uomini il messaggio cristiano; e questo con particolare apertura ecumenica alle Chiese cristiane.
Egli poté guidarne soltanto due sessioni, poiché morì nel giugno dell'anno successivo. Il suo successore Paolo VI ne raccolse l'eredità spirituale e il 5 novembre 1965 diede l'avvio al processo di beatificazione.
Sepolto a Roma, San Pietro.