Chiamato prima Ildebrando, nacque a Soana in Toscana, nel 1013, secondo alcuni da un legnaiulo, secondo altri dalla famiglia degli Aldobrandeschi. Accompagnò Gregorio VI nel suo ritiro nell'abbazia di Cluny, dove si fece monaco. Recatosi a Roma, contribuì all'elezione di Leone IX, che lo nominò cardinale. Acquistata la grande influenza, fu legato pontificio in Francia, dove presiedette i concili di Lione e di Tours, e si adoperò per l'elezione dei papi Vittore II, Stefano IX, Niccolò II e Alessandro II, ispirando gli sforzi ch'essi fecero per riformare la Chiesa. Alessandro II lo mandò ambasciatore presso l'imperatrice Agnese. Morto quel papa, Ildebrando fu eletto, ad onta dell'opposizione dei vescovi tedeschi e longobardi e della riluttanza sua. Arrigo IV di Germania, benché vedesse in lui un suo fiero nemico, confermò la sua elezione. Nell'anno seguente, papa Gregorio convocò in Roma un concilio e vi fece approvare due decreti famosi: il primo contro i preti trasgressori alla legge sul celibato, il secondo contro l'ordinazione dei vescovi da parte dei principi laici. Si ribellarono la papa, appoggiandosi ad Arrigo IV, il clero di Germania e quello di Lombardia, e il papa citò Arrigo a comparire in Roma in un dato giorno, con minaccia di scomunica se egli avesse mancato. Allora Arrigo convocò un concilio contro Gregorio a Worms e si accordò con Cencio, prefetto di Roma, che nella notte di Natale del 1075, entrò con i suoi armati in Santa Maria Maggiore, dove il papa pontificava, lo strappò dall'altare ferendolo nel capo e lo fece prigioniero. Ma il popolo liberò il pontefice poche ore dopo. Alleandosi all'arcivescovo di Ravenna e a Roberto Guiscardo duca di Calabria. Arrigo si preparava a scendere in Italia, quando gregorio adunò un concilio (1076) nel quale solennemente lo scomunicò e lo dichiarò deposto dal trono di Germania e d'Italia. Era questa la prima volta che un papa si assumeva la facoltà di deporre gl'imperatori; tuttavia Gregorio sortì tutto l'effetto sperato, poiché molti dei signori soggetti ad Arrigo gli si ribellarono e convocarono una dieta per nominargli un successore. Arrigo allora, visto il pericolo, scese in Italia per riconciliarsi col papa (1077), e questi, che si trovava a Canossa nel castello della contessa Matilde, gl'inflisse l'umiliazione di farlo stare tre giorni scalzo nel secondo recinto del castello, esposto alle intemperie invernali, prima di ammetterlo alla sua presenza. Finalmente il quarto giorno lo assolse dalla scomunica, rimettendosi alla decisione della dieta circa la reintegrazione nel possesso della corona. Ma Arrigo IV non rimase fedele alle sue promesse e riprese le armi contro Rodolfo di Svevia ch'era stato eletto imperatore di Germania. Fu allora nuovamente scomunicato da Gregorio VII; ma Rodolfo venne sconfitto ed ucciso. Arrigo, venuto a Roma, fece eleggere l'antipapa Guiberto, arcivescovo di Ravenna, col nome di Clemente III. Gregorio VII, assediato in Castel Sant'Angelo, venne liberato dai Normanni di Roberto il Guiscardo, ma dovette seguire il suo liberatore a Salerno, dove morì nel 1085, levando, in punto di morte, tutte le scomuniche aveva inflitte, eccettuate quelle contro l'imperatore e l'antipapa.
Questo pontefice è a ragione annoverato fra le più grandi figure del medio evo. La sua politica fu geniale, la sua energia e la sua austerità furono ammirabili in tutte le vicissitudini di una vita densa di eventi.
Sepolto a Salerno, Duomo.