Przyszły kardynał urodził się 11 października 1939 r. w Bródkach, w woj. poznańskim jako trzecie z czwórki dzieci Stanisława i Józefy (z d. Stawińskiej) Grocholewskich. Święcenia kapłańskie przyjął 27 maja 1963 w Poznaniu, po czym przez 3 lata pracował w poznańskiej parafii Chrystusa Króla. W 1966 jako młody kapłan wyjechał do Rzymu na studia prawa kanonicznego na Papieskim Uniwersytecie Gregoriańskim. Za wysoko oceniony licencjat otrzymał wówczas złoty medal tej uczelni, po czym w 1972 nagrodzono go podobnym złotym medalem, tyle że papieskim, za doktorat tamże.

W okresie studiów rzymskich wyjeżdżał na kursy językowe do Niemiec i Francji i tam okresowo udzielał się także duszpastersko w miejscowych parafiach.

Od października 1972 do 1999 pracował w Najwyższym Trybunale Sygnatury Apostolskiej, początkowo jako notariusz, w latach 1977-80 – jako pełniący obowiązki kanclerza, 1980-82 – kanclerz i w końcu od 5 października 1998 był prefektem. Łączyło się z tym stanowisko przewodniczącego Sądu Kasacyjnego Państwa Miasta Watykanu. Oba te urzędy piastował do 15 listopada 1999, gdy św. Jan Paweł II powołał go na prefekta Kongregacji Wychowania Katolickiego, co oznaczało automatycznie także godność wielkiego kanclerza Papieskiego Uniwersytetu Gregoriańskiego a także Papieskich Instytutów: Biblijnego, Muzyki Sakralnej, Archeologii Chrześcijańskiej oraz Studiów Arabskich i Islamskich.

Wcześniej, bo 21 grudnia 1982 papież mianował go biskupem tytularnym, po czym osobiście udzielił mu sakry 6 stycznia następnego roku w bazylice św. Piotra w Watykanie. 16 grudnia 1991 papież wyniósł go do godności arcybiskupa. Równolegle do swych obowiązków kurialnych prowadził też zajęcia dydaktyczne na Uniwersytetach Gregoriańskim i Laterańskim oraz na Studium Rotalnym.

Był postulatorem spraw beatyufikacyjnych bł. Edmunda Bojanowskiego i bł. Sancji Szymkowiak.

Na konsystorzu 21 lutego 1999 Ojciec Święty włączył go w skład Kolegium Kardynalskiego.

Jako biskup, arcybiskup i kardynał Zenon Grocholewski brał udział w wielu ważnych wydarzeniach kościelnych z Synodami Biskupów na czele oraz reprezentował Ojca Świętego na lokalnych uroczystościach rocznicowych w ponad 20 krajach, m.in. w Polsce, na Filipinach, w Słowacji, na Białorusi, w Ameryce Północnej i Południowej i w wielu innych. W pierwszej połowie lat osiemdziesiątych uczestniczył też w pracach nad nowym Kodeksem Prawa Kanonicznego i nad reformą Kurii Rzymskiej.

Wziął udział w dwóch posiedzeniach konklawe: w dniach 18-19 kwietnia 2005, które wybrało Benedykta XVI i 12-13 marca 2013, które dało Kościołowi papieża Franciszka. Ten drugi powołał 21 stycznia 2015 polskiego purpurata kurialnego w skład Kolegium ds. rozpatrywania podań składanych do Kongregacji Nauki Wiary.

31 marca 2015 kard. Grocholewski ustąpił ze stanowiska prefekta Kongregacji Wychowania Katolickiego.

Polski purpurat jest autorem ponad 550 publikacji w 12 językach, m.in. głównych światowych, włoskim, łacińskim, polskim i kilku innych słowiańskich, a nawet po holendersku i maltańsku. W większości są to prace naukowe, zwłaszcza z prawa kanonicznego procesowego i małżeńskiego. Miał szczególne zasługi w odnowieniu prawa kanonicznego oraz praktyki sądów kościelnych w krajach postkomunistycznych.

Otrzymał wiele tytułów honorowych: obywatelstw i członkostw, został m.in. honorowym obywatelem miast Trenton i Princeton w USA, Agropoli we Włoszech czy Levoča w Słowacji. W 1998 ówczesna Akademia Teologii Katolickiej w Warszawie (dziś Uniwersytet Stefana Wyszyńskiego) nadała mu godność doktora honoris causa, a 24 października następnego roku uczynił to Katolicki Uniwersytet Lubelski. Podobne wyróżnienia nadały mu też m.in. uczelnie w Pasawie (Niemcy), w Glasgow, Bratysławie, Buenos Aires, Tajpei (Tajwan) i Uniwersytet im. Adama Mickiewicza w Poznaniu.

Obecnie Kolegium Kardynalskie liczy 224 członków, w tym 98 nieelektorów, z których 51 mianował św. Jan Paweł II, 30 – Benedykt XVI i 17 – Franciszka; a wśród 126 purpuratów, mających prawa wyborcze, 18 powołał do Kolegium Kardynalskiego Papież-Polak, 41 – jego następca i 67 – Franciszek.

Trzema najstarszymi wiekowo kardynałami są obecnie Francuz Albert Vanhoye SI (ur. 24 VII 1923), Polak Henryk R. Gulbinowicz (17 X 1923) i Słowak Jozef Tomko (11 III 1924), a trzema najmłodszymi – Środkowoafrykańczyk Dieudonné Nzapalainga (ur. 14 III 1967), Portugalczyk José Tolentino Calaça de Mendonça (15 XII 1965) i Polak Konrad Krajewski (25 XI 1963). Najdłuższy staż w Kolegium mają obecnie trzej kardynałowie: Michael Michai Kitbunchu z Tajlandii, Alexandre do Nascimento z Angoli i Thomas Stafford Williams z Nowej Zelandii, kreowani 2 lutego 1983. Ponadto należy pamiętać, że Benedykta XVI mianował kardynałem św. Paweł VI dnia 27 VI 1977 a Franciszka – św. Jan Paweł II w dniu 21 II 2001.