„Włączał się w każdą dziedzinę życia diecezjalnego, gdzie potrzebna była interwencja czy natchnienie. Gdy mu zwracano uwagę, że przy takim trybie życia spali się bardzo szybko, bo musi się spalić, odpowiadał niezmiennie, iż «woli być świecą spalającą się szybko przy pełnym płomieniu, użytecznym płomieniu, niż świecą tlącą się długo, ale bezużytecznie». Ta jego praca miała w sobie coś takiego, co mobilizowało innych do wysiłku i poświęcenia. […] Takim człowiekiem dobrym, humanistą w pełnym znaczeniu, człowiekiem pomagającym innym […] był biskup Zdzisław Goliński. Wydawało mu się zawsze, że gdy komuś okaże serce, poda rękę, to człowiek ten musi się poprawić, musi się zmienić”.
Ks. inf. Władysław Karlik

Urodził się 27 grudnia 1908 r. w Urzędowie (powiat janowski), jako jedno z dziewięciorga dzieci Aleksandra i Teofilii (z d. Wlaźlacka) Golińskich. Rodzice jego posiadali niewielkie gospodarstwo rolne. Ojciec był człowiekiem wykształconym, bowiem studiował medycynę i prawo na Uniwersytecie Warszawskim. Z przyczyn politycznych nie mógł ukończyć tych nauk. Czynnie natomiast angażował się w różnego rodzaju działalność społeczno-kulturalną Urzędowa. To on sam kształcił swojego syna w początkowym okresie nauki. Następnie Zdzisław kontynuował edukację w miejscowej szkole powszechnej i średniej. Świadectwo dojrzałości otrzymał w gimnazjum w Zamościu (1926 r.). Wówczas wstąpił do Seminarium Duchownego w Lublinie. Ważną rolę w tym rozeznaniu życiowym spełniała jego matka. Sam często powtarzał: „Powołanie kapłańskie poza ziarnem Bożym zawdzięczam matce, która pragnęła mego kapłaństwa i pragnienie to wyrażała”. Nie bez znaczenia podczas podejmowania tej decyzji życiowej były postawy 7 księży z najbliższej rodziny.
Formację seminaryjną odbył w latach 1926-30. W oczekiwaniu na odpowiedni wiek wymagany do święceń kapłańskich został skierowany na studia specjalistyczne na Katolicki Uniwersytet Lubelski. Kształcił się w zakresie teologii moralnej. Ponadto uczęszczał na wykłady z pedagogiki. 28 czerwca 1931 r. otrzymał w katedrze lubelskiej święcenia kapłańskie w rąk bp. Adolfa Jełowickiego, a dwa lata później uzyskał stopień doktora teologii, przedstawiając rozprawę: „Cnota czystości według św. Tomasza z Akwinu z uwzględnieniem współczesnej pedagogiki płciowej”. Promotorem tej pracy był ks. prof. Piotr Kremer (Dziekan Wydziału Teologicznego). Swoją przygodę naukową kontynuował w Rzymie, gdzie odbył studia specjalistyczne w latach 1933-34. Wówczas uczęszczał na wykłady z zakresu teologii moralnej i ascetyki na uniwersytety Gregorianum i Angelicum. Tam zetknął się z takimi sławami nauk teologicznych jak: U. Lopez, F. Pelster, A. Vermersch, R. Garrigou - Lagrande, P. Lumbreras i B. H. Merkelbach. Pobyt w Wiecznym Mieście wykorzystał także pod kątem kwerendy naukowej, gdyż przygotowywał rozprawę habilitacyjną.
Po powrocie do diecezji lubelskiej został mianowany kierownikiem życia religijnego i ojcem duchownym w Gimnazjum Biskupim w Lublinie. Ponadto został zatrudniony jako pracownik naukowy przy katedrze teologii moralnej na Wydziale Teologicznym KUL. Do wybuchu drugiej wojny światowej uczył także w Państwowym Seminarium Nauczycielskim Żeńskim w Lublinie i jego Szkole Ćwiczeń oraz wykładał teologię moralną i pedagogikę w Seminarium Duchownym w Lublinie. Jeden z księży stwierdził, że prowadzone przez niego wykłady charakteryzowały się: „głębią myśli, szerokimi horyzontami i oryginalnym ujęciem problemów. Mówił sugestywnie pięknym językiem. Jego zajęcia cieszyły się dużą frekwencją wśród studentów”. Poza działalnością naukową wiele czasu poświęcał na inne formy aktywności kapłańskiej (m.in. prezesostwo Unii Apostolskiej Kapłanów i kaznodziejstwo).
Niemal na początku drugiej wojny światowej został aresztowany przez hitlerowców i osadzony w więzieniu na Zamku Lubelskim. Jego nazwisko znalazło się liście więźniów, którzy mieli być rozstrzelani. Jednak udało mu się uniknąć śmierci. W marcu 1940 r. został uwolniony. Przez prawie 2 lata pomagał w duszpasterstwie parafialnym. Następnie powierzono mu urząd prokuratora w Lubelskim Seminarium Duchownym, które zostało przeniesione do Krężnicy Jarej. Na stanowisku tym pozostał do 30 marca 1945 r. Zadaniem jego wówczas było zabieganie o godziwe warunki życia dla seminarzystów. Poza tym prowadził wykłady z zakresu teologii moralnej, etyki, historii filozofii, pedagogiki i dydaktyki.
Po zakończeniu wojny podjął badania naukowe i przygotował rozprawę habilitacyjną pt. „Nauka św. Augustyna o kłamstwie”. Kolokwium habilitacyjne odbyło się 22 czerwca 1945 r. Od tej pory jego kariera naukowa zaczęła nabierać tempa. Stał na czele katedry teologii moralnej Wydziału Teologicznego KUL. Oprócz tego prowadził wykłady w Seminarium Duchownym w Lublinie i Instytucie Wyższej Kultury Religijnej KUL. Włączał się także w działalność duszpasterską na szczeblu diecezjalnym: jako redaktor „Wiadomości Diecezjalnych Lubelskich” (1945-1947), prezes Związku Kapłanów „Unitas”, cenzor książek o treści religijnej, delegat ds. wychowania i nauki w diecezji oraz wizytator diecezjalny zakonów i zgromadzeń zakonnych.
Jego zaangażowanie zarówno na płaszczyźnie naukowej, jak i duszpasterskiej zostało dostrzeżone przez władze kościelne. Dzięki staraniom bp. Stefana Wyszyńskiego 28 marca 1947 r. papież Pius XII mianował go biskupem pomocniczym diecezji lubelskiej. Wówczas w swoim herbie biskupim umieścił krzyż i zawołanie: „Crux victoria”. Podczas posługi w diecezji lubelskiej coraz mniej czasu poświęcał badaniom naukowym. Nieustannie zaś prowadził zajęcia z teologii moralnej w KUL. Jego aktywność zdominowała realizacja zadań i obowiązków biskupich, najpierw u boku bp. Stefana Wyszyńskiego (1947-49), a później bp. Piotra Kałwy (1949-51).
22 kwietnia 1951 r. papież Pius XII mianował go biskupem diecezji częstochowskiej. Swoją posługę w nowej diecezji rozpoczął od przedstawienia Ingresowego Listu Pasterskiego, w którym zawarł główne myśli programu duszpasterskiego swoich rządów. Następnie sukcesywnie przez kolejne lata realizował wspomniane postulaty. Wśród jego dokonań warto chociażby wskazać najważniejsze: ustanowienie kapituły katedralnej, zorganizowanie dla kleryków tzw. studium domesticum, organizacja Niższego Seminarium Duchownego, rozbudowa struktury Kurii Diecezjalnej, ustanowienie katedry częstochowskiej bazyliką mniejszą, powołanie do istnienia 2 nowych dekanatów i 56 nowych placówek duszpasterskich oraz przeprowadzenie pierwszego synodu diecezji częstochowskiej. Warto nieco zatrzymać się przy tym ostatnim. Niektórzy znawcy prawa kanonicznego twierdzą, że „analiza ustaw synodalnych wskazuje, iż biskup ten posiadał jasną i wyraźną wizję Kościoła partykularnego, jakim jest diecezja. Posiadaną wizję diecezji konsekwentnie biskup Goliński wcielał w życie. Ważnym elementem tej wizji byli kapłani. Biskupowi Częstochowskiemu bardzo zależało na ich świętości. Miała się ona wyrażać w karności, miłości braterskiej i jedności między sobą, a także w posiadanej przez nich wiedzy”.
W swojej działalności biskupiej wykraczał poza granice własnej diecezji. Szczególnie uwidaczniało to się podczas wyjazdów duszpasterskich do Wiecznego Miasta. Odbył on bowiem dwie specjalne podróże do Stolicy Apostolskiej. Pierwsza z nich dotyczyła wizytacji ad limina Apostolorum (7 kwietnia - 23 maja 1960 r.), druga zaś była związana z obradami Soboru Watykańskiego II (uczestniczył w pierwszej sesji soborowej). Poza tym udzielał się m.in. w czasie przygotowań do wielkich obchodów Milenium Chrztu Polski. Jako wiceprzewodniczący Komisji Maryjnej Episkopatu Polski brał udział w wielu uroczystościach podczas Wielkiej Nowenny. Poza tym dość często celebrował sobotnie Msze św. przed Cudownym Obrazem Matki Bożej Jasnogórskiej. Do końca swych dni aktywnie uczestniczył w życiu Kościoła polskiego i częstochowskiego. Zmarł nagle 6 lipca 1963 r. w Częstochowie, mając zaledwie 55 lat. Mógł jeszcze wiele dokonać w swojej posłudze biskupiej. Jeden z jego biografów tymi słowami podsumował całokształt jego działalności: „Na swoim urzędzie biskupim odbył m.in. 335 wizytacji kanonicznych parafii, konsekrował 28 kościołów, wyświęcił na kapłanów 280 alumnów częstochowskich. Cieszył się opinią dobrego administratora, człowieka bardzo uporządkowanego, głębokiej pobożności, wielkiej punktualności, szanującego kapłanów i wiernych.