Posługa bp. Czesława Kaczmarka w diecezji kieleckiej przypadła na czas burzliwych wydarzeń dziejowych w naszej ojczyźnie. Biskupowi przyszło troszczyć się o duszpasterstwo w trzech różnych okresach: przedwojennym, podczas II wojny światowej i w komunizmie. To sprawiło, że bp Kaczmarek musiał wykazać elastyczność w kierowaniu diecezją.
Od wczesnych lat kapłaństwa jego życie związane było z różnymi środowiskami kościelnymi, zarówno w Polsce, jak i za granicą. Czesław Kaczmarek, po otrzymaniu święceń kapłańskich (20 sierpnia 1922 r.), kontynuował studia teologiczne w Lille, gdzie uzyskał doktorat. Uczęszczał również na wykłady socjologii w paryskiej Sorbonie. We Francji pracował duszpastersko wśród Polonii w Brney les Mines (1927-28), pisywał do francuskich tygodników społecznych oraz uczestniczył w organizowaniu ruchu młodych robotników francuskich. Po powrocie do kraju w 1929 r., objął stanowisko sekretarza generalnego Związku Młodzieży Męskiej diecezji płockiej. Trzy lata później został mianowany dyrektorem Diecezjalnego Instytutu Akcji Katolickiej. Równocześnie był redaktorem pism Myśl i Czyn oraz Hasło Katolickie. Prowadził też ożywioną działalność publicystyczną i społeczną. Mianowany 24 maja 1938 r. biskupem kieleckim, podjął posługę duszpasterską, która była uwarunkowana ówczesną sytuacją polityczno-społeczną w kraju.
Bp Kaczmarek szczególną opieką otaczał duchowieństwo. Za jego czasów liczba księży i powołań w diecezji (zwłaszcza w okresie powojennym) ciągle wzrastała. Gościnnie przyjmowano na plebaniach wysiedlonych kapłanów, do czego Biskup zachęcał i sam dawał tego przykład - gościł w swoim domu wielu kapłanów, zapewniając im tymczasowe mieszkanie.
Ordynariusz kielecki pragnął, aby w każdym dekanacie pracował ksiądz mający ukończone wyższe studia pastoralne. Z powodu braku księży i trudności zewnętrznych, nie mógł w pełni zrealizować swego zamysłu; gdy jednak stało się to możliwe, posyłał duchownych na studia do Rzymu, Krakowa i Lublina.
Wielką troską otaczał także zakony, dzięki czemu po wojnie życie zakonne zaczęło się odradzać na dużą skalę. Wiele sióstr pracowało w parafiach (m.in. ucząc religii), w szpitalach, domach opieki itp. (w 1958 r. istniało na terenie diecezji 20 zgromadzeń żeńskich w 61 placówkach zakonnych, z 518 zakonnicami).
W okresie swoich rządów Biskup przeprowadził reorganizację Kurii Diecezjalnej, powołując nowe referaty: finansowy, duszpasterski, szkolny i budowlany oraz tworząc Komisję Duszpastersko-Liturgiczną. Mianował stałych wizytatorów generalnych do przeprowadzania rocznych wizytacji w parafiach księży dziekanów. Zreformował również sposób odbywania kanonicznych wizytacji pastoralnych, wprowadzając nowe metody wizytacyjne, które obejmowały wszystkie działy pracy duszpasterskiej. Do bezpośredniej pomocy w rozporządzaniu sprawami administracyjnymi i dobrami kościelnymi powołał Diecezjalną Radę Administracyjną. Erygował również Archiwum Diecezjalne, w celu dokumentacji i rozwijania badań historycznych w Kielcach.
Zabiegał o to, aby w Kielcach funkcjonowały istniejące dotychczas drukarnie katolickie: Drukarnia Diecezjalna „Jedność” i „Drukarnia św. Józefa” na Karczówce. Równocześnie funkcjonowało Wydawnictwo oraz Księgarnia Diecezjalna „Jedność”. Biskup dążył do rozpowszechniania słowa Bożego poprzez drukowanie duszpasterskich materiałów pomocniczych. Sam wydawał listy duszpasterskie, broszury i książki, skierowane do różnych grup społecznych.
Szczególną uwagę już od pierwszych chwil swojego pobytu w Kielcach bp Kaczmarek skierował na Seminarium Duchowne, troszcząc się o jego wysoki poziom naukowy i wychowawczy. Pragnął, aby w parafiach diecezji kieleckiej pracowała liczna i wykwalifikowana kadra duszpasterzy.
W okresie wojny kieleckie Seminarium Duchowne funkcjonowało w nadzwyczaj trudnych warunkach. Biskup troszczył się o nie i zabiegał o jego utrzymanie, choćby w ograniczonym zakresie. Równocześnie intensywnie myślał o jego przyszłym rozwoju, przygotowując dla niego statut, regulamin wychowania i odbywania egzaminów; przyjmował chętnie aspirantów zgłaszających się z innych seminariów. W ten sposób w Seminarium kieleckim znaleźli schronienie klerycy z innych diecezji (za zgodą swoich ordynariuszy) i po otrzymaniu święceń, po wojnie, wrócili do swoich rodzimych diecezji.
W nowej rzeczywistości powojennej Biskup powołał w Seminarium nowy zarząd (ks. dr Szczepan Sobalkowski - rektor, zaproszony do Kielc jezuita ks. dr Franciszek Ilków-Gołąb - prorektor, ks. dr Stanisław Włudyga - prefekt studiów, ks. Władysław Widłak - prokurator, ks. dr Wojciech Piwowarczyk - ojciec duchowny). Najważniejszym zadaniem zarządu było odzyskanie całego gmachu seminaryjnego, naprawianie szkód spowodowanych przez działania wojenne i przy tej okazji - dokonanie koniecznych przeróbek oraz rozwinięcie w nowych warunkach pełnej działalności naukowo-wychowawczej. Biskup, kierując się potrzebami duszpasterskimi diecezji, zabiegał o pomnożenie powołań, m. in. apelując do księży o wsparcie materialne i troskę o kandydatów do kapłaństwa. Znany jest jego List pasterski o powołania do kapłaństwa (1945 r.), który spotkał się ze spontanicznym i serdecznym odzewem ze strony duchowieństwa diecezji. Seminarium Duchownemu stale przybywało kandydatów, diecezji zaś coraz więcej kapłanów. W roku akademickim 1957/58 do kapłaństwa przygotowywała się wyjątkowo duża liczba kandydatów (40 alumnów).
Od 1958 r. rektorem Seminarium został ks. dr Adam Szafrański. W trosce o powołania, w szczególny sposób zaakcentował on sprawę dni seminaryjnych, których celem było zetknięcie się alumnów z wiernymi w kościołach parafialnych, łączenie się w modlitwach z duszpasterzami oraz wiernymi w intencji kapłanów i nowych powołań, podziękowanie za ofiarność na rzecz Seminarium, zachęta do dalszej pamięci o uczelni, a także przygotowanie do pracy duszpasterskiej.
Od momentu przybycia do Kielc bp. Kaczmarka, nie opuszczało go pragnienie powołania do istnienia Niższego Seminarium Duchownego. Swoje pragnienie mógł zrealizować dopiero wiosną 1947 r., gdy gmach Seminarium Duchownego został opuszczony przez Szpital Wojskowy. Na pierwszy rok nauki i formacji przyjęto 48 licealistów. Mieszkanie, wyżywienie i kaplicę mieli na miejscu, zaś naukę pobierali w Liceum św. Stanisława Kostki. Po upaństwowieniu liceum biskupiego, odbywali studium domowe. W takich warunkach Niższe Seminarium Duchowne przetrwało do 1955 r. Ponownie bp Kaczmarek powołał je do życia 25 lipca 1959 r., jednak po 2 latach pracy zostało zamknięte na polecenie władz państwowych.
Ważną rolę w działalności duszpasterskiej Kościoła kieleckiego pełniły instytucje duszpasterskie, m.in. utworzony w 1931 r. Diecezjalny Instytut Akcji Katolickiej. Bp Kaczmarek pragnął kontynuować dzieło Akcji Katolickiej, dlatego z tak wielkim naciskiem zachęcał ludzi do wstępowania w jej szeregi.
Biskup Ordynariusz zastał w diecezji kieleckiej również inne stowarzyszenia i organizacje religijne, prowadzące ożywioną działalność. Do najstarszych i najpopularniejszych można zaliczyć: Bractwa Różańcowe, Krucjatę Eucharystyczną czyli Rycerstwo Jezusowe (założone przez jezuitów w 1925 r.), Apostolstwo Modlitwy (od 1916 r.). Wszystkie te organizacje kościelne po wojnie stopniowo zamierały, czego przyczyną były uwarunkowania polityczne. W to miejsce wchodziły nowe formy duszpasterstwa, dostosowane do sytuacji politycznej w kraju. Najbardziej rozpowszechnione i najdłużej działające w diecezji było Stowarzyszenie Diecezjalne Caritas, erygowane 11 lutego 1931 r. przez bp. Augustyna Łosińskiego.
Po wojnie bp Kaczmarek napotkał jeszcze inne trudności w rządzeniu diecezją. Poddany ostrym szykanom i prześladowaniom ze strony władz państwowych, został aresztowany 20 stycznia 1951 r. pod zarzutem współpracy z władzami okupacyjnymi i wrogiej działalności w stosunku do Polski Ludowej. Niesprawiedliwie osądzony, został skazany 22 grudnia 1953 r. na 12 lat więzienia; na wolność wyszedł 28 grudnia 1956 r.
Ukoronowaniem działalności bp. Kaczmarka w diecezji kieleckiej było zwołanie drugiego synodu diecezjalnego i proklamowanie jego uchwał w dniach 16 i 17 grudnia 1958 r. Uchwały synodalne zarysowały szeroki program działalności duszpasterskiej, dotyczący kaznodziejstwa, katechizacji, misji i rekolekcji parafialnych, duszpasterstwa młodzieży, duszpasterstwa stanowego oraz działalności społeczno-charytatywnej. Ten program nie został jednak zrealizowany, ze względu na przedwczesną śmierć bp. Kaczmarka, który zmarł w Lublinie 26 sierpnia 1963 r. Program wdrażali w życie w kolejnych latach duszpasterze diecezji kieleckiej, którzy z żalem żegnali swojego Biskupa.