Zabytkowy kompleks, zwany Pustelnią Złotego Lasu, to jedna z najcenniejszych pereł sakralnej architektury w tej części Polski. Był on drugim po krakowskich Bielanach kamedulskim konwentem w kraju. Został ufundowany w 1624 r. przez wojewodę Jana Magnusa Terczyńskiego i jego brata Gabriela. Osadzono tu eremitów z kongregacji Monte Corona. Jednym z pierwszych przeorów w Rytwianach był o. Venanty z Subiaco, znakomity malarz, który ozdobił świątynne ściany wspaniałymi malowidłami. W kolejnych latach barokowy kompleks upiększali również inni wybitni artyści. Wśród nich m.in. Giovanni Baptista Falcowi - najzdolniejszy bodaj sztukator, jaki kiedykolwiek pracował na ziemiach polskich, czy też znany malarz Karol de Prevost.
Klasztorny kościół w 1637 r. konsekrował bp Tomasz Oborski. Przez blisko dwa wieki na otoczonej zewsząd lasami polanie kwitło eremickie życie. W roku 1820 mocą dekretu władz zaborczych zakon kamedulski uległ kasacji. Ostatni mnisi przebywali w Pustelni Złotego Lasu do 1825 r. Dokładnie sto lat później, w niepodległej już Polsce, podjęto próbę przywrócenia klasztorowi jego pierwotnego charakteru. Z powrotem przybyli tu kameduli, jednak stan zabudowań eremu uniemożliwił im zamieszkanie. W latach 30. klasztorna świątynia stała się kościołem parafialnym dla Rytwian i kilku okolicznych wiosek.
W roku 2001 ówczesny ordynariusz sandomierski bp Wacław Świerzawski powołał do istnienia Diecezjalny Ośrodek Kultury i Edukacji „Źródło” z siedzibą w Pustelni Złotego Lasu. Funkcję jego dyrektora powierzono ks. Wiesławowi Kowalewskiemu. Zadaniem Ośrodka jest m.in. koordynowanie wszystkich prac, mających przywrócić unikalnemu kompleksowi dawny blask. Plany na przyszłość są bardzo konkretne. W odbudowanych domkach pustelniczych, których niegdyś było szesnaście, ustawionych w dwóch rzędach obok kościoła, mieścić ma się centrum terapeutyczne dla pracoholików i osób uzależnionych od zdobyczy cywilizacji. Tu mają znaleźć spokój i ukojenie, tu będą mogli poddać się rozmyślaniom i wewnętrznemu wyciszeniu. Zapotrzebowanie na ten rodzaj wypoczynku jest duże. Świadczyć o tym może fakt, że z oferty pierwszej zrekonstruowanej pustelni - św. Benedykta, oddanej do użytku w maju tego roku, skorzystało już ponad 20 osób.
W tej chwili dobiegła końca budowa drugiego eremu. Powstał dzięki zaangażowaniu licznych sponsorów i ludzi dobrej woli. Obiekt został zadaszony, a prawdopodobnie zimą wykończone zostanie jego wnętrze. W środku znajduje się mały salonik, łazienka i kaplica.
Ostatnie miesiące zaowocowały jeszcze kilkoma innymi inicjatywami, które przyczyniły się do poprawy stanu Pustelni. Przede wszystkim udało się sfinalizować budowę instalacji kanalizacyjnej odwadniającej kościół. Dzięki niej chronione będą zawilgocone do tej pory ściany kościoła. Urząd Miasta i Gminy Połaniec sfinansował modernizację instalacji elektrycznej i antywłamaniowej. Z funduszu kościelnego Ministerstwa Spraw Wewnętrznych i Administracji wyasygnowane zostały środki na nowy system sygnalizacji pożarowej.
3 grudnia podczas uroczystego nabożeństwa z udziałem dobroczyńców Pustelni ks. Wiesław Kowalewski dokonał poświęcenia dwóch odrestaurowanych figur z XVII wieku, stojących na klasztornym dziedzińcu. Jedna z nich wyobraża św. Barbarę, druga - św. Agatę. Ich konserwację sfinansował w 50% Wojewódzki Konserwator Zabytków, resztę kosztów pokryli indywidualni ofiarodawcy.