Oleszyce 110 lat temu, 11 maja 1901 r. ogarnął wielkie pożar, podczas którego spaliły się: cerkiew, kościół, 3 synagogi, szkoła, urząd gminy, poczta, łącznie z Starymi Oleszycami ok. 800 budynków. Ponad 5 tys. osób zostało bez dachu nad głową. W tydzień po tej tragedii, 18 maja, przyjechał do spalonego miasta metropolita lwowski abp Józef Bilczewski, by pocieszyć zrozpaczonych, tchnąć ducha Bożej nadziei, podjąć z miejscowym proboszczem ks. Ludwikiem Swadowskim decyzję o odbudowie i rozbudowie kościoła. W latach 1903-06 wybudowano prawie nowy kościół i dzwonnicę, według planów architekta lwowskiego Włodzimierza Podhoreckiego, zachowując dawny układ przestrzenny, powiększony o nawy boczne. Nową nastawę ołtarza głównego i ambonę wykonał przemyski rzeźbiarz Ferdynand Majerski. Dwa ołtarze boczne wykonane zostały w warsztacie Piotra Wołoszyńskiego z Kańczugi. Jeden z nich poświęcono św. Józefowi. Znalazła się w nim figura tego świętego.
Abp Józef Bilczewski przyjechał do Oleszyc jeszcze raz od 6 do 9 września 1907 r. W pierwszym dniu nawiedził wiernych w miejscowej cerkwi, a następnego, podczas koncelebrowanej Mszy św. konsekrował odbudowany kościół i główny ołtarz, udzielił 489 osobom sakramentu bierzmowania, a po południu katechizował dzieci i odprawił nabożeństwo żałobne. 8 września, w dniu odpustu parafialnego ku czci Matki Bożej Siewnej, odprawił Sumę dla ok. 12 tys. wiernych. Przed południem 9 września odwiedził szkołę, a w godzinach popołudniowych odjechał do Lwowa.
Po stu latach od tamtego wydarzenia powrócił do Oleszyc abp Józef Bilczewski jako święty. Jego beatyfikacji dokonał papież Jan Paweł II we Lwowie w czerwcu 2001 r., podczas pielgrzymki na Ukrainę. Podpisał też dekret o jego kanonizacji. Papież Benedykt XVI w Rzymie 23 października 2005 r. ogłosił abp. Józefa Bilczewskiego świętym. Jego relikwie w 2007 r. dla oleszyckiego kościoła podarował metropolita lwowski kard. Marian Jaworski. „Na większą chwałę Bożą, na prośbę ks. proboszcza parafii pw. Narodzenia Matki Bożej przekazujemy relikwie św. Józefa Bilczewskiego, arcybiskupa metropolity lwowskiego, konsekratora w 1907 r. kościoła parafialnego w Oleszycach. (...) Ufam, że wytrwała modlitwa przy relikwiach św. Józefa Bilczewskiego przyczyni się to rozwoju życia religijnego parafii, a tym samym do uświęcenia jej mieszkańców” - czytamy w dekrecie metropolity lwowskiego kard. Mariana Jaworskiego z dnia 24 sierpnia 2007 r.
Tak więc od września 2007 r. w oleszyckiej świątyni znalazł się drugi św. Józef, tym razem abp Józef Bilczewski. Jego relikwie umieszczone są w relikwiarzu zaprojektowanym i wykonanym przez prof. Krzysztofa Badynę z ASP w Krakowie i ustawione są przy obrazie Chrystusa Miłosiernego.
W okresie intensywnego budownictwa sakralnego w latach 80. XX wieku, pod nadzorem i staraniem oleszyckiego proboszcza ks. kan. Michała Goniaka, równocześnie w Zalesiu, Futorach i Zabiałej budowano nowe kościoły. Świątynia w Zabiałej jest pw. św. Józefa Oblubieńca Najświętszej Maryi Panny. Wzniesiona została w latach 1983-87 dzięki ofiarności mieszkańców i Rodaków z Kanady, w szczególności dzięki wielkiej pomocy Elżbiety i Jana Czyżów. We wznoszeniu świątyni ma wielki udział Julian Habało i proboszcz oleszycki ks. Michał Goniak. Kościół ten uroczyście konsekrował administrator apostolski Archidiecezji w Lubaczowie bp Marian Jaworski w dniu 5 lipca 197 r. Kolejne lata poświęcono jego wykończeniu, montażowi 12 witraży, obrazów i rzeźb, zawieszeniu na wieży dzwonu, wykonaniu zewnętrznej elewacji i metalowego ogrodzenia.