Niezwykła budowla została wzniesiona na południe od kościoła, równolegle do jego osi, w formie prostopadłościanu o wymiarach 13,1 x 8,1 x 10,7 m, dwukondygnacyjna, z podziałem ryzalitowo - edikulowym w kondygnacji górnej attykowej. W ryzalitach, między jońskimi kolumnami, w kondygnacji dolnej, umieszczone zostały w ozdobnych niszach ceramiczne rzeźby proroków. Było ich 10, obecnie jest 6, gdyż 4 uległy zniszczeniu. Cztery portaliki, po dwa od strony południowej i północnej, zdobią płaskorzeźby Ewangelistów i Apostołów. W elewacji północnej umieszczeni są świeci: Mateusz i Marek oraz Piotr i Paweł; w elewacji południowej: Jan i Łukasz oraz Józef i Jan Chrzciciel. Nad portalikami dawnej znajdowały się malowidła, przedstawiające sceny z życia Chrystusa. Domek pokryty jest wklęsłym dachem, ukrytym za wysoką attyką. W jego załamaniu umieszczona została lukarna w kształcie prostokątnej, oszklonej wieżyczki, która doprowadza światło do wnętrza. Pod Domkiem znajduje się sklepiona krypta. Tu zostali pochowani księża: Szymon Grzybowski i Remigiusz Leżeński. Budowla ma konstrukcję o podwójnych murach. Mur zewnętrzny ozdobny, tynkowany, kryje proste ściany ceglane, tynkowane tylko od wewnątrz. Domek wewnętrzny dzieliła kiedyś krata drewniana, oddzielająca część wschodnią, sanktuaryjną, od zachodniej, w której stała mensa ołtarzowa, a dalej pomieszczenie dla wiernych. W tyle znajdował się chór muzyczny z małym pozytywem.
W części wschodniej, w niszy, stała figura Matki Bożej Loretańskiej, którą z Włoch przywiózł Jerzy Ossoliński, starosta gołębski. Figura wykonana w drewnie, pokryta olejną polichromią, przystrojona była w bogate suknie, darowane przez kanclerzynę Ossolińską. Wnętrze Domku oświetlało kilkanaście lamp, a przy wejściu stała alabastrowa kropielnica, ofiarowana przez księżnę Izabellę Czartoryską. Ściany były pokryte czerwonym adamaszkiem. Przy pracach konserwatorskich w latach 1982-86 odkryto malowidła ścienne z XVII w. W 1997 r. przeprowadzono prace wzmacniające i zabezpieczające fundamenty.
Kult Matki Bożej Loretańskiej rozwinął się w późnym średniowieczu, po przeniesieniu domu Maryi z Nazaretu do Loreto. Według tradycji, w maju 1291 r. Domek Matki Bożej został przeniesiony przez Aniołów z Nazaretu do Tersato w Dalmacji, w pobliżu Rijeki. Po trzech latach Święty Domek w niewiadomy sposób był przeniesiony (nocą z 9 na 10 grudnia 1294 r.) do Loreto. Z archiwalnych zapisów wynika, że Matka Boża objawiła się w 1296 r. pobożnemu pustelnikowi i powiedziała, że ten domek przeniesiony w przedziwny sposób na teren Loreto jest Domkiem Świętej Rodziny z Nazaretu.
Domek Loretański w Gołębiu jest dwukrotnie wyższy od oryginału w Loreto. Wojny i wylewy Wisły czyniły duże szkody; na przełomie lat 1944/45 stanął front na Wiśle, przynosząc ze sobą kolejne zniszczenia. Staraniem ostatnich księży proboszczów ze Zgromadzenia Najświętszego Serca Pana Jezusa - Stanisława Dadeja i Józefa Kuska, Domek Loretański został z wielką starannością odnowiony.
Podczas letnich wędrówek warto zobaczyć ten piękny, mało znany zabytek. Przy okazji koniecznie trzeba wstąpić do kościoła parafialnego, który został wzniesiony w latach 1628-36. Świątynię pw. Wniebowzięcia Najświętszej Maryi Panny, św. Katarzyny i św. Floriana konsekrował 5 września 1638 r. sufragan krakowski, bp Tomasz Oborski.