Po ukończeniu szkoły w Korczynie kontynuował naukę w Rzeszowie. Zdał egzamin dojrzałości w 1860 r. i wstąpił do Seminarium Duchownego w Przemyślu. Święcenia kapłańskie przyjął 17 lipca 1864 r., potem przez pewien czas był wikariuszem w Samborze. Dzięki poparciu o. Piotra Semenenki uzyskał stypendium i został wysłany do Kolegium Polskiego w Rzymie. W latach 1865-1868 studiował tam prawo kanoniczne i teologię, zdobywając dwa doktoraty.
Oddawał się w tym czasie głębokiemu życiu wewnętrznemu i zgłębiał dzieła ascetyków. Owocem tego stała się jego praca zatytułowana Życie duchowe, czyli doskonałość chrześcijańska. Przez dziesiątki lat służyła ona zarówno kapłanom, jak i osobom świeckim.
Po powrocie do kraju, w październiku 1869 r. został mianowany prefektem Seminarium Duchownego w Przemyślu, oraz wykładał tam teologię pastoralną i prawo kanoniczne.
W marcu 1877 r. otrzymał katedrę historii Kościoła i prawa kanonicznego na Wydziale Teologicznym Uniwersytetu Jagiellońskiego w Krakowie. Pracował tam 22 lata, a od 1882 do 1883 r. był rektorem uczelni. Rozpoczął wtedy także budowę uczelni Collegium Novum.
Obok zajęć uniwersyteckich był również znakomitym kaznodzieją, zajmował się też działalnością kościelno-społeczną. Odznaczał się gorliwością i szczególnym nabożeństwem do Najświętszego Sakramentu, do Serca Bożego i Najświętszej Maryi Panny.
Przejęty głęboką troską o dziewczęta zagrożone moralnie, a także losem chorych i ubogich, założył w 1894 r. w Krakowie Zgromadzenie Franciszkańskie Służebnic Najświętszego Serca Jezusowego.
W 1899 r. został biskupem pomocniczym w Przemyślu, a 17 grudnia 1900 r. - ordynariuszem diecezji przemyskiej. Jego rządy były czasem wielkiej troski o podniesienie poziomu wiedzy duchowieństwa i wiernych. W tym celu często gromadził księży na zebrania i konferencje oraz pisał wiele listów pasterskich. Popierał bractwa i sodalicji mariańskiej. Przeprowadził także reformę nauczania religii w szkołach podstawowych. Z jego inicjatywy powstał w diecezji Związek Katolicko-Społeczny. Zwiększył o 57 liczbę placówek duszpasterskich. Dzięki pomocy biskupa sufragana Karola Fischera dokonywał często wizytacji kanonicznych w parafiach. Był wzorem gorliwości apostolskiej, prowadził intensywne życie wewnętrzne i dużo czasu poświęcał na modlitwę. Z wielkim zapałem i energią realizował program oświecenia diecezji. W 1901 r. powołał do życia redakcję miesięcznika Kronika Diecezji Przemyskiej. W 1902 r. urządził bibliotekę i muzeum diecezjalne, założył Małe Seminarium i odnowił katedrę przemyską. Jako jedyny biskup w tamtych czasach, pomimo zaborów, odważył się w 1902 r. zwołać synod diecezjalny, po 179 latach przerwy, aby oprzeć działalność duszpasterską na mocnym fundamencie prawa kościelnego.
Wśród tych wszechstronnych zajęć przez cały czas prowadził także działalność pisarską. Posiadał rzadką umiejętność doskonałego wykorzystywania czasu. Każdą chwilę umiał poświęcić dla chwały Bożej i zbawienia dusz. Był ogromnie pracowity, systematyczny i roztropny w podejmowaniu ważnych przedsięwzięć, miał doskonałą pamięć. Oszczędny dla siebie, hojnie wspierał wszelkie dobre i potrzebne inicjatywy.
Zmarł w opinii świętości 28 marca 1924 r. w Przemyślu, na kilka miesięcy przed zaplanowanym kolejnym synodem diecezjalnym. Założone przez bp. Józefa Pelczara Zgromadzenie Sióstr Sercanek liczy obecnie ponad 650 członkiń.
W czasie czwartej pielgrzymki do Ojczyzny, 2 czerwca 1991 r. Jan Paweł II dokonał w Rzeszowie w pobliżu kościoła Najświętszego Serca Pana Jezusa uroczystej beatyfikacji bp. Józefa Sebastiana Pelczara. Wspomnienie dowolne, a w archidiecezji przemyskiej obowiązkowe, przypada 19 stycznia. Kanonizacja błogosławionego Józefa Sebastiana Pelczara odbędzie się 18 maja 2003 r. w Rzymie.