В Польше существуют две фамилии Яблоновских: одна герба Гржимала, другая герба Прусс III; родоначальники обеих фамилий делаются известными в начале XVI столетия; значение же в Польше той фамилии Яблоновских, к которой принадлежал князь Юзеф, начинается со второй половины XVII века, именно с великого коронного гетмана Станислава-Яна, женатого на Марианне Казановской и бывшего другом и сподвижником короля Яна Собеского.
Внук Станислава-Яна, Юзеф Яблоновский, обладавший огромными богатствами, известен как человек учёный и писатель, но несмотря на эти качества он отличался необыкновенными причудами. Юзеф Яблоновский родился в 1711 году, и 16 апреля 1743 года, находясь польским послом в Регенсбурге, получил от германского императора княжеское достоинство Римской Империи, а впоследствии и орден Золотого Руна. По смерти Августа III он записался в число кандидатов на польский престол, но встретил неудачу и, по избрании в короли Станислава Понятовского, уехал в Лейпциг и там посвящал своё время литературе и учёным изысканиям, учреждал премии и конкурсы, раздавал писателям золотые медали, печатал их сочинения на свой счёт, кормил, поил и одевал их; но соскучившись на чужбине он возвратился на родину и начал вести жизнь чудака.
По приезде в своё имение Ляховицы, он выстроил посредине большего пруда на острове великолепный дом, или, вернее сказать, огромный укреплённый замок. Ни одно окно этого замка не выходило на очаровательные окрестности Ляховиц, но все были обращены вовнутрь на двор. Подражая примеру владетельных особ, князь устроил в этом замке аудиенц-залу, окружил себя войском, образовал кругом себя многочисленный двор, в составе которого были шамбеляны, то есть камергеры, расставил пушки на валах кругом замка и жил там долгое время, не имея ни в ком надобности. Но крепко сжалось сердце Яблоновского, когда однажды он встретил необходимость обратиться с просьбою к бывшему своему сопернику тогдашнему королю Станиславу Понятовскому, и жестокий удар был нанесён самолюбию князя, когда просьба его осталась без исполнения. Раздражённый Яблоновский приказал вынести портрет короля из своих комнат и в наказание повесить его в караульне. Весть об этом дошла до короля, который наслышавшись о странностях Яблоновского, сделал вид, будто ничего не знает о нанесённом ему оскорблении. Тогда Яблоновский решился пойти на мировую и написал к королю письмо, вроде извинения в своём поступке. Король отвечал на письмо князя так: "Зная ваш ум и ваше сердце, я был уверен, что вы, размыслив о вашем поступке, верно сами будете жалеть о нём. Портрет мой, повешенный по приказанию вашему в караульне, мог замараться, поэтому посылаю вам новый, весьма похожий, для того, чтобы он напоминал вам меня."