Znana z zapisów już w XV wieku wieś Kolczyn należała pod koniec XVII w. do Potockich herbu Pilawa. Na jej gruntach w 1687 roku Andrzej Potocki Założył miasto na prawie magdeburskim. Układ urbanistyczny zachował się do dnia dzisiejszego choć nie zabudowa. Nazwę Józefów otrzymał od imienia syna założyciela Józefa Potockiego. Z budowli zachowanych z tamtych czasów Józefów posiada barokowy pałac oraz kościół. Reszta zabudowy była niszczona w pierwszej i drugiej wojnie światowej. Dlatego też duży rynek w centrum Józefowa jest pusty choć kiedyś stał na nim ratusz z wieżą.

Pokaż Pałace dwory zamki na większej mapie

Pałac znajduje się w pobliżu skarpy wiślanej. Dziś zbocze jest zarośnięte drzewami lecz kiedyś stąd można było podziwiać krajobrazy za Wisłą jak i samą rzekę. Odnoszę wrażenie, że w pałacu funkcje frontu budynku przejął jego dawny tył. Niewiele zostało z dawnego parku. W pobliżu znajdują się dotąd użytkowane zabudowania folwarczne. W pałacu mieści się Urząd Gminy.

Chyba nieco nowszy element ozdobny parku.