Zamek ten wybudował Stanisław Szydłowiecki pod koniec XV wieku. Przebudowywano go w wiekach XVI i XVII.
Pokaż Pałace dwory zamki na większej mapie
Pierwszej przebudowy dokonał Mikołaj Szydłowiecki. Kolejnej Albrecht Władysław Radziwiłł. Posiadająca zamek od 1802 roku Anna Sapieżyna Zamoyska w roku 1828 sprzedała go skarbowi Królestwa Polskiego. Skarb Królestwa wydzierżawił go i zamek stał się... składem piwa. Od połowy XIX wieku niszczał. Dopiero w latach sześćdziesiątych XX wieku budynek został wyremontowany i oddany w użytkowanie instytucjom kulturalnym Szydłowca.
Wg zapisów w Księdze Pamięci Żydów z Szydłowca na dziedzińcu zamku przez kilka dni przetrzymywano Żydów podczas likwidacji getta w mieście. Bez dostępu do wody i jedzenia.