Według dokumentów już w 1427 r. istniał w miejscu obecnego zamku kamienny budynek dworu, należącego do Jakuba i Sławka Odrowążów. W wyniku wykopalisk archeologicznych zlokalizowano też resztki starszych konstrukcji drewnianych, datowanych na XIII w.
Ze względów obronnych mury zamku wzniesiono na sztucznej wyspie w rozlewiskach rzeki Korzeniówki i otoczono fosą.
Zamek powstawał etapami. Najstarszą część, tzw. "dom zamkowy" czyli dzisiejsze północne skrzydło zamku, wybudował w połowie XV w. Stanisław Szydłowiecki. W następnym etapie powstała wieża bramna, połączona murem obwodowym z budynkiem mieszkalnym.
Fragmentem dawnego muru obwodowego jest zachowany do dzisiaj od strony południowej mur kurtynowy.
Zamek otoczony był rozległym parkiem, pełnym egzotycznych drzew i roślin. Od strony wschodniej urządzono także zwierzyniec z egzotycznymi zwierzętami i ptactwem.
W latach 1949-1958 przeprowadzono na terenie zabytkowego zamku badania archeologiczne, a w latach 60. XX w. gruntowne prace remontowe.
Zamek jest znakomitym przykładem zastosowania miejscowego kamienia - piaskowca szydłowieckiego, z którego powstały nie tylko mury, lecz także wiele ozdobnych detali, jak schody, kolumny, filary, balustrady, portale i kominki.
Na uwagę zasługuje kamienny portal nad wejściem do biblioteki z herbami Radziwiłłów.
Odwiedziliśmy we wrześniu 2010r.
