amek zbudowany został około 1510 roku przez Fryderyka Herburta. Znajdował się on na stromym wzgórzu nad rozlewiskiem rzeki Świerz. Była to postawiona z kamienia i cegły budowla obronna zwana Podkamieńcze. W 1515 roku król Polski Zygmunt I Stary pozwala na założenie przy zamku miasta na prawie niemieckim.
  W późniejszym czasie zamek zostaje odremontowany przez ówczesnego właściciela hrabiego Leopolda Starzeńskiego.
  W XVIII wieku zamek zostaje przebudowany na pałac a należy on między innymi do starosty kowelskiego księcia Dymitra Jabłonowskiego.