amek zbudowany został w XIV wieku za panowania Kazimierza Wielkiego na wzgórzu nad rzeką Wieprz. Wcześniej znajdowało się tam grodzisko z przed 5 000 lat oraz osada z X wieku. Budowla składała się z murowanej wieży mieszkalno - obronnej otoczonej palisadą i wałem ziemnym. Zadaniem zamku było między innymi strzeżenie przeprawy przez rzekę. Wjazd na zamek prowadził od strony północno - wschodniej przez umocnioną bramę. W tym czasie był także siedzibą  starosty.
  Od 1377 roku budowla należała do Dymitra z Goraja a od 1471 do rodziny Tarnowskich (do 1530 r.). Następnymi właścicielami zamku, miasta i ziem są rodziny Kmitów (1531 - 1553), Górków (1555 - 1592), Czarnkowskich a od 1593 roku Zamoyskich.
  We wrześniu 1583 roku zamek został podpalony przez nieznane osoby. Pożar zniszczył budowlę a wraz z nią wszelkie dokumenty mówiące o historii warowni. Na prośbę ówczesnego właściciela zamku i miasta Andrzeja Górki król  Stefan Batory po wcześniejszym przedstawieniu różnych dowodów odnowił utracone akta i przywileje. W 1593 roku po zamku pozostały dwie studnie i piwnice o czym dowiadujemy się z przeprowadzonego w tym czasie inwentarza.
  W późniejszym czasie odbudowano założenie a właściwie tylko budynek mieszkalny i w XVII wieku była to jedna z nielicznych murowanych budowli w mieście. W następnych wiekach i ona została ponownie zniszczona.
  Do dzisiaj pozostała murowana, dwukondygnacyjna wieża.