amek zbudowany został prawdopodobnie w 1566 przez książąt rosyjskich. Znajdował się on na półwyspie gdzie łączyły się rzeki Uła z Dźwiną.W sierpniu 1568 roku zamek ten zdobył hetman polny Roman Sanguszko, który otrzymał dowództwo po Janie Hieronimie Chodkiewiczu. Poprzednie szturmy nie odniosły skutku a zginęło przy nich dużo wojska. Dlatego też król Polski Zygmunt August powierzył dowództwo Sanguszce.
  W XVI wieku majątek należał do rodziny Kiszków a po nich do rodziny Żabów.
 Następny król Stefan Batory w 1580 roku umocnił zamek, który miał być stale gotowy na odparcie ewentualnej napaści. Pomimo tego w niedługim czasie, na skutek wojen zamek popadł w ruinę. Na jego gruzach w 1669 roku wzniesiony został drewniany kościół pod wezwaniem św. Ducha a jego właścicielami został zakon Dominikanów.