amek zbudowany został około 1515 roku przez wojewodę witebskiego Jana Sapiehę. Była to murowana budowla z prostokątnym dziedzińcem, otoczona murem i wałem obronnym oraz według starych zapisów " oblana jeziorem, przez które przepływa rzeka Kałamanka". Wewnątrz założenia oprócz budynku mieszkalnego i gospodarczego znajdowała się studnia a także stojąca do dzisiaj cerkiew wybudowana w 1530 roku. Cerkiew ta miała połączenie z zamkiem.
Gdy rodzina Sapiehów przeszła na katolicyzm cerkiew zamieniono na zamkową kaplicę i obecnie jest to kościół p. w. św. Ducha. Budowla ta jest jedyną na ziemiach polskich cerkwią późnogotycką z wczesnorenesansowym portalem charakterystycznym dla budownictwa litewsko - ruskiego.
  W swojej historii zamek często gościł królów polskich.
   W latach 30-tych usypano na miejscu wokół dawnego arsenału zamkowego wzgórze zwane kalwarią a na fundamentach arsenału powstał ołtarz polowy. W latach 70-tych XX wieku odgruzowano i odbudowano piwnice, które zostały przykryte żelbetową płytą.
  Obecnie na terenie dawnego zamku znajduje się zespół kaplic drogi krzyżowej a po zamku pozostały piwnice. Odnowione zostały wały i fosy a obecnie trwa rekonstrukcja ziemnych bastionów. Są plany zrekonstruowania zamku na dawnych pozostałościach murów i przykrycia go dwuspadowym dachem.