amek zbudowany został w początkach XIV wieku na miejscu wcześniejszego grodu książąt połockich. Była to budowla zajmująca obszar
około 5 hektarów i otoczona umocnieniami ziemnymi. W tym czasie był jednym z większych warowni na tym terenie. Jego zadanie
polegało na pilnowaniu przeprawy przez rzekę Dźwinę i utrudnianiu dostępu w głąb księstwa zakonowi krzyżackiemu. Po klęsce zakonu
pod Grunwaldem rola militarna zamku znacznie zmalała i pomału został on opuszczony. Jednak podczas wojny litewsko - rosyjskiej
zamek został odbudowany i wzmocniono jego obronność. Stało się to z powodu zajęcia przez Rosjan miasta Połocka. Król
Zygmunt August polecił odnowić starą budowlę i przygotować do walki.
Za panowania Stefana Batorego następuje dalsze
umocnienie i rozbudowa zamku. Do tej pory znajdował się on w widłach dwóch rzek a
przekopanie kanału łączącego Dźwinę z Dzisną spowodowało, że budowla znalazła się na wyspie. Od tej pory nazywano to miejsce
"Wyspą Batorego". I znowu po zwycięskim zakończeniu wojny z carem Iwanem Groźnym znaczenie zamku zmalało.
W 1654 roku zamek wraz z miastem poddał się bez walki wojskom rosyjskim podczas kolejnego konfliktu z Moskwą. Rosjanie
odbudowali oraz znacznie umocnili stary zamek. W tym czasie była to silnie uzbrojona (posiadała 40 armat różnego kalibru) i
umocniona twierdza z 14 basztami i dwoma bramami. Nosiła ona nazwę "Zamku Górnego". "Zamek Dolny" natomiast zbudowany został przez
mieszkańców Dzisny, którzy po znacznym zniszczeniu miasta przenieśli się na wyspę i tam pod zamkiem zbudowali osadę bronioną przez
drewniane fortyfikacje.
Przez sześć lat zamek był w rękach Rosjan. W 1661 roku wojska polskie oblegały twierdzę i w efekcie buntu mieszczan znajdujących
się w zamku, którzy obezwładnili znajdujących się tam żołnierzy warownia powróciła do rąk polskich.
Na początku XVIII wieku podczas wojny północnej zamek uległ zniszczeniu i nie został już więcej odbudowany. Ruiny rozebrano a
wały zaorano.
Obecnie na wyspie trudno jest się doszukać dawnych umocnień ziemnych.