ierwszy drewniany zamek powstał na stromym i otoczonym wodami rzeki wzgórzu w wieku XIII. W nim miał swoją siedzibę książę litewski Giedymin i stąd do dnia dzisiejszego przetrwała nazwa Zamek Giedymina. Warownia skutecznie odpierała ataki rycerzy zakonu krzyżackiego w XIV wieku.
Pożar zniszczył zamek w XV wieku lecz został on odbudowany tym razem za budulec posłużył kamień i cegła.
  Za panowania Aleksandra Jagiellończyka zamek służył przez pewien czas za więzienie. Podczas wojny z Rosją w latach 1655 - 1661 budowla uległa zniszczeniu i zamek pozostawał opuszczony.
  W 1831 roku zburzono baszty południową i północną, mur obronny od zachodu i północy a osuwający się stok umocniono.
Zachowana zachodnia wieża podczas drugiej wojny światowej uległa częściowemu zniszczeniu lecz po wojnie została odremontowana i mieści się w niej Muzeum Zamku Wileńskiego.