amek murowany rozpoczęli Krzyżacy budować w 1349 roku a prace ciągnęły się dość długo. Nadzorował je komtur ostródzki Günter von Hohenstein. W 1381 roku książę litewski Kiejstut najechał między innymi na Ostródę i musiano przerwać budowę zamku. Jednakże później ją wznowiono i ostatecznie zakończono budowę zamku w 1409 roku.
  Zamek założono na planie kwadratu o wymiarach 45x45 m. Była to czteroskrzydłowa budowla a wjazd na dziedziniec prowadził od strony zachodniej przez most zwodzony przerzucony nad głęboką fosą z wodą.. Przed atakami bronił go jeszcze zewnętrzny mur obronny (wybudowany po najeździe Litwinów). 
  Jak prawie w każdym krzyżackim zamku tak i w tym znajdowały się pomieszczenia takie jak: kaplica, refektarz, kapitularz, infirmeria, dormitorium braci i mieszkanie komtura, pokoje gościnne. Wszystko to umieszczone było w czterech skrzydłach na piętrze. W piwnicach i na parterze znajdowała się część gospodarcza z magazynami i składami żywności, kuchnią itp. natomiast poddasze zajmowały składy zboża a także służyło ono do celów obronnych. Dokument z 1383 roku podaje, że w tutejszej zbrojowni znajduje się 130 zbroi i 30 hełmów. 
  Po bitwie pod Grunwaldem prawie przez miesiąc zamek był w rękach Władysława Jagiełły lecz 19 września 1410 roku Zakon odzyskał warownię. Miał w niej siedzibę wielki mistrz Henryk von Plauen. Spis uzbrojenia sporządzony w 1411 roku podaje, że zamek dysponuje 104 kuszami, 15 zbrojami, 26 działami oraz 6,5 beczkami prochu.
  Podczas powstania pruskiego zamek dostał się w ręce Związku Pruskiego lecz został odbity przez Krzyżaków 24.02.1454 roku i do czasu sekularyzacji zakonu tj. do 1525 roku pozostawał w ich rękach. Następnie na zamku miali swoją siedzibę królewscy starostowie.
   W 1629 roku zamek służył za kwaterę królowi szwedzkiemu Gustawowi Adolfowi.
   W 1788 roku pożar jaki wybuch w mieście a także dotarł do zamku spowodował wybuch umieszczonych pod skrzydłem wschodnim beczek z prochem. Zniszczeniu uległa cała ta część zamku a ponieważ później skrzydła nie odbudowano do dzisiaj budowla posiada ich tylko trzy.
  Przez kilka tygodni w 1807 roku w zamku mieszkał Napoleon Bonaparte po zwycięskiej bitwie pod Pruską Iławką.
  Później zamek służył jako siedziba sądu i starostwa a także mieszkali w nim urzędnicy miejscy.
  Rok 1945 to zniszczenie zamku przez wojska rosyjskie i dopiero w 1974 roku rozpoczęto odbudowę zabytku, która trwała prawie 20 lat.
  Obecnie w zamku mieści się Muzeum, biblioteka, Centrum Kultury.