amek zbudowany został z końcem XII lub początkiem XIII wieku. Pierwsze wzmianki o tej budowli pochodzą z połowy XIII wieku. W tamtych czasach zamek zbudowany z drewna stał na wyspie otoczonej wodami jeziora. Wyspa miała kształt koła a jej brzegi były dość strome. pomimo tego zamek otaczały potrójne wały a od strony miasta wał był najwyższy. Sam zamek posiadał baszty obronne oraz pięć bram a z miastem łączył go wąska grobla.
W 1565 roku z polecenia Zygmunta Augusta warownia została rozbudowana a także wzmocniono jej obronność. W tym czasie była to siedziba starostów grodowych. Jednakże jego znaczenie upadło gdy siedzibę starostwa przeniesiono do Poniewieża. Opuszczony popadał w ruinę. Później na jego miejscu podobno wybudowany został przez posła upickiego Władysława Sicińskiego dwór. Poseł ów "wsławił" się tym, że jako pierwszy skorzystał z prawa "liberum veto" i zerwał w 1652 roku sejm warszawski nie zgadzając się na przedłużenie obrad o jeden dzień. Obecnie wzniesienie, na którym stał zamek nosi nazwę Góry Sicińskiego.
Dzisiaj miejsce po jeziorze zajmują łąki a po zamku pozostały fragmenty fos i wałów.
Oto fragment wiersz A. Mickiewicza "Popas w Upicie":
Upita, niegdyś miasto, powiatu stolica,
Dzisiaj miasteczko liche; jedna w nim kaplica
I kilkanaście chatek żydowskiej siedziby.
Gdzie były ludne rynki, dziś tam rosną grzyby;
Wzgórek, obronny wałem i zwodzonym mostem,
Teraz broni się tylko pokrzywą i ostem.
Mury w gruzach, na miejscu zamkowego gmachu
Sterczy nędzna karczemka bez okien i dachu
