amek zbudowany został na wysokim wzniesieniu w połowie XIII wieku przez księcia Daniela Halickiego. W tym czasie była to drewniana budowla obronna, która została zniszczona w 1261 roku.
  Murowany zamek wzniesiony został przez króla Polski Kazimierza Wielkiego przypuszczalnie na miejscu wcześniejszego założenia.
Budowla z trzech stron otoczona była murem obronnym natomiast z czwartej mur ten był podwójny. Do zamku prowadziły trzy bramy wjazdowe. Nad jedną z nich umieszczona była sypialnia, nad drugą pomieszczenia mieszkalne a przy trzeciej pomieszczenia dla żołnierzy. Oprócz tego w skład zamku wchodziła murowana wieża oraz baszta ze znajdującą się w niej między innymi studnią.
 Według lustracji z 1562 roku zamek był dobrze uzbrojony. Posiadał 10 armat, duży zapas prochu i wszelkiej broni a także machiny do rozbijania murów. Oprócz tego znajdujący się w nim spichlerz był pełen żywności a pomieszczenia królewskie wyremontowane.
  Podczas wojen kozackich w 1648 roku zamek zostaje zdobyty i zniszczony przez Kozaków pod dowództwem Maksyma Krzywonosa. W 1653 roku zostaje odbudowany przez Krzysztofa Grodzickiego i pomimo ponownego oblężenia kozackiego w 1655 roku nie zostaje zdobyty 
  W 1672 roku zamek i miasto oblegały wojska tureckie.
  Z kolei w 1704 roku wojska szwedzkie po oblężeniu zdobyły i zniszczyły zamek.
  Po pierwszym rozbiorze Polski cesarz austriacki Józef II zamek wysoki darował miastu w roku 1786. Ponieważ budynek był znacznie zniszczony został on rozebrany lecz pozostawiono po nim jedną ścianę. Równocześnie rozpoczęto zalesianie piaszczystego wzgórza zamkowego tworząc na nim park. 
  Rok 1869 to rozpoczęcie sypania na miejscu zamku wysokiego "Kopca unii lubelskiej"  w 300-tną jej rocznicę.