amek zbudowany został przez króla Kazimierza Wielkiego około 1360 roku na miejscu wcześniejszego grodu. W 1364 roku Wąwolnica otrzymała prawa miejskie i oprócz zbudowania zamku została także umocniona murami obronnymi o grubości dochodzącej do 3 metrów. Zbudowany został także murowany, dwukondygnacyjny kościół pw. św. Wojciecha, którego część wschodnia służyła do obrony murów miejskich. Miejscowość znajdowała się na szlaku handlowym i postawienie w niej zamku, a także dwóch innych w Kazimierzu Dolnym i Lublinie powodowało bezpieczniejsze nim podróżowanie.
 W zamku zatrzymywał się podczas swoich podróży do Lublina król Kazimierz Jagiellończyk (w tamtejszym zamku przebywały pod opieką Jana Długosza dzieci króla)  wraz z dworem. W tym czasie miejscowość dzierżawiona był przez rodzinę Ostrowskich herbu Rawa tak jak i od 1386 roku zamek w Kazimierzu lecz sam zamek wraz ze wzgórzem pozostał w rękach królewskich i jego urzędników.
  Od 1444 roku na zamku odbywały się sądy lubelskie  pod  przewodnictwem kasztelana, natomiast już w tym okresie dawne miasto otoczone przez Kazimierza Wielkiego murami obronnymi rozrosło się i w dawnych murach pozostał tylko zamek wraz z kościołem rozbudowanym przez osadzonych tam benedyktynów. Zamek strzegł przeprawy przez rzekę Bystra (możliwe, że w tym okresie był tam most). W dalszym ciągu była to ważna miejscowość w całej sieci dróg królestwa. Prowadził tamtędy szlak z Rusi na Śląsk i z Krakowa na Litwę.
  W 1518 roku Zygmunt Stary wydzierżawia na okres dwóch lat miejscowość wraz z zamkiem Piotrowi Firlejowi herbu Lewart a od 1526 roku zostaje on dożywotnim dzierżawcą. Wcześniej dzierżawi zamek w Kazimierzu oraz wieś Syrokomlę (obecny Janowiec) gdzie w latach 1508-1520 stawia swoją rezydencję.
  W 1567 roku wybuchł pożar, który zniszczył zabudowania wewnątrz dawnych murów jak i te stojące poza nimi. Odbudowano z dużym wysiłkiem tylko kościół św. Wojciecha lecz znacznie mniejszy niż przed pożarem.
 Opuszczony i zrujnowany zamek został rozebrany a pozyskany materiał budowlany przeznaczono na odbudowę między innymi gotyckiego kościoła.
  Do dzisiaj po zamku nie ma śladu natomiast częściowo przetrwały wzniesione przez Kazimierza Wielkiego miejskie mury obronne.