amek w stylu renesansowym zbudowany został w roku 1564 (budowę rozpoczęto w 1554 roku) przez kanclerza litewskiego księcia Mikołaja Radziwiłła zwanego Czarnym. Po nim zamek odziedziczyli jego synowie  Stanisław zmarły w 1599 roku oraz Mikołaj Krzysztof zwany Sierotką.
  W 1640 roku kolejny Radziwiłł Albrycht Stanisław rozbudował zamek. Powstało dwukondygnacyjne założenie obronne na planie czworoboku. Wewnątrz znajdował się brukowany dziedziniec, którego wielkość przewyższała czterokrotnie dziedziniec zamku wawelskiego. Wjazd do zamku prowadził przez wieżę bramną z pomieszczeniami mieszkalnymi na piętrze. Na bramie umieszczone były herby Radziwiłłów. Druga brama znajdowała się po przeciwnej stronie budowli w wieży noszącej nazwę Zegarowej. Zwiększona została obronność zamku przez wybudowanie w narożnikach okrągłych i kwadratowych bastionów. Oprócz nich warownię broniły także wały oraz murowana fosa z wodą.
  W wieku XVII zamek był jedną z silniejszych twierdz na Kresach. Posiadał liczną załogę a jego uzbrojenie w tym czasie stanowiły między innymi 202 armaty. Odpierały one ataki Tatarów, Turków czy Kozaków.
  W 1760 roku Michał Kazimierz Radziwiłł ponownie przebudował zamek w stylu barokowym.
  Przez cały ten czas zamek znajdował się w rękach rodziny Radziwiłłów. Książę Ferdynand Radziwiłł przeprowadził gruntowny remont budowli, który skończony został w 1914 roku. Do tego czasu w zamku mieściły się zbiory dzieł sztuki, mebli, obrazów, gobelinów. Znajdował się tu także wielki księgozbiór oraz zbiór uzbrojenia. Niestety podczas pierwszej wojny światowej wszystkie te eksponaty zostały zrabowane lub wywiezione do Rosji. Ostatnim właścicielem z rodu Radziwiłłów był syn Ferdynanda - Janusz.
  Podczas drugiej wojny światowej wojska sowiecki stacjonujące od 1939 roku w Ołyce zniszczyły i zrujnowały zamek.
  W 1976 roku częściowo odremontowano budynek i obecnie w dawnym zamku mieści się szpital psychiatryczny.