amek zbudowany został około 1395 roku przez księcia siewierskiego Dymitra Korybuta. Inne źródła podają, że budowniczym zamku był prawnuk Dymitra - Sołtan.
  W 1640 roku Jeremi Wiśniowiecki przebudowuje zamek. Zostaje on rozbudowany a także zwiększono jego obronność. Niestety w 1672 roku, z powodu zdrady, zamek zostaje zdobyty przez wojska tureckie a jego obrońcy w tym dowódca Borkowski zamordowani.
  Rok 1705 to ponowne zniszczenie zamku podczas wojny północnej. Około 1720 roku, Michał Serwacy Wiśniowiecki na miejscu dawnego zamku buduje pałac w stylu późnego baroku. Projektantem nowej budowli jest Jakub Blangey Daspres. Mieściły się w nim wielkie zbiory obrazów i rzeźb a także bogaty księgozbiór z rzadkimi dziełami i rękopisami.
  Ostatni z Wiśniowieckich Michał Serwacy zmarł w 1744 roku i majątek przeszedł na córki: Annę Ogińską i  Elżbietę Zamojską. W ręce rodziny Mniszchów Wiśniowiec dostał się jako posag córki Elżbiety Zamojskiej - Katarzyny. 
   Mniszchowie rozbudowali pałac w kształcie litery "U" w stylu rokokowym a prace zakończone zostały w 1781 roku.
  Jerzy Mniszech a później jego syn Michał Jerzy Mniszech również kolekcjonowali dzieła sztuki. W pałacowych salach było wiele starych mebli, kaflowych pieców, obrazów i rzeźb. Znajdowała się tam także wspaniała kolekcja powozów.
  Od 1806 roku zmieniali się właściciele pałacu lecz same zbiory pozostawały nienaruszone. Dopiero gdy właścicielem został hrabia Włodzimierz Plater, mając finansowe kłopoty zmuszony został do zlicytowania zbiorów a później także do sprzedania pałacu. W początku XX wieku właścicielem był gen. Denidow później około 1915 roku odkupił pałac hrabia Grocholski.
  W 1920 roku bolszewicy doszczętnie ograbili i zniszczyli całe pozostałe w nim wyposażenie tak, że pozostały tylko gołe ściany. Pałac odkupił sejmik krzemieniecki za kwotę 40.000 dolarów i przeprowadził jego remont przeznaczając go na sierociniec, szkołę i szpital.
  W następnych latach mieściły się w pałacu urzędy państwowe. Druga wojna światowa przyniosła zniszczenie budowli. Podczas odbudowy w 1950 roku wnętrza zostały całkowicie zmienione lecz i te prace poszły na marne gdyż opuszczony popadł ponownie w ruinę. Następnie częściowo odbudowany mieści w swoich wnętrzach instytucje kulturalne i publiczne lecz znaczna część pałacu pozostaje w ruinie.