Jeszcze w sto lat po śmierci Kaspra, zwiedzający zamek podróżni i goście ówczesnych właścicieli, hrabiów Posadowskich, nie znajdowali słów uznania dla bogactwa i przepychu tej wielkopańskiej siedziby.   Kres świetności troszeckiego zaniku nastąpił na początku wieku XIX. W tym czasie Toszek był własnością hrabiów von Gaschin. Z owymi “Gaszynami”, jak potocznie zwie ich tutejsza ludność, sprawa miała się ponoć tak, iż kiedyś nazywali się po prostu Gaszyńskimi, chcąc jednak przypodobać się Niemcom zmienili nazwisko. I za to - jak chce tradycja - spotkała ich kara. 29 marca 1811 roku, w pierwszy dzień Wielkiej Nocy, w lewym skrzydle zamku wybuchł wielki pożar.   W owym czasie zamkiem włada hrabia Leopold von Gaschin, a jego małżonką była księżniczka Gisela, córka dziedzica zamku w Kotlinowicach, odległego o kilka kilometrów od Toszka. Ponoć w dniu ślubu małżonek ofiarował jej najcenniejszą pamiątkę rodzinną - złotą kaczuszkę siedzącą w srebrnym gnieździe na 11 złotych, wypełnionych dukatami jajach. Owa kaczka - największy skarb rodzinny - przekazywana była z pokolenia na pokolenie w rodzie Gaschinów-Gaszyńskich.   Pożar wybuchł w tym właśnie skrzydle zamku, gdzie znajdowała się sypialnia hrabiny. Gdy obudziła się, na ratunek było już za późno - klatka schodowa ogarnięta była płomieniami. Hrabina przypomniała sobie jednak o ukrytym przejściu, wiodącym do podziemi. Schwyciła zatem swój skarb - złotą kaczkę - i tak jak stała zbiegła do lochów.   Hrabinę odnaleziono następnego dnia rano w miejscu odległym o kilka kilometrów od zamku. Była nieprzytomna i nie odzyskawszy zmysłów zmarła. Skarb rodzinny - złota kaczka siedząca na jedenastu złotych jajach - pozostał w podziemiach i wciąż czeka na śmiałka, który się po niego wyprawi.

Legenda ludowa odpowiednio ubarwiła historyczne fakty zanotowane w kronice rodu von Gaschin. Powiadają tedy, iż złotą kaczkę odnaleźć może ten tylko, kto urodził się w niedzielę, do lochów zejdzie w dzień Wielkiej Nocy i zna przy tym wszystkie rytuałem przepisane zaklęcia. Opowieść tę można między bajki włożyć, że jednak nie wszystko, co dotyczy ukrytych skarbów toszeckiego zamku, da się wytłumaczyć w sposób logiczny i racjonalny, świadczy ponoć fakt następujący.   Otóż w czasie remontu zamku, pod koniec lat pięćdziesiątych, w Toszku pojawiła się ekipa speleologów z Wrocławia, chcących raz wreszcie zbadać słynne tutejsze lochy. Wejście do podziemi znaleziono, po pierwszej jednak próbie, kiedy dalszą drogę zagrodził zasypany gruzem korytarz, speleolodzy nie zdradzając zbytniego entuzjazmu do dalszych poszukiwań i zbywając pytających ich natrętów, szybko z Troszka wyjechali. Dlaczego? Co przeszkodziło im w dalszych poszukiwaniach?   Nocny stróż zamku ma na ten temat własną teorię. O złotej kaczce i innych skarbach w podziemiach nic pewnego powiedzieć nie potrafi, jest jednak przekonany, że po zamku błąka się duch hrabiny Gizeli. Ową białą zjawę pewien młody archeolog ujrzał podobno na szczycie baszty.   Legenda głosi, że w dniu w którym złota kaczka zostanie odnaleziona, toszecki zamek powróci do dawnej świetności. Wprawdzie skarb - jeśli istnieje - nadal ukryty jest w lochach, dla zamku jednak nadeszły czasy zdecydowanie lepsze. Po kilkanaście lat trwających pracach konserwatorskich i częściowej odbudowie, toszecki zamek ponownie udostępniono turystom.   W odrestaurowanych salach budynku bramnego mieści się małe, lecz ciekawe Muzeum Regionalne i biblioteka, w pomieszczeniach zamkowych znajduje się również kino “Zameczek” i młodzieżowa kawiarnia. W baszcie, na której szczycie pojawia się zjawa w bieli, urządzono kilka pokoi gościnnych dla turystów.