В позднее средневековье замок вошел как владение венгров. Но в начале XIV века этот замок снова должен был перейти в другие руки – потому что наследник династии, которая им владела, умер. И он стал не столько оборонительным сооружением, сколько символом. Тогда начались многочисленные войны за обладание этой твердыней. Период, который начался с гибелью династии Арпадовичей, считается для строения самым неблагоприятным.
В XIV веке началась борьба за освобождение. Но как и многие восстания того времени, точнее как и большинство восстаний того времени это было довольно быстро подавлено. Тогда крепость перешла в руки нового владельца. Благодаря своему испанскому происхождению он отдал замок другим по крови испанцам – роду Другетов. Эта династия довольно долго удерживала крепость в своих руках – более трех с половиной веков. Но вечно владеть этим местом не было суждено никому. Династию не любили местные жители, потому что она хотела навязать здесь собственную, католическую религию. В этом ли была причина гибели рода, мы не знаем, да это и не важно. В XVII веке и эта династия была уничтожена. Тогда замок снова начинает быстро переходить из одних рук в другие. В итоге его захватывает граф Береня но и он не смог надолго его удержать. В XVIII веке вспыхнуло новое восстание, но оно уже было намного успешнее. В первых годах этого нового столетия усиленная несколькими отрядами из других областей армия подошла к стенам укрепления, и повстанцы все же смогли захватить замок.
Тогда в это место отправил своего посла сам Петр I. Он смог заключить с повстанцами договор. Но долго он не продержался – из-за северной войны Петр не смог выполнить его условия – то есть прислать провизию и оружие. Через восемь лет после захвата замка повстанцами он перешел снова в собственность короны – император Иосиф захватил его. Через шестьдесят лет крепость была подарена епархии, и стала семинарией. Таковой и оставалась до советской эпохи. После войны здесь был открыт музей.
