Достоверно неизвестно, кто построил этот замок в пос. Клевань. По одной из версий, это был Федор Михайлович, внук знаменитого князя Василия. По второй версии, начал строить его Михаил, а его сын Федор только продолжил и завершил строительство. Точно известно только то, что построен он был в XV веке.
Собственника замок сменил в 1458 году, перейдя во владения князя Чарторыйского. Это был не просто шляхтич, а потомок знаменитого рода Островских. Украинский магнат сразу приступил к масштабному укреплению замка. С того времени защищенность, могущество и славу замка связывают именно с родом князей Чарторыйских.
Замок был возведен на очень удобном для обороны высоком берегу р. Стубла. Князь укрепил замок стенами из хорошего камня, и возвел башни, стены которых имели толщину в почти четыре метра. Одна башня по своим функциям была оборонительной, а вторая выполняла не менее важную роль военного склада, где хранили винтовки и порох. Однако при всех своих оборонительных способностях замок так и не стал свидетелем настоящей войны. Вокруг стены идет ров, широкий, глубокий, и как обычно, наполненный водой.
В 1632 году замок снова меняет владельца и становится собственностью монашеского ордена иезуитов. Была сформирована коллегия, которая находилась там почти постоянно до 1773 года. На то время, когда Волынь стала частью Австрии, замок был пуст. Восстановили его только в 1817 году, на средства все тех же князей Чарторыйских. Они же учредили в нем польскую гимназию. Для устройства гимназии была разрушена восточная часть оборонительной стены, вместо которой были построены 2 флигеля. Однако училище закрыли довольно скоро.
Гимназия, которая после училища располагалась в замке, действовала до XIX века. После того, как учреждение перенесли в Луцк, замок долго стоял пустым, без реставрации и присмотра.
В начале XX века Клевань становится эвакуационным ветеринарным пунктом, потом жильем для жертв войны, после и школой-интернатом для детей-сирот. При СССР здесь разместилось НКВД, а при оккупации – каратели СС. После войны замок стал санаторием, а с момента независимости санаторий закрыли, после чего замок, снова оказавшийся без внимания, стал разрушаться.
