Sur un éperon rocheux dominant le bourg, l'important château-fort du XIIe fut totalement reconstruit au XVIIIe s. Ce fut le siège d'une puissante baronnie qui régnait, avec celle de Glaine (commune de la Grande Verrière) sur une grande partie des terres du sud Morvan. Par son importance, elle fut la deuxième baronnie du Nivernais et Louis XIV lui conféra le titre de comté. Elle avait "dans la dépendance de son donjon...,prés de cinquante seigneuries"... sept paroisses et des droits sur vingt quatre autres". Une première mention date de 1171 avec Jean 1er de Châtillon qui avait épousé Alix de Glane, de la maison de Glaine qui possedait ces terres auparavant. S'ensuivit de célèbres propriétaires au fil des siècles qui inscrivirent leurs noms dans l'Histoire de France: Nicolas Rolin, de Montaigu, de Montmorency, de Villars... . La carte Cassini (XVIIIe) indique bien le château mais aussi le bourg fortifié et la route du Beuvray.
La forteresse était défendu au sud par une double muraille, les trois autres côtés étant inabordables.Selon Baudiau, en temps de guerre, les sujets avaient droit, moyennant 5 sous de rente par feu, de se replier, avec leur butin dans une caserne bâtie pour la cause. En 1715, le marquis de Villars, à l'emplacement d'un château-fort médiéval, fit reconstruire le château dans son style classique actuel, par l'architecte Caristie.
Aujourd'hui le château en bon état, avec une tour médiévale, des communs, parc... est inscrit aux Monuments Historiques.