Sur un éperon rocheux se trouvent les ruines du château de Glenne ou Glaine du XIe siècle. Mentionné en 1076 il était possédé par la noble famille de Glenne ou Glaine (Ponce de Glane, chevalier), une des plus importantes et riches familles du Morvan. Ses Chevaliers participèrent aux Croisades et la châtellenie de Glenne régnait sur de nombreux seigneurs alentours. par mariage, la fille Alix apporte à la maison de Châtillon, les terres de Glenne, Roussillon et La Roche Millay. Après quelques démêles avec l’évêché d'Autun et les Ducs de Bourgogne, la châtellenie devint royale en 1477.
Le château aurait été rebâti sur l'emplacement d'un camp fortifié gallo romain qui contrôlait la principale voie antique du Beuvray à Autun. On ne connait pas la date d'abandon ou destruction de la forteresse médiévale indiquée en ruines sur la carte Cassini v. 1750 ("ruines de Glaine"). Cet important château-fort fut aménagé entre et sur les rochers naturels qui se dressent au nord et au sud, sur un espace de 100 m de long environ sur 30 m de large. La base des rochers a été entourée par un fossé sec, bien visible au nord, limité à une terrasse au sud. L'accès se fait à l'ouest par une longue basse-cour séparée du château par un fossé large de 30m et profond de 6. (src:CECAB). On voit encore les vestiges d'une chapelle dédiée à la Sainte Croix élevée sur oratoir antique. Tardivement détruite à une date inconnue, elle était liée à un culte païen puis chrétien lié à la Fontaine St Martin ou Fontaine des Fées en contrebas de la forteresse médiévale. L'emplacement de la chapelle a été marqué d'une croix en bois. Aujourd'hui propriété privée, des ruines sont encore bien lisibles (pans de murs, tour ronde, etc.) et parfois impressionnantes "perchées" sur les rochers. Sans la végétation et les boisements dans et autour du site, ce château bâti sur son éperon rocheux pourrait rappeler certains châteaux cathares .