Sur un éperon rocheux dominant la vallée de l'Alène, l''ancien château des barons de Luzy d'origine du XIe fut reconstruit au XIVe et restauré partiellement au XIXe. La baronnie de Luzy fut une des plus puissantes du Nivernais dont dépendaient de nombreux Fiefs. Le château aurait été reconstruit au XIVe siècle par un des seigneurs de Château Villain. Il était relié à des fortifications très importantes (dont des pans de murs de 2 mètres de large étaient encore visible au XIXe siècle) et ne possédait que deux tours très importantes. En 1669, il est observé "presque ruiné" et Baudiau, vers 1850, le decrit avec " des pans de murs informes, de deux mètres d'épaisseur, et une tour découronnée, renfermant deux étages". Au XIXe s, son propriétaire Xavier Garenne rebâtit la tour actuelle, sur cinq étages avec les sous-sols, des murs jusqu'à 1,50 mètres d' épaisseur, qu'il coiffa d'une lanterne. Aujourd'hui elle abrite un musée. La carte Cassini montre l'importance de Luzy, avec son bourg fortifié au croisement de routes antiques et royales. Un plan du XIX reconstituant la ville médiévale, esquissent le plan du château.