Près du hameau de Vésigneux le château féodal du même nom date du XIVe siècle et fut remanié aux XVIe et XVIIe siècles. Il fut dévasté par les Grandes Compagnies et les Anglais pendant la Guerre de Cent Ans. Au XIIIe siècle Vésigneux était une seconde baronnie mouvante en fief du comté de Chastellux et en arrière-fief du duché du Nivernais, reprit en 1291 par Huguenin de Vésigneux. Le château entra dans la maison de Bourbon au XVIe siècle qui en est toujours propriétaire. Le château fut remanié vers 1565, par les Bourbon. Les tours du château furent découronnées en 1626. L'aile nord fut remaniée également au XVIIe siècle. En 1793, le château fut vandalisé et une aile détériorée au Nord-Est. Cette dernière fut par la suite démolie avec les écuries au XIXe siècle (1884 selon le CeCab). Une chapelle, qui se trouvait selon Baudiau à droite de l'avenue, fut détruite en 1818. la carte Cassini indique bien le chanteau et le cadastre de 1843 en montre le plan. De l'époque médiévale subsistent aujourd'hui le puissant donjon carré et une partie des douves. Le pont-levis a été remplacé par un pont dormant à deux arches. Une chapelle castrale, construite en 1628 par Louis de Montmorillon, avec peintures murales occupait le rez-de-chaussée du donjon. Le château présente un très bel aspect avec un corps de logis de deux niveaux flanqué d'une imposante tour carrée et d'une tour ronde, et une longue aile adjacente elle-même terminée par une tour ronde . Les toitures sont en ardoises, tuiles plates et bardeaux de bois. Le château possède un très beau pigeonnier, un étang, un parc, des écuries, un chenil, des dépendances et une importante ferme voisine. Le pigeonnier possède encore tout son système de poutres et échelles d'accès aux niches. Le château (façades, toitures) est inscrit sur la liste des Monuments Historiques depuis 1971.