Dans le hameau de Vésigneux, se trouvait une maison forte du XIIIe siècle rebâtie au XIXe siècle (état actuel). La terre de Visigineux appartenait à Aubert de Lucenay, chevalier, en 1214. En 1269 Barthélemi de Prangey fit "à tout jamais à l'évêque de ce qu'il possédait dans la vallée de Lucenay, et spécialement de Visigneux, avec la maison-forte et son pourpris." Baudiau raconte qu'en 1366 puis à nouveau un demi-siècle plus tard, le château fut occupé par "les écorcheurs" qui "rançonnèrent durement le pays". Des soldats du régiment du marquis de Nantouillet tentèrent également de l'incendier en 1653 mais n'y parvenant pas, brûlèrent les granges. Nous ignorons les remaniements éventuels entre le 13e et le 19e siècle. Le château et la chapelle sont indiqués sur la carte Cassini (v. 1750).Toujours d'après Baudiau (v. 1850) on remarquait encore à son époque des vestiges des anciens fossés alimentés par le ruisseau de Vauloin, qui n'apparaissent pas sur le cadastre de 1827. La basse-cour était fermée de murs et il existait un colombier, ainsi qu'une chapelle castrale dédiée à Saint Georges reconstruite en 1644, démolie en 1848, et reconstruite à nouveau à une date indéterminée. D'après le CECAB, "Au XVIIIe siècle le château de Visigneux était constitué de deux corps de logis en L à deux étages carrés qui occupaient le sud et l'ouest d'une plate-forme rectangulaire de 27x32 m, entourée de fossés en eau. Une tour carrée se dressait dans l'angle nord-ouest, en bout du bâtiment principal, et une tour ronde dans l'angle nord-est, reliée au second bâtiment par une courtine. L'accès se faisait par un pont levis au nord, face à une basse cour détachée." Nous n'avons pas plus d'information sur l'état médiéval et moderne (XVIIe - XVIIIe) de cet édifice.Le château actuel fut construit en 1885 par l'architecte Ernest Sanson (src: base Mérimée) en remaniant un des corps de logis et la tour carrée