Dans la vallée du Ternin à l’ouest du bourg, se trouve la maison forte d’Alligny, érigée au XIIe siècle et maintes fois remaniée, notamment au XVIIe siècle. Il est également appelé « château de la Mothe d’Alligny » ou encore « château du Puy » sur les anciennes cartes. Le CeCaB le classe de 1210 à 1260 comme motte plane, puis après 1260 comme maison forte à plateforme.
Il aurait été bâti au XIIe siècle par Hugues d’Alligny, de retour de croisade. La terre d’Alligny était, d’après Baudiau « une puissante baronnie remontant aux premiers temps de la féodalité », mouvante de l’évêché d’Autun. Les seigneurs d’Alligny avaient droit de basse, moyenne et haute justice, et de dresser potence (les fourches patibulaires s’élevaient au lieu dit Champ-des-Fourches, près de Fétigny). Au XVe la famille Fontètes en est propriétaire. En 1676, Pierre Quarré, baron d’Alligny fut élevé à la dignité de comte par Louis XIV suite à ses exploits militaires.
D’après Baudiau, le château médiéval (XVe) se composait de « deux corps de logis, avec pavillon et six tours, dont quatre rondes et deux pentagonales, qui furent rasées au seizième siècle par ordre d'Henri IV. » Le château était entouré de fossés, toujours existants, alimentés en eau par un ruisseau qui se vide dans l’étang proche. Un pont-dormant permettait d’y avoir accès. En 1753, la chapelle castrale dédiée à Saint-Louis fut bénite par l’évêque d’Autun. Au XIXe siècle les bâtiments servirent de corps de ferme et étaient « bien délabré[s] » d’après Baudiau.
Le CeCaB a bien étudié les archives et observé « un petit manoir bâti sur un plate-forme polygonale irrégulière, entourée de douves annulaires ». Les vestiges de "deux tours rondes sont encore visibles à l’est". Le château est toujours composé de "deux corps de logis d’aspect moderne" (XVIIe) , une tour ronde demi-hors-œuvre (équipée de latrines) "sur l'angle des deux bâtiments". "Le bâtiment oriental est percé d'un porche, desservi au sud, par un pont-dormant sans trace de pont-levis".
Les fossés sont toujours visibles et alimentés en eau. Ils ont été curés au printemps 1997. Le manoir, qui a gardé un bel aspect, a fait l’objet d’une inscription aux Monuments Historiques en 1998.