Dans le hameau de Conforgien subsiste les éléments d'un château fort du 15e siècle, remanié au 16e siècle. Si une première mention de la terre de Conforgien est faite en 1148, nous n'avons pas de mention d'une construction antérieure au 15e siècle. Le château de Conforgien n'apparait pas sur la carte Cassini (v. 1750) mais est visible sur le cadastre de 1842 selon la même implantation qu'aujourd'hui. Cette baronnie mouvante du duché de Bourgogne fut possédée par plusieurs familles: Hugues de Conforgien en était seigneur à la fin du XIIe siècle, la famille de Clugny du XIVe au XVIIe (voir commentaire), puis les familles de Jaucourt au XVIIe, et de Choiseul (ministre sous Louis XV) au XVIIIe. Baudiau (v. 1850) le décrit ainsi: une "vaste tour carrée à trois étages avec mâchicoulis et surmonté d'un toit pyramidal". D'après lui, une chapelle castrale existait dont le souvenir est conservé dans le nom d'une pièce de terre appelée "Derrière la Chapelle". Baudiau nous dit également qu'il existait plusieurs tours dont celle du Guet et celle dite du Prêche, utilisée par les Protestants.
Aujourd'hui le CECAB note "une puissante tour carrée de trois étages" de 1476, comportant de nombreux éléments intérieurs et extérieurs médiévaux. En 1573 (date inscrite sur le linteau d'une fenêtre) les baies du rez-de-chaussée (façade est-ouest) ont été agrandies. Suite à un effondrement partiels des derniers étages à une date non connue (fin XIXe), un toit à deux pans a permis de sauvegarder une grande partie de la tour-donjon. L'accès au donjon se faisait par le premier étage à l'aide d'un petit pont-levis-échelle. Celui-ci se refermait dans emplacement encore visible (au-dessus du linteau de la porte basse) et pivotait sur deux consoles, également visibles, de part et d'autre du même linteau. Un corps de logis à deux étages avec un long appentis à l'ouest flanque cette tour. Il daterait du 16e siècle (remaniements de 1573), avec des ajouts au 20e (petites fenêtres jumelles à accolades au rez-de-chaussée). Il y aurait eu d'autres remaniements au XVIIe siècle. Une basse-cour se situait entre les deux bâtiments agricoles modernes à l'est du château. La place forte fut transformée en domaine agricole puis resta à l'abandon jusqu'à fin 20e début 21e.L'ensemble donjon et corps de logis a gardé son charme malgré la proximité de bâtiments plus récents.