A la sortie sud de Fretoy, aux Cheintres Foré subsiste les vestiges d'un domaine seigneuriale dont un bâtiment appelé localement le château. L'historique du domaine et du château, très remanié, des seigneurs de Frétoy est imprécis. Jean Simon (ancien instituteur et maire au XIXe) décrit le "château" dans son ouvrage de 1883 comme "une grosse maison de pauvre apparence, couverte en esseaumes formant un parallélogramme de 15 m de long sur 10 m de profondeur. Cette demeure de maitre, sans ornements, qu'on désigne pompeusement sous le nom de château de Frétoy fut construite entre 1770 et 1785 par Gory de Cour, marchand de bois de Paris. Cette construction n'existait pas en 1760. A cette époque Jean Parent, le seigneur, demeurait dans la maison n°c du plan " (ndlr: la longue ferme actuelle en bord de route). Curieusement, il décrit aussi un "château" construit sur le site (lettre e du plan) entre 1780 et 1800 par Pierre Limanton de Jaugy; escalier double en façade N.E., deux étages avec cinq pièces chacun et de grandes caves avec cuisine qui "tombe en ruine " (en 1883). Il parle aussi de deux colombiers en tourelles comme Baudiau qui décrit "un petit manoir XVIIIe avec deux tourelles isolées". La localisation de ce batiment reste compliquée entre le plan de Simon et la carte d'état-major de la fin XIXe. Simon s' interroge, comme nous, sur l'existence d'un castel ancien ou autre, digne du seigneur de Fretoy dont la seigneurie , fief de Château-Chinon, datée du XIIIe s par Baudiau, est mentionnée dans un aveu en 1340. Avec une justice haute, moyenne et basse, il appartenait à la noble famille de Fretoy. Le plan de Simon montre l'étendue du domaine très important avec l'ancienne chapelle. Plusieurs propriétaires se succédèrent jusqu'au comte Auguste de Chabannes qui le vendit en 1835 à Hippolyte Cottin, maire et notaire d'Ouroux dont le domaine comprenait 47 ha de bois et 60 de culture. Cet ancien fief était donc important. Si le plan du domaine agricole du XIXe atteste de sa richesse, il ne révèle pas un château digne de ce nom ou médiéval. Cependant de nombreuses ruines entoure les batiments restants. De plus, le hameau de Fretoy fut ravagé par un incendie en 1861. A noter que le CeCaB a relevé une motte féodal à l'huis Vacher (voir fiche), au sud du château de Montmartin (château construit, ex nihilo, en 1873). Était-ce le château féodal de cette seigneurie ou celui de la seigneurie de Lavault ? Y avait-il un château féodal à Frétoy ? La carte Cassini ( XVIIIe) n'indique aucun château mais la chapelle; le cadastre de 1838 montre la maison dite château et la dépendance au bord du chemin et la carte d’état-major de la fin XIX précise le château de Fretoy et celui de Montmartin.
Aujourd'hui on observe la maison bourgeoise dite le château est toujours lisible dans son architecture, sur un niveau avec cave et couverte par un toit à croupe.Des dépendances subsiste et de nombreuses ruines de bâtiments indiqués par Simon.
L'historique du château des Fretoy meriterait d’être éclaircie et le site étudié..