Au nord du bourg, le château de Chamlevrier du XVIIIe s, remanié au XIXe, aurait été bâti à l’emplacement d'une maison forte féodale. Baudiau (v 1854) le décrit comme "vieux castel féodal, flanqué de deux ailes et bâti dans une gorge, au nord, sur les ruines d'une antique maison-forte". L’architecture et la date d'origine de la maison-forte ou château médiéval restent à préciser et à confirmer. Chanlevrier était sous l'Ancien Régime, le siège d'une seigneurie dépendant du comté de la Roche. Une archive cite Charles Le Bourgoing en 1516 comme seigneur du lieu. Il est bien indiqué sur la carte de Cassini du XVIIIe. Le château a été rebâti au XVIIIe et au XIXe (ou remanié ?) sans autre précision disponible. La base Mérimée parle du corps de logis de la maison forte qui subsistait en 1792 (Gauthier). Les tours conservent des éléments, arcades du XVIe s. Aujourd’hui, il comporte un long corps de logis de deux niveaux avec combles aménageables, flanqué de deux fines et élégantes tours. Deux ailes s'avancent créant une cour intérieure face à une pièce d'eau. L'ensemble est couvert en ardoise. Le lieu servit en 1944 d'infirmerie pour le maquis Louis où un médecin et des infirmières y soignaient les blessés. Dernièrement, le château a été restauré par M. Lagrange. Les jardins sont visitables sur rendez-vous en été.
À noter que M. Niaux, repris par le Cecab, aurait repéré les traces d'une motte ronde (visible en photo aérienne) au sud de Mirloup, donc à environ 700 m au nord-est du château de Champlevrier.