Au nord de l'église se tenait un "couvent" au XIXe siècle. Cet établissement conventuel a été fondé entre 1844 et 1847 par la comtesse de Sérent. Il était tenu par trois sœurs de la Providence de Portieux qui s'occupaient de l'éducation des jeunes filles et de la visite des malades. En 1902, il ferma avec la loi sur les congrégations. En 1905, le couvent fut converti en presbytère. Il fut cédé en 1928 à l'association diocésaine de l'évêché de Nevers. Aujourd'hui, le bâtiment est dans un état très moyen mais a gardé son architecture classique : bâtisse rectangulaire à deux niveaux, percé régulièrement de fenêtres et couvert d'un toit à croupe en ardoise.