Au XVe s, les habitants eurent le droit de "se clore de mur" selon Baudiau. " Dès le XIIIe le bourg prit de l'importance, et ses habitants purent s'honorer du titre de bourgeois" et au XVe le seigneur leur permit d’ériger des murailles en contre bas du château fort. Malgré ses défenses, le bourg fut envahi par les bourguignons. Puis en 1544 " un terrible incendie le dévora, avec le château et la halle". La carte Cassini (XVIIIe) indique bien le bourg fortifié. Le tracé des murailles n'est pas précisément connu, mais il subsiste quelques vestiges. L'auberge situé dans la maison dite de la Tour est du XVIe avec son escalier à vis.
Au moyen-age, le bourg fut très réputè et commerçant avec l'importante baronnie de La Roche (deuxième du Nivernais), sa forteresse, son marché tous les lundis, ses sept foires annuelles et sa halle sur la place publique.De plus, le bourg était desservi par d'anciennes voies antiques (appelées voies ferrées jusqu'au XVIIIe, par le bruit produit par les roues des charrettes) qui furent longtemps utilisées et rayonnaient à partir de Bibracte. La carte Cassini (XVIIIe) indique la route (royale?) non empierrée du Beuvray à La Roche.
Nous ignorons la date de destruction comme le plan et la technique de ces fortifications.Élément à mieux étudier