Au centre bourg, entre le Ternin et l' ancienne route royale et ancienne voie romaine Autun - Auxerre, se trouvait le château-fort des évêques d'Autun. La seigneurie de Lucenay fut donnée d'après Baudiau à l'évêque d'Autun en 883 par Carloman roi des Francs. Une première maison forte datant peut-être du XIIe siècle fut transformée en un important château fort à la fin du XIIIe siècle et détruite progressivement fin XVIIIe siècle début XIXe. Baudiau affirme qu'en 1295 l'évêque Hugues d'Arcy reconstruisit "au moins en partie" le château et "l'entoura de hautes murailles, flanquées de plusieurs grosses tours, qui en rendaient l'aspect formidable. On n'y pénétrait qu'en traversant un pont-levis, précédé d'un pont dormant". Les fortifications furent "remises en bon état de défense" par le duc de Nevers, au nom de l'évêque, en 1568.
Baudiau évoque un procès-verbal de 1709 faisant état de l'existence de "quatre grands corps de bâtiments, avec galeries, formant un quadrilatère, au fond duquel se trouvait le principal logis. Au-dessus du portail, à l'est, il existait un pavillon, avec deux tourelles, où logeait le capitaine gardien. On voyait dans la cour l'auditoire du bailliage et la prison. Dans le bas d'une tour se trouvait la chapelle; une autre, appelée Babel, renfermait les oubliettes (…) [démolie en 1824]. Le jardin, qui longeait l'aile nord, était lui-même clos de fortes murailles et renfermait un beau jet d'eau et une grosse tour, servant de corps de garde." La chapelle castrale fit office d'église paroissiale jusqu'à la construction de l'église de Morey (XIIIe siècle).
Baudiau raconte qu'il fut vendu à la Révolution à l'architecte Nicolas Joubert en 1791, et démoli trente ans plus tard. Le château servait de carrière de pierre, et certaines parties ont été réemployées dans la construction de maisons.
Aujourd'hui certains vestiges sont encore visibles: un mur d'1,50 d'épaisseur (qui était surmonté par un chemin de ronde) et les parties basses du mur extérieur de l'écurie, correspondant à la muraille du château. Ces belles écuries que l'on peut voir aujourd'hui seraient d'origine mais probablement réhaussées et remaniées ultérieurement. La carte Cassini montre bien le bourg fortifié avec château et la route royale, tandis que la résidence des évêques n'est plus visible sur le cadastre de 1827.