Au sud du bourg se trouvait un prieuré bénédictin, St André-lés-Luzy, du Xe siecle. Au Xe siècle, les évêques d'Autun l'aurait donné à l'Abbaye de Cluny. Baudiau cite qu'une importante assemblée s'y tint en 1150 en présence de l’Abbé de Cluny pour régler un différent entre l'abbaye de Vezelay et le comte de Nevers.Il jouissait de haute, moyenne et basse justice , mais aussi de riches rentes et donations et en 1790 "ses biens, non compris les dimes, s'affermaient douze cents livres". La même source le décrit l'église prieurale , de style roman "dont il ne reste que la haute muraille... . Elle faisait environ 33 mètres de long sur 12 ou 14 de large. Le chœur, avec abside, était précédé d'un transept peu développé au dessus duquel s'élevait un clocher pyramidal". La carte Cassini du XVIIIe s montre St André "en ruine". Un plan du XIXe reconstituant la ville ancienne montre le plan et les batiments de ce prieuré, au sud du bourg fortifié. Le nouveau cimentiere s'implanta en ce lieu au XIXe s. Aujourd'hui sans aucun vestiges, le souvenir persiste dans le nom du lieu-dit "Le prieuré".