Derriere le château des évêques, le long de la Ternin, se trouvait le manoir féodal d'Amencey,d'origine non datée. Tenu en fief par une famille de ce nom au XIVe siècle, il se situait "près des fossés de la forteresse des évêques". L'abbé Baudiau évoque un "petit manoir féodal". Nous n'avons pas de description du manoir ou demeure seigneuriale (historique, architecture, remaniements…) qui connut plusieurs propriétaires, jusqu'à Henri, comte de Thil vers 1850-1860. Nous ignorons les divers remaniements de cet édifice: il occupait un espace important dans le bourg, comprenant un ou deux édifices et un grand jardin clos par un mur. Le cadastre de 1827 nous montre sur une grande parcelle un ensemble de bâtiment autour d'une cour rectangulaire et une partie jardin. Aujourd'hui on observe un ensemble de bâtiments hétéroclites qui ont eu plusieurs fonctions et un double accès: côté Ternin, avec un porche, et côté bourg. Des murs de clôture sont encore très visibles. Dans la "cour" se trouve un puits semi encastré qui daterait de l'époque médiévale d'après une source locale. Le bâtiment le plus ancien semble être une maison carrée avec un toit à quatre pan en tuiles de Bourgogne (XVIIe? remanié). Plus loin un bâtiment bas et allongé type commun devait faire office d'écurie, puis un autre bâtiment sur deux niveaux avec décrochements qui semble avoir été remanié. Au XIXe siècle la gendarmerie occupait une partie de ces bâtiments