En fond de vallée au confluent de la Canche et de la Verrière ce château a été reconstruit et remanié à plusieurs reprises sur l'emplacement d'un château médiéval. La Vesvre appartenait au XIIIe siècle à une noble famille de ce nom. Le château médiéval, occupé par les Ecorcheurs en 1364 fut détruit l'année suivante sur ordre du Duc de Bourgogne Philippe le Hardi. Fin XVe la terre de la Vesvre appartenait à la famille de Ganay. Puis au XVIe un château ou maison forte a été reconstruit ("… une maison forte fossoyée à l'entour, garnie de deux corps de logis, cinq tours flanquant l'une à l'autre avec un pont levis". Src: CECAB) puis détruit. En 1627 le château fut reconstruit par la famille Choiseuil-Traves qui lui donna sa structure actuelle, qui a été très remaniée en 1926. Pour le CECAB du château médiéval subsistent deux tours rondes isolées, au nord du château actuel, et l'escarpement d'un fossé.