Жан Бретон, государственный секретарь казначейства при Франциске I, попавший под Павией в плен вместе с королем и вернувшийся на родину в 1527 году, купил в 1532 году сеньорию Вилландри в долине Шера и начал строить близ Шамбора свой замок. На этом месте был форт XII века, перестроенный полностью в XIV веке. Жан Бретон сохранил старые фундаменты, окруженные крепостными рвами, и возвел на них свой великолепный замок Вилландри.

Большой мощенный П-образный двор, сформированный флигелями, открыт в сторону долины. Главный флигель и два перпендикулярных боковых с открытыми нижними аркадами следуют классическим принципам симметрии, однако на их структуру повлиял фундамент старого замка: боковые флигели имеют разную длину и не совсем параллельны.

В 1754 году замок стал собственностью маркиза де Кастеллан, который переделал фасады в классическом стиле, надстроил главный павильон и разбил новые сады. А в 1906 году Вилландри купил испанец - доктор Иоахим Карвалло, видный ученый (дед нынешнего владельца). Он оставил свою научную карьеру и полностью отдался реставрации замка. Он также восстановил ренессансные сады.

Сады Вилландри сочетают две традиции: с одной стороны - готическую, с цветами, лекарственными и пищевыми травами, наилучшие образцы которой представлены в монастырях или частных поместьях, а с другой стороны - традицию итальянскую, более декоративную и эстетическую.