Бароны де Сюлли с XII века имели на левом берегу Луары могучую башню и контролировали паромную переправу, собирая пошлину с путешественников за проезд. В 1381 году удел перешел к семейству Ги де ла Тремуйля, который построил рядом с башней укрепленный замок. Его сын Жорж, интриган и фаворит Карла VII принимал в замке Жанну д'Арк в 1429 году, накануне ее пленения. Позже здесь бывали короли Людовик XI, Людовик XII и Франциск I.

В 1602 году Максимильен де Бетюн, могущественный министр и друг Генриха IV, купил герцогство Сюлли и отреставрировал замок. Де Сюлли был последним великим сеньором Франции, он официально имел привилегию чеканить собственную монету. Четырьмя поколениями позже здесь блистал молодой литератор Аруэ, известный впоследствии под псевдонимом Вольтер. Главный прямоугольный корпус фланкирован четырьмя башнями, имеет крытый парапет с бойницами, и покрыт крышей с крутыми скатами и щипцами. С трех сторон он до сих пор окружен рвами с водой, а с севера выходит к Луаре.

Интересны внутренние помещения замка - королевская спальня, спальня и кабинет Максимильена де Бетюн, герцога де Сюлли