C'est au 17e siècle que la France décide de renforcer la défense de son littoral Mais, dans un premier temps, le projet est abandonné pour raisons budgétaires.
Napoléon, reprend cependant le projet afin de défendre la Charente contre les attaques des Anglais. Mais les intempéries et les invasions anglaises ruinent le projet.
Ce n'est finalement qu'en 1859, sous Napoléon III, que le Fort est enfin achevé, au large de l'île d'Oléron. Pour un coût (astronomique à l'époque) de 8 millions de francs. Il servira finalement comme prison pour les peines de longue durée, avant d'être abandonné par l'armée en 1910.
En 1961, le fort est mis aux enchères au prix de 7 500 francs. L'enchère sera remportée pour 28 000 francs par Éric Aerts, dentiste à Avoriaz, qui laissera le fort à l'abandon. Il revendra ce fort en 1979 pour un 1,5 million de francs.
En 1968, le Fort est utilisé pour le film Les aventuriers avec Alain Delon et Lino Ventura.
À la fin des années 80, Jacques Antoine rachète le Fort et le fait remettre en état afin de le transformer en plateau de tournage pour un jeu.
Le Fort mesure 68 m de long, 31 m de large et 20 m de haut.
Durant les tournages de l'émission, pas moins de 120 personnes y travaillent chaque jour. On y trouve tous les corps de métier. "Le Fort fonctionne de façon totalement autonome" , explique un responsable de la production. "On produit même notre électricité et notre eau douce nous-mêmes !"
Pas moins de 24 pays sont venus tourner leur propre version du jeu, de l'Argentine à l'Allemagne, en passant par l'Algérie ou les USA.
À la fin de cette saison, tous pays confondus, on en sera à 1.121 émissions tournées en 17 ans.