Lieu unique de par son environnement naturel et architectural, la citadelle de Brouage a aussi un riche passé historique. C’est un ancien port de commerce du sel, puis port de guerre catholique voulue par le cardinal de Richelieu pour concurrencer la place forte huguenote de La Rochelle. C’est également la commune de naissance du géographe royal Samuel de Champlain qui a participé à la découverte et à la colonisation de la Nouvelle-France, et qui est le fondateur de la ville de Québec.
L’église de Hiers est mentionnée au XIe siècle. Le village était à cette époque une île au milieu du golfe de Saintonge, golfe qui se comblera ensuite au fil des siècles pour n’être plus aujourd’hui qu’un marais. L’île fait partie d’un archipel avec d’autres îlots comme ceux de la Guilleterie, de Montboileau, de Fremailloux et d’Erables. De par son altitude relativement élevée permettant de contrôler la navigation entre le continent et l’île d’Oléron, on construisit dès le XIe siècle un château et un prieuré qui dépendait de la seigneurie de Broue. Les moines de l’église Saint-Hilaire exploitent alors déjà le sel.
Brouage fut fondée en 1555 par Jacques de Pons sur un ancien dépôt de lest formant des bombements de galets et de vase. Brouage était l’avant-port du village de Hiers, il est conçu tout d’abord sans intentions militaires mais pour être un centre de négoce. Dix ans après sa fondation, la cité reçoit la visite de Charles IX.
La cité eut d’abord une vocation commerciale, grâce à « l’or blanc » : le sel. À partir du XIVe siècle, le commerce du sel de Brouage prit une dimension internationale. Le port devint le plus important d’Europe et faisait vivre tout un peuple (sauniers, mariniers, pêcheurs de morue, etc…) en rapportant des droits et taxes au clergé et à la noblesse locale. Jusqu’à 200 bateaux pouvaient venir mouiller dans le port. La cité était alors un lieu d’approvisionnement en sel pour les pêcheurs de morue de Terre-Neuve. Jacopolis sur Brouage, nom originel de la cité, devint ainsi riche et prospère.
Pendant les guerres de religion, la ville est tour à tour prise par les catholiques et les huguenots. En 1576, lors de la Sixième guerre de religion, le duc de Guise prit la ville afin de compléter l’encerclement de la place protestante de La Rochelle. Cette même année, Henri de Navarre, futur Henri IV, séjourna dans la citadelle. En 1578, le roi Henri III décide que la ville, devenue trop importante, ne doit ni tomber aux mains des Protestants ni dans celles des Anglais, et en fait une Ville Royale : elle devient un coffre-fort du pouvoir central. En 1586, les Rochelais rendirent inutilisable le port de Brouage. Le prince de Condé fit couler des bateaux pour bloquer le port et celui-ci ne fut d’ailleurs jamais totalement dégagé par la suite.
En 1626, Louis XIII l’intégra au royaume de France, la cité prit alors le nom de Brouage. Le gouverneur en titre de la cité était Jean Armand du Plessis, Cardinal de Richelieu. A cette époque, la ville comptait 4000 habitants et était toujours une place de négoce : on y trouvait de tout et la cité était très cosmopolite. Point stratégique, elle devint le coeur logistique de la machine de guerre royale pour conquérir La Rochelle. En 1628, Louis XIII visita le port. Entre 1630 et 1640, Richelieu ordonna la construction d’une nouvelle enceinte réalisée par Pierre de Conty d’Argencour. Le bourg de Hiers, de son côté, était devenu l’arrière-cour industrieuse de Brouage : c’est là qu’étaient installés tous les métiers du bâtiment (charpentiers, maçons…) de l’armurerie et de la marine. Certaines enseignes sculptées de l’époque sont encore visibles çà et là.
En 1653, Mazarin devint gouverneur de Brouage. En 1659 celui-ci hébergea sa nièce, Marie Mancini pour l’éloigner du jeune Louis XIV qui la courtisait mais qui devait épouser pour des raisons politiques l’infante Marie-Thérèse d’Espagne (1638-1683).
En 1685, Vauban modernisa les bastions et les chemins de ronde.
Le déclin
L’océan se retira petit à petit loin de la ville, et la vaste baie se colmata peu à peu, à cause de la baisse du niveau de la mer et de l’absence d’une rivière drainante. La fondation et l’ascension de la ville voisine Rochefort, choisie par Vauban en remplacement, plongèrent Brouage dans l’oubli dès le XVIIIe siècle. Les marais salants furent abandonnés, la ville commença à tomber en ruine. De nombreux bâtiments disparurent. De fait, les constructions n’ont jamais occupé tout l’espace disponible à l’intérieur des remparts.
A la Révolution, la cité devenue centre de détention logea plusieurs centaines de suspects courant 1793, puis des prêtres réfractaires qui refusaient de jurer fidélité à la République, déportés en provenance des pontons de Rochefort à partir de 1794.
En 1885, l’armée quitte définitivement Brouage.