Le Musée d'Histoire de Ouidah se trouve dans une enceinte qui appartenait autrefois au Fort Portugais, construit afin de faciliter le commerce négrier entre le royaume de Xwéda et le Portugal. Il a été construit en 1721 par Joseph de Torres ; il est resté la propriété de l'état portugais jusqu'en 1961, date à laquelle il fut annexé de force par le gouvernement de la République du Dahomey.

	Cloche du fort portugais

Le fort lui-même est un des trésors les plus précieux du Musée d'Histoire de Ouidah. Ses murs extérieurs forment un trapèze et l'enceinte couvre à peu près un hectare. À l'origine, le fort fut entouré par un fossé, large et profond. Ceux qui entraient dans le fort étaient obligés de traverser le pont qu'on levait  la nuit. L'enceinte comprenait un bâtiment principal où l'on recevait et logeait les visiteurs, un office, une garnison, un magasin à explosifs, des casernes, une chapelle et une zone où l'on gardait les esclaves.

Alors qu'il se trouvait sous le contrôle des Portugais, le fort permettait à ces derniers de maintenir les relations diplomatiques et commerciales avec le pouvoir local en vigueur. Sa fonction évoluait au gré des changements sur le plan social, religieux et commercial. L'enceinte perdait peu à peu son caractère militaire et devenait plus propice à un séjour confortable et à la réception des visiteurs. En 1861, le fort devint une base de la Mission Catholique, qui mit en place une première école au Dahomey et commença peu après à administrer les baptêmes. Quand les Français réussirent à coloniser le Dahomey dans les années 90 du XIXe siècle, le fort était considéré comme propriété exclusive du Portugal.

Coffre-fort du fort portugais

Bien que les Portugais aient brûlé le fort et tout ce qu'il contenait au moment de leur expulsion, en 1961, par le premier gouvernement indépendant du Dahomey, le musée possède une quantité d'objets anciens récupérés lors de la reconstruction du fort au milieu des années 60. On y trouve également de nombreuses illustrations et cartes géographiques dont l'origine remonte à l'occupation portugaise du fort.