La ville fermée dans ses remparts comportait trois portes fortifiées en avant desquelles avaient grossi trois faubourgs. Deux ont été conservées, la « porte Sainte Catherine » et celle-ci appelée « porte de la Chapelle » car elle ouvrait sur le principal faubourg de la ville, le « barry majeur » où se trouvait l’église paroissiale Notre-Dame du port haut, devenue par la suite la chapelle des pénitents.
Le mur du rempart mesure plus de 2 m d’épaisseur ; la porte a conservé l’emplacement de la herse et ses gonds.