Il est construit sur des bases romaines et wisigothes, adossé à la muraille du IVe siècle. On distingue la tour Pinte, tour de guet (non couverte) élevée sur des bases romaines.Au premier plan, la tour de la Justice aurait abrité les archives et les registres de l’Inquisition au XIIIe siècle.