Du pont vous pouvez apercevoir l’ensemble des vestiges des Remparts. C’est en 1172, qu’Alfonse, roi de Catalogne et d’Aragon, autorise les habitants de Rivesaltes et leur suzerain à construire une enceinte fortifiée autour de l’église Sainte Marie, le premier noyau urbain de la cité. Sur les 7 tours, 4 sont encore partiellement visibles. On pense qu’un fossé bordait les remparts. Comme l’Agly était à sec en été, deux tours plus rapprochées que les autres assuraient une meilleure défense. Une seule porte permettait alors d’entrer dans Rivesaltes, elle était située sous l’actuelle tour de l’horloge.