El castillo de Laroque-des-Albères aparece mencionado por primera vez en 1100. En 1172, se encontraba situado en el corazón de la villa fortificada, como solía ser habitual en el siglo XII. En 1188 se menciona como una plaza condal, lo que podría indicar su paso a manos del conde de Rosellón. En 1285, Jaume I, rey de Mallorca, encontró refugio allí. Su aliado Felipe IV, rey de Francia, también se alojó en él.
A partir de finales del siglo XIII, Laroque se convierte en una fortaleza integrada en el sistema defensivo del territorio. En 1422, el castillo pasa a ser de propiedad privada.
En la noche del Viernes Santo al Sábado Santo de 1890, la torre del homenaje, que entonces tenía unos 25 metros de altura, se derrumbó sin causar daños importantes.
En 2006, las ruinas del castillo fueron objeto de una restauración parcial.
Desde el mirador, la vista se abre hacia la costa mediterránea, el macizo de los Albères y la llanura del Rosellón. La torre no está abierta al público.