El castell de Laroque-des-Albères esmenta per primera vegada l'any 1100. L'any 1172, es trobava al cor de la vila mercat fortificada, com sovint succeïa al segle XII. El 1188 es menciona com a fortalesa d'un comte, la qual cosa podria indicar que va passar sota el control del comte de Rosselló. El 1285, Jaume I, rei de Mallorca, s'hi va refugiar. El seu aliat, Felip IV, rei de França, també hi va estar.
A partir de finals del segle XIII, Laroque es va convertir en una fortalesa que formava part de les defenses del territori. El 1422, el castell va passar a mans privades.
La nit de Divendres Sant a Dissabte Sant de 1890, el donjon, que aleshores feia uns 25 metres d'alçada, es va esfondrar sense causar danys importants.
El 2006, les runes del castell van ser restaurades parcialment.
Des del punt d'observació, la vista s'estén per la costa mediterrània, els Alps Marítims i la plana del Rosselló. La torre no està oberta al públic.