Se encuentra a 58 km de Malaga a una altitud de 285 m Si bien la planta, el perfil y el conjunto del castillo queda identificado con un pasado árabe de notoria importancia, la historia de Tolox se remonta a tiempos más antiguos. El castillo parece ser de origen fenicio y fue ocupado por los romanos posteriormente.

Aunque las primeras noticias concretas de su historia datan del año 883, cuando el castillo fue ocupado por Omar Ben Hafsun, quien lo fortaleció y lo hizo uno de los principales del reino, cuya cabecera residía en el castillo de Bobastro. Abderramán III, ante la negativa de Omar de entregar la fortaleza, preparó un fuerte ataque contra el recinto, pero sería derrotado. A la muerte de Omar en el 917, lo hereda uno de sus cuatro hijos, Soleiman, que, en 921 es vencido por Abderramán III, quien destruye implacablemente la iglesia y la alcazaba ordenando construir una aljama.