El Castillo se eleva sobre el cerro de Santa Catalina. Allí fueron construídas 3 fortalezas diferentes que dieron lugar al actual castillo. Todavía se conservan restos de una de esas antiguas fortalezas: la Torre de Aníbal. De este castillo, conectado mediante un pasadizo con la ciudad de Jaén, cabe destacar el Mirador de la Cruz, desde donde se divisan unas fantásticas vistas. Actualmente es un Parador de Turismo