La parte superior del cerro el castillo de Gibralfaro, además de dominar el conjunto monumental y toda la ciudad, albergó un antiguo barrio medieval en el que residían los funcionarios y los soldados que trabajaban en la fortaleza que fue centro del poder nazarí en la Málaga medieval.

A raíz de la desmilitarización de la Alcazaba a finales del siglo XVIII, la fortaleza-palacio fue abandonada y su amplio espacio interior empezó a ser ocupado por familias humildes que en pocas décadas transformaron este espacio en un barrio popular reconocido por una especial fama, y en el que las murallas, las torres y las estructuras residenciales y defensivas medievales quedaron ocultas por las nuevas construcciones.
Hacia 1845 la que había sido residencia de los gobernadores de la ciudad sólo albergaba ya la casa del comandante general de la provincia, con su secretaría y guardia, mientras que el resto había sido ocupada por casas particulares.
Por entonces unas mil personas se habían asentado en las viviendas que formaban el barrio interior de la Alcazaba.

Este barrio, según explicó el historiador Víctor Heredia, quedó conformado por unas calles que se sucedían en la ascensión a la zona superior.Las vías recibieron nombres como Juego de Bolas, Banda del Mar, Cuartos de Granada, Torre del Tiro, Torre de la Vela, Arco del Cristo. La decadencia del monumento y la mala fama de las viviendas llamadas parásitas que habían ocupado el recinto llevaron a que durante el siglo XIX se barajara la posibilidad de demoler lo que quedaba de la Alcazaba y desmontar el cerro hasta dejar su superficie al mismo nivel que las zonas adyacentes. Esta explanación, defendida en varias ocasiones y que se plasmó en proyectos como los elaborados por Juan Nepomuceno Ávila en 1875 y por Manuel Rivera Valentín en 1891, daría lugar a la urbanización de los terrenos y a la construcción de un barrio residencial entre la Aduana, la Plaza de la Merced y el nuevo Parque.

El experto señaló que afortunadamente este proyecto de reforma interior no pasó del papel y varias décadas después se pudo acometer la restauración de la Alcazaba. "No es de extrañar que estos proyectos pretendieran sustituir una zona marginal ubicada en pleno centro de la ciudad, que constituía una especie de mundo aparte, habitado por pescadores y marineros y por familias humildes , y caracterizado por su insalubridad al no disponer de ningún servicio urbano, ni siquiera de abastecimiento de agua", dijo.

Declarada la Alcazaba monumento histórico-artístico en 1931, inmediatamente comenzaron las gestiones para iniciar su recuperación. Para comenzar los trabajos, que supusieron en algunos casos reconstruir incluso lo que no había existido, fue necesario desalojar las viviendas existentes y proceder a su demolición para dejar al descubierto en la medida de lo posible las estructuras originales de semejante joya .