En la época de AlfonsoVI Madrid se encuentra dividido, una es la ciudad intramuros y otra la extramuros, por lo que se levanta una nueva muralla que englabará la seguanda población para defenderla de los constantes asedios frecuentes en la Edad Media
El barrio de la morería quedaba dentro del perímetro de esta muralla y a él se accedía atravesando el río Mayra, justo por donde quedaba la Casa del Pastor, de la que sólo se conserva una talla en piedra de un escudo de la villa en el que aparecen la osa y el madroño coronados.
En el barrio de la morería destacan la Plaza del Alamillo, donde se situaba el Tribunal de Justicia de los árabes; la Costanilla de San Andrés, desde la que se observa una inigualable perspectiva de la torre de San Pedro El Viejo, y la Plaza de la Paja, que recibe ese nombre porque en ella los labriegos depositaban diezmos de paja para alimentar a los caballos del párroco de la Capilla del Obispo y del de San Andrés.