Para encontrar los orígenes del Hospicio hay que remontarse hasta el 25 de marzo de 1668, fechs en la que se fundó por la Congregación del Santo Nombre de María en un pequeño local de la calle Santa Isabel, y cuyo objetivo era el de recoger a toda clase de pobres, dándoles una ocupación. Debido a las malas condiciones del establecimiento se trasladó a la calle Alta de Fuencarral, que se inaugura el 1 de mayo de 1674. la reina gobernadora Mariana de Austria lo tomó a su cargo y creó una nueva Hermandad titulada del Ave María y San Fernando con el fin de regentar la institución.
En 1721, estas casas fueron demolidas para construir el edificio definitivo. Obra cumbre del barroco madrileño, fue construido por Pedro de Ribera entre 1721 y 1726. Destaca la fachada que da a la calle Fuencarral, En ella se encuentra la magnífica portada que realizó Ribera, el grupo que representa a San Fernando recogiendo las llaves de Sevilla, situado en el nicho de la portada, fue realizado por Juan Ron, quien ya había ayudado a Ribera en la construcción del Puente de Toledo.
Declarado Monumento Nacional en 1919, el Hospicio cesó en sus funciones en 1922. El edificio fue adquirido por el Ayuntamiento de Madrid y restaurado profundamente por el arquitecto Luis Bellido. Tras su restauración, en 1929 se dedicó a albergar las dependencias del Museo Municipal, función que en la actualidad continúa desempeñando.
La fotografía fue realizada por Charles Clifford en 1835, nacido en Gales, Reino Unido, hacia 1820, murió en Madrid el 1 de enero de 1863 a la edad de 43 años de un aneurisma, y fue enterrado en el Cementerio Británico de esta ciudad.
