Siguiendo el ejemplo del cardenal Mendoza, y ante la insuficiencia del Hospital de Santa Cruz, el arzobispo Juan Pardo de Tavera mandó levantar este edificio con la iglesia para su propio panteón. La idea motriz ya no era la mera ayuda a los menesterosos sino asistencia a los enfermos. Mandado edificar en 1541 por el cardenal del mismo nombre, el cual se encuentra enterrado en la iglesia, en bello mausoleo, obra de Alonso Berruguete. Magnífico patio dividido en dos por un paso cubierto. En la parte izquierda del edificio, residencia de los Duques de Lerma , se guarda una buena colección de obras artísticas, entre otras algunos de los últimos cuadros pintados por El Greco.

Su emplazamiento refleja las nuevas ideas sobre la salud e higiene, que prohibieron la construcción de hospitales dentro del casco urbano. El edificio es uno de los más interesantes del Renacimiento español, articulado por dos patios que forman unidad gracias a su separación sólo por columnas. El proyecto de Alonso de Covarrubias se vio modificado sus sucesores al frente de las obras.

Este regular edificio con fachada almohadillada a la italiana, en la que las equidistantes ventanas, rectangulares en el piso bajo y semicirculares en el superior, siendo a la inversa las de los extremos, preludia la austera fachada del palacio-monasterio de El Escorial. Los patios gemelos, de dos alturas, separados y unidos a la vez por la doble arcada que los atraviesa camino de la iglesia permiten una variedad de perspectivas muy al estilo de palacios italianos. La portada de la iglesia es de mármol de Génova. El interior presenta una sola nave y el crucero cubierto por cúpula con linterna, sobre pechinas y tambor, como la basílica escurialense. Debajo de ella se encuentra el magnífico sepulcro del cardenal, obra madura en mármol blanco de Alonso de Berruguete. Sobrecoge el rostro del difunto, muy naturalista en su expresión cadavérica. El retablo fue proyectado por El Greco y ejecutado por su hijo, Jorge Manuel.

En el museo se conserva un gran archivo de documentos y obras artísticas de gran valor (magníficos cuadros de El Greco, Ribera, Tintoretto, Lucas Giordano, entre otros y la escultura del Cristo Resucitado de El Greco), además de albergar el edificio la antigua farmacia del hospital y la Sección de la Nobleza del Archivo Histórico Nacional.