El edificio fue levantado a principios del siglo XX aprovechando uno anterior del siglo XVI y un palacio renacentista para reunir, en un mismo espacio, la obra dispersa del artista.

El Marqués de la Vega-Inclán, fue quien adquirió estos edificios y los complementó con muebles y enseres del siglo XVI. El museo se inauguró en 1912. En su interior se encuentra parte de la obra de El Greco, de la que destacan un magnífico “apostolado”, la "Vista y plano de Toledo" y "Las lágrimas de San Pedro". El museo se completa con cuadros de Luis Tristán, Murillo, Valdés Leal y otros artistas. Rodea el edificio una galería con azotea en el piso principal, sobre columnas de piedra de capitel jónico. Tiene dos portadas renacentistas que dan acceso al edificio; son de piedra, ladrillo y mampostería.