La fundación se debe a la Duquesa viuda de Lerma quien restauró y acondicionó el antiguo Hospital de Tavera, también denominado Hospital de Afuera y la vinculó a la casa de Medinaceli. El edificio fue erigido, en 1544, por el Cardenal Tavera, enterrado en la Iglesia del Hospital y cuyo sepulcro es obra de Alonso Berruguete. El proyecto lo hizo Bartolomé de Bustamante, continuando las obras Covarrubias, los Vergara y más tarde, Vandelvira. El museo expone importantes pinturas de El Greco y diversos maestros de primerísima fila: Ribera, Berruguete, Tintoretto, Lucas Jordán, Canaletto, Tristán, Sánchez Coello, etc. que alternan tapices, mobiliario y objetos suntuarios con una magnífica biblioteca. Su famosa farmacia guarda una importante colección de botes de cerámica de Talavera y Puente del Arzobispo, destacando en el conjunto de tarros, redomas y frascos un mueble decorado y con un gran número de cajones, denominado el ojo del boticario. Especial mención debemos hacer del patio renacentista.