El solar que alberga las llamadas Cuevas de Hércules presenta una rica historia arquitectónica, en cuanto ha sido ocupado por distintos edificios a lo largo de la historia: en época romana se había construido aquí un depósito de agua para el abastecimiento de la ciudad, que formaba parte de la red hidráulica romana de Toletum. Posteriormente, ya en época visigoda, parece que sobre el depósito de agua se levantó un templo cristiano. Después una mezquita. Más tarde, probablemente en el siglo XII, un nuevo templo se construyó en el mismo lugar, dedicado a San Ginés, sede de la parroquia homónima.