El jardín de las Damas es una intervención realizada en el s. XVI sobre una antigua huerta árabe anexa al palacio. Se caracterizó originariamente por la disposición de setos de mirto y boj formando figuras, a modo de broderie, que explotaba el carácter pictórico de este espacio visto desde los jardines más altos del estanque de Mercurio o de la galería de Grutesco. Con el tiempo se perdió la configuración plana del jardín enriqueciéndose con árboles y palmeras de mayor porte procedentes de todos los continentes. Palimpsesto que desdibujó sus cualidades pictóricas, pero agregó otras como sombra y volumen. Dos fuentes singulares aparecen en este espacio: una la fuente de Neptuno, obra de mármol genovés coronada por un bronce de Bartolomé Morell y que se sitúa en el centro del jardín; y otra, la fuente de la Fama, que adherida a la galería del grutesco acoge a uno de los pocos órganos de agua manierista aún en funcionamiento y que ameniza cada hora el paseo por los jardines.