El conocido como Baluarte de Gonzaga se ubicaba en la zona de los jardines de la Taconera, entre el Mirador sobre la cuesta de la Reina y los conocidos popularmente como “fosos de los ciervos”. Su construcción comenzó en 1575 e inicialmente tuvo una estructura de tierra y madera hasta que la Corona tuvo presupuesto suficiente para revestirlo en piedra. La reforma efectuada entre 1925 y 1931 en la zona para la ampliación de los actuales jardines concluyó con la desaparición del baluarte: se rellenaron los fosos y se colocó la actual barandilla de hierro en el mirador.
¿Quién fue Gonzaga Colonna? El noble italiano Vespasiano Gonzaga Colonna fue uno de los militares, diplomático y mecenas más poderosos de la época de Felipe II. Romano de nacimiento pero educado primero en Nápoles y luego en la corte de Carlos V, Gonzaga había llegado a España con los ingenieros militares Antonelli, también italianos, para inspeccionar las fortificaciones de Cartagena, la costa levantina, Melilla y Orán. Nombrado capitán general como recompensa por sus trabajos, continuó con su labor inspeccionando la costa guipuzcoana y las fronteras de Navarra en 1571 y un año después fue nombrado virrey de Navarra.
Desempeñó su cargo hasta 1575 y fue una figura clave para el desarrollo de las fortificaciones de Pamplona. Durante los cuatro años que pasó en Pamplona, impulsó la construcción de nuevos baluartes siguiendo las propuestas de los Antonelli y participó con entusiasmo en el proyecto de la Ciudadela del capitán Fratín. Sus aportaciones le llevaron a importantes desacuerdos que quedaron zanjados desde su posición de poder: aumentó el tamaño de los bastiones y alejó la Ciudadela de la ciudad en contra de la opinión de Fratín.
Después de su etapa en Navarra, Gonzaga Colonna fue nombrado virrey de Valencia. En 1578 regresó a Italia donde fue acumulando títulos y posesiones en reconocimiento a sus servicios. En otros muchos títulos, obtuvo el de Duque de Sabbioneta, ciudad lombarda a la que transformó en una ciudad ideal siguiendo los modelos renacentistas de la época. Felipe II lo nombró caballero del Toisón de Oro (1585) y príncipe del Sacro Imperio. Gonzaga sirvió incluso como embajador en Viena y Praga (1588) antes de fallecer en su amada Sabbioneta en 1591.