Nacido en Madrid, hijo de Pedro de Guzmán, el cuarto hijo varón de Juan de Guzmán, duque de Medina Sidonia, y de Francisca de Ribera Niño, acaudalada hija del secretario aragonés de origen converso Lope de Conchillos.
Se integró en el séquito del Emperador, a quien acompañó en sus viajes por Alemania, Italia y Flandes, con el cargo de gentilhombre de boca de la Casa de Borgoña. En premio a sus servicios, el Emperador le otorgó el título de conde de Olivares el 12 de octubre de 1535, al regreso de la victoriosa campaña de Túnez. Durante toda su vida Pedro de Guzmán procuró acrecentar su estado señorial con adquisiciones en tierras situadas en la provincia de Sevilla, como demostraría el mayorazgo que fundó en 1563: la villa de Olivares, con sus derechos y rentas señoriales y su producto agrícola, censos y rentas. Sería enterrado en la Villa de Olivares.