Nacido en Madrid, hijo de Pedro de Guzmán, el cuarto hijo varón de Juan de Guzmán, duque de Medina Sidonia, y de Francisca de Ribera Niño, acaudalada hija del secretario aragonés de origen converso Lope de Conchillos.
Se integró en el séquito del Emperador, a quien acompañó en sus viajes por Alemania, Italia y Flandes, con el cargo de gentilhombre de boca de la Casa de Borgoña. En premio a sus servicios, el Emperador le otorgó el título de conde de Olivares el 12 de octubre de 1535, al regreso de la victoriosa campaña de Túnez. Durante toda su vida Pedro de Guzmán procuró acrecentar su estado señorial con adquisiciones en tierras situadas en la provincia de Sevilla, como demostraría el mayorazgo que fundó en 1563: la villa de Olivares, con sus derechos y rentas señoriales y su producto agrícola, censos y rentas. Sería enterrado en la Villa de Olivares.

Bautizado en la parroquia de San Lorenzo de Valladolid el 15 de marzo de 1603, fue su padre Diego Méndez de Haro y Guzmán.
El privilegio de asistir al Rey desde niño y bajo la guía de su padre y su madre constituyó una oportunidad que no disfrutó ningún otro valido para dotarse de autoestima y seguridad y para interiorizar los preceptos de la prudencia, el silencio, la disimulación, la piedad o la modestia, máximas de la seducción y el triunfo áulicos. Su gusto por la caza y la pintura —fue él quien comenzó la pinacoteca que tanto afamó a su primogénito Gaspar— y un interés moderado por los libros

Nacionalidad española