Nacionalidad española. Segundo hijo varón de José de Madrazo y Agudo e Isabel Kuntz de Valentini, nació en Roma en los años en que su padre acompañó en el exilio a los reyes Carlos IV y María Luisa de Parma. Al igual que sus hermanos, los pintores Federico y Luis de Madrazo y el arquitecto Juan de Madrazo, disfrutó del ambiente intelectual de la casa familiar, ingresando, a su regreso a España, en el seminario de nobles de Madrid, donde recibió una excelente educación. Más tarde sus padres le enviaron a Toledo, donde inició sus estudios de Derecho, que completaría en Valladolid. Ya abogado, se trasladó a París en 1837 en compañía de su hermano Federico, ciudad en la que entró en contacto con las últimas tendencias artísticas. Fue un destacado historiador, arqueólogo y crítico de arte.