Formado en las categorías inferiores del Real Madrid, debutó en primera división en la temporada 2001-02, en un Real Madrid-Athletic de Bilbao, encuentro que ganó el Real Madrid 2-0, siendo Vicente del Bosque entrenador. Su buena actuación en dicho encuentro y en los partidos posteriores permitió su permanencia en el primer equipo. En este año, su primero en el primer equipo, disputó 28 partidos.

En las temporadas siguientes, y a pesar de los continuos cambios de entrenador, se asentó como titular en la defensa madridista, pero a partir de la temporada 2004-05 su participación fue haciéndose más esporádica. Con la llegada de Fabio Capello al banquillo del Real Madrid, Pavón dejó de aparecer en las alineaciones del equipo y aunque solía ir convocado, apenas contaba para dicho entrenador.

Dio nombre al lema del club de la era de Florentino Pérez «Zidanes y Pavones» debido a sus buenas actuaciones y las de otros canteranos en los primeros años de Florentino como presidente. Florentino llegó a afirmar que al Real Madrid le bastaría con fichar una gran estrella por año, llegando a ser cubiertos los otros puestos con jugadores de la cantera blanca. Llegó libre al Real Zaragoza en 2007.