Yo no recomendaria tan a la ligera el x264.
Es de los mejores codecs compatibles con el standard h264, y promete mucho. El problema es que todavia esta en fase de desarollo. Con lo que la especificación puede que todavia no sea final, y tengas el problema que tus archivos creados hoy no funcionen el dia de mañana. Además, necesita bastante mas potencia tanto para codificar como decodificar.
Si lo que quieres es una solucion buena a dia de hoy, puedes probar con Xvid para el video, y Ogg para el audio (AC3 si es audio multicanal).
Contrariamente a lo que se ha dicho, el Ogg si que soporta sonido multicanal, al contrario que el mp3.
El unico problema está en que Windows no lo acepta bien pues el desarollo del filtro para ogg esta muy parado, hasta que se solucionen unos problemas en el estandard de compresion multicanal del codec.
Mi recomendación final es:
- Xvid para el video.
Con cuantizacion mpg si es para un ripeo de alta calidad sin importar el espacio, h263 si es para un ripeo de calidad media
-Ogg para el audio stereo. Al ser posible Bitrate variable.
AC3 para el sonido 5.1.
-Formato contenedor OGM. Mas que nada por las ventajas que ofrece a la hora de resincronizar el sonido con la imagen, y a la hora de añadir mas informacion como subtitulos y otros canales de audio.
Tienes un monton de informacion y tutoriales paso a paso en
http://doom9.org