Yo uso XVID que en mis pruebas me va mejor.
Tiene un modo de encoding llamado "1 pass - quality" ideal si no te quieres complicar la vida, en el que eliges quality de 1 a 100... y a 100, el resultado es muy bueno, si no tienes preocupaciones de espacio.
Si no, pues lo vas bajando.
Aunque lo ideal es que entiendas los parametros mas complejos para usar alguno de los modos 2 pass, pero eso es otra historia.
En cuanto a resolucion, pues a partir de 512x384 p'arriba... Claro que depende de que estes comprimiendo, de donde proceda, la res original, etc.
Saludos!
