Puedes usar el DV y el UNCOMPRESSED -RGB24 o I420-, pero asegurate de tener mucho espacio en el disco duro, ya despues lo recodificas a el formato h264 o a divx/xvid con mediacoder u otro softwasre encoder
O bien, usa el encoder x264VFW para codificar directamente a h.264.
En PRESET dejas MEDIUM o FAST, este se refiere al tiempo que el procesador le dedicara a la compresion y analisis del video.
En TUNING dejas NONE
EN PROFILE y LEVEL le dejas AUTO.
En RATE CONTROL>Single Pass>ABR
En Output, Output Mode>VFW, FourCC en h264
http://sourceforge.net/projects/x264vfw/O usa el codec DivX
En pestaña Main, dejas Pofile>Home Theater o Mobile a 1-Pass
Pestaña Codec eliges el Codecf Performance entre Balanced o High Performance, eso depende de tu procesador, marca la casila Enable MultiThreading
Pestaña VIDEO, en Image Processing, en Quantizacion>H.263 Optimized