Efectivamente el VirtualDub o VirtualDubMOD son tus programas.
Para cambiar la resolución, tienes que ir a la sección Filters, y usar el filtro Resize.
Para ello, tendrás que recomprimir el vídeo (Opción 'Full Processing Mode', después vas a compression, eliges el códec a comprimir e insertas el bitrate de tu vídeo anterior).