Hola:
Exactamente que tmpgenc usas??, el dvdauthor que es el que sirve para hacer menus en principio solo usa mpeg2 por lo que si no esta en ese formato no te pillara los videos, en cambio el plus que es el que sirve para pasar a mpeg 1 o 2, en teoria ha de coger cualquier avi que el windows media player sepa reproducir.
En resumen, si estas usando el dvdauthor pasa primero los videos a mpeg2 con el tmpengc plus (o otro programa, aunque este va muy bien) y ya esta.
Si realmente estas usando el plus dilo que hay otra manera de abrir los videos, que aunque es mas complicada permite hacer mas cosillas.
Saludos