deberias de dar mas datos, porque realmente esta separacion depende de muchos datos, entre ellos el avi se puede hacer o mejor dicho se suele hacer mediante el divx, dependiendo de la version y el programa que usemos para convertirlo a dicho formato o con que lo creemos tendremos mas o menos calidad, el mp4 se supone que es de mas calidad, pero como ya he dicho todo esto depende.
si yo cojo un avi de mala calidad y lo paso a mp4, va a seguir siendo de mala calidad, mientras que si cojo el mismo video en avi pero divx alta calidad, pues va a verse mejor.
por lo general avi es el termino medio y si ocupa mucho suele ser de alta calidad, MP4 es un termino de calidad mas o menos alto, pero con bastantes restricciones y mas orientado a objetos portables tipo mp4 pues tienen una calidad bastante alta y ocupan poco tamaño.
Del MKV poco puedo hablar, pero generalmente se usa el MKV porque es facil montarle archivos de subtitulos y toquetearlo bastante pero no se si sera esa su unica y principal ventaja.
si es para bajarte videos tal como me bajase alguno usaria algun programa de los que hay varios que te dicen con que CODEC (que es lo que realmente nos indica el tamaño y calidad) esta hecho.
si es para hacerlos tu, la pregunta deberia ser que CODEC es mejor, y si solo te interesa calidad o tamaño-calidad.