Me huelo que el problema son los frames, que es con lo que no contaba ya que el avi es antíguo y me huelo que será 24fps y el mkv es de bluray bastante nuevo y probablemente sea 29.97fps y por eso consigo que cuadre en cierto punto, pero acaba desfasándose.
Probaré a modificar el frame-rate a ver que tal, gracias!
Pues efectivamente se trataba del framerate... El MKV funcionaba a 23,976 mientras que el audio era 25 clavado.
De momento para probar he cambiado el vídeo a 25 en vez de cambiar el audio a 23,976 e increíble, sin delay ni nada clavado, exactamente como debería ir (da la casualidad de que son idénticos ambos audios a los mismos frames).
Así que conseguido, thanks a ambos!!