Puedes echarle un vistazo al proyecto
FFmpeg. Probablemente tienen el mejor sistema de conversión libre. Puedes echar un vistazo a su código, o usar sus librerías como te placa (respetando la GPL claro

)
Otro bastante bueno es MEncoder, también bajo GPL, forma parte del reproductor MPlayer. Aunque sobre este no puedo decirte nada, sólo lo he usado como reproductor.
Respecto a DPG el algoritmo de conversión no es ninguno en especial, para el vídeo usa el formato MPEG1 Y el audio si no me equivoco puede usar audio sin comprimir o MP2. En mpeg.org tienes toda la información respecto a este sistema, incluyendo algoritmos, instrucciones técnicas, códigos... Aunque la página es liosa como ella sola

Si quisieras crear tu propio conversor a este formato podrías por ejemplo aprovechar las librerías de FFmpeg para que te hagan la transformación de audio y vídeo del formato original a los que especifique DPG, y a continuación que tu conversor se encargue de unirlos en un archivo y crear el encabezado correspondiente.[*]