La diferencia se nota dependiendo de tu oído. Según dicen, a mismo bitrate es mejor el MP3 (aún mejor si usas el codec LAME para MP3). La diferencia entre 192 y 320 no creo que la notes.
Yo codifico con MP3 LAME ABR a 192 kbps (joint stereo) porque me sobra espacio, si tienes poco espacio ves reduciendo calidad pero no bajes de 96 kbps.
Ogg Vorbis (.ogg) es aún mejor, si puedes úsalo.