El audio no es procesado en el GPU de la tarjeta de video, para ello tiene un chipset de audio con lo que el GPU siempre esta "liberado", en la tarjeta madre tampoco esta siendo procesador por el CPU sino por el chipset de audio integrado, aparte de que el chipset southbridge en la tarjeta madre generalmente es el que lleva el trafico del bus PCI y de un bus PCI-E, asi que aunque uses una tarjeta de audio los datos viajan por el bus PCI o PCI-E.
Ahora, otra cosa que la tarjeta de sonido tenga chipset decodificador/codificador para algunos formatos de audio como el MP3 o el AC3 o el Dolby Digital y DTS, en ese sentido si liberas del trabajo de DECODIFICAR los datos comprimidos [en MP3, AAC, etc.] al procesador, ya que la decodificacion ya no se haria por software [el CPU] sino por Hardware [el chip decodificador]