Si es como comentan (hace tiempo que no uso mandos de Sony) prueba a conectar el mando a la app de Stadia de móvil, y desde ella puedes pasarle el control a la pantalla que desees, ya sea TV, app de android, navegador, web, etc.
Si vía bluetooth tienes el mismo problema, prueba conectándolo por cable al móvil. Así puedes tener distintas posibilidades para ver si consigues tener un mapeado mas adecuado.
Ten en cuenta que con distintas versiones de android del móvil, además de modificaciones especificas del fabricante del móvil, la experiencia puede variar.
Están actualizando Chromecast con Google TV aunque no le hayan subido la versión de Android, supongo que quieren pegar un salto lo suficientemente grande que lo justifique, tal vez con los cambios automáticos de resolución al vuelo, mas compatibilidad con dispositivos modernos, nuevos dispositivos Nest y funciones sin anunciar variadas.