Al final lo he "solucionado" usando alcohol isopropílico untando los pads en la base y moviéndolos. Prácticamente he anulado el drift, digo prácticamente porque cuando miro los valores en el PC no quedan del todo en el centro (hay una diferencia milimétrica en el centro), pero aun así ya no me da problemas cuando juego en PS5, que antes directamente los personajes no paraban de rotar la cámara sin pulsar el mando.