No creo que el problema sea de drivers.
Ten en cuenta que cada mapa es diferente, y que hay mapas mas complejos, que iran mas lentos, y mapas mas sencillos, que irán más rápido.
Eso te pasa cambiendo de cualquier a cualquier mapa o son algunos en concreto.
Asegurate de que no tienes activada la limitación de fps
Tambien podria ser la cutre gestion de memoria de windows, pero dudo que eso influya en el rendimiento grafico.
Siento no poderte ayudar en mas...