Hola. Por mi parte:
El overclocking es casi siempre posible en cualquier equipo/procesador (unos procesadores dan más facilidad para hacerlo -sobre todo los 'desbloqueados', y otros procesadores lo ponen un poco más dificil y no se dejan subir demasiado, por tanto sólo varía la cantidad de velocidad a subir, no el hecho de que sea posible hacerlo). Si, si se nota un mayor rendimiento, en función de cuanto se aumente la velocidad (por ejemplo 300Mhz, o 500Mhz).
Aquí por ejemplo puedes ver un tutorial

El punto de referencia que das con juegos como OP7 tal vez sea un tanto contradictorio desde mi punto de vista, puesto que es jugable con un equipo muy inferior al tuyo
Los requerimientos mínimos para jugar Operation 7 son:
CPU: Pentium 4 1.4 GHz o AMD Sempron 1.4 Ghz
RAM: 512 RAM
Video: NVIDIA Geforce2 MX 64MB o posterior
Direct X: 9.0c o posterior
S.O: Windows9X, ME, WindowsNT4.0 sp3 or Windows2000, WindowsXP, Windows7.
Monitor: que soporte 1024 x 768
Tamaño: 2 GB de espacio libre en disco En principio tu PC tal cual esta ahora, es capaz de ejecutar OP7 a calidad gráfica media y a unos 25/30 cuadros por segundo, si bien llevas razón en que no podrás jugar a tope de calidad gráfica y a 50 cuadros por segundo con tu ordenador.
Tu mismo has dicho las parcelas a mejorar: velocidad del procesador, (overclock), cantidad de memoria y tarjeta gráfica.
De las tres hay una que casi no tiene sentido tener en cuenta y es la memoria, primero porque los juegos que te interesan se mueven en la cantidad que ya tienes (2Gb) y segundo porque con XP de 32 bits no aprovecharías más cantidad de memoria, (3 Gb a lo sumo), en consecuencia y sobretodo si vas a mantenerte con XP 32 bits, no necesitas ampliar la memoria para jugar a títulos de 2005 o 2007. Al mismo tiempo, usar Win7 en tu caso puede no tener un gran sentido, porque tu procesador Celeron D sólo tiene un núcleo, siendo ese su mayor problema de cara al rendimiento como comenta
Er_Garry. A mi juicio, si sólo te interesan juegos de hace seis/siete años, ese Celeron a 2,66 Ghz no es un impedimento, pero sí dificulta un poco las cosas. Tu placa admite procesadores mucho mejores, como los Core2Duo (dos núcleos) y Core2Quad (cuatro núcleos), se encuentran de segunda mano y darías un salto enorme en rendimiento, pero insisto, para lo que quieres jugar casi no los necesitas, te basta con tu procesador y una tarjeta gráfica a la altura, algo que ahora mismo no tienes, ya que el equipo funciona con la integrada en placa.
La elección de la tarjeta gráfica normalmente depende a su vez de si se hace overclocking o no. Subiendo la velocidad del procesador por ejemplo se puede aspirar a una tarjeta gráfica un poco más potente porque el procesador será capaz de aprovecharla mejor. En tu caso, al tener sólo un núcleo, se puede simplificar, porque creo que la diferencia de un Celeron funcionando a 2,66Mhz, a un Celeron funcionando a 3,0 o 3,2 Ghz, no comporta la necesidad de ampliar la tarjeta gráfica.
Para tu equipo escogería una HD 6450 de 1Gb (de 35 a 38€ según tienda), ya hagas o no overclock como digo, me parece la opción más idónea y apenas se verá limitada por el procesador (el terrorífico "cuello de botella").
Si deseas hacer overclocking para subir un poco más el rendimiebnto del Celeron, necesitarás un disipador/ventilador para mejorar la refrigeración. Un buen ventilador económico es "Thermaltake Contac 16" (18€).
Así, podrías tener dos opciones:
Actualización básica: Tarjeta gráfica HD 6450 + ventilador para el procesador para hacer overclok (48€, en total).
Actualización avanzada: nuevo procesador de segunda mano compatible con placa base (Core2Duo / Core2Quad) + tarjeta gráfica en consonancia, (una HD 7750 -85€-), en total, unos 120/130€, porque estos procesadores de segunda mano pueden llegar a costar de 40 a 50€ (otros compañeros te podrán informar mejor si lo necesitas).
Pienso que una actualización básica es lo coherente, por el tipo de juegos que te interesan.
Saludos