Hombre, si es para hacer un juego con texto, te sirve cualquiera. No conozco ninguna librería orientado a juegos en ascii aunque me imagino que algo habrá.
Si te decides por librerías específicas para juegos, tienes muchos. Con python es sencillo, están python+pygame, python+pyglet, los 2 anteriores + rabbyt... Pygame usa sdl, pyglet usa opengl, rabbyt creo que también. Allegro también es sencilla, para C/C++. También tienes sdl, que se puede usar con Ada, C#, D, Eiffel, Erlang, Euphoria, Guile, Haskell, Java, Lisp, Lua, ML, Objective C, Pascal, Perl, PHP, Pike, Pliant, Python, Ruby, Smalltalk, y Tcl, según su web. En fin, hay más librerías.
Yo he hecho alguna tontada con pygame, ahora estoy probando a hacer algo con pyglet en 2D.
). Es decir, en modo texto, manejar un personaje (que es un caracter ascii, como una arroba) con las teclas de dirección y presentar algun tipo de mapa, tambien hecho con caracteres ascii, detección de colisiones y poco mas. 
