Para aclararte un poco cuando hay que pagar el online y cuando no, decirte que por lo general el online va incluido en el precio del juego cuando lo compras, el juego, si tiene modo online, te traerá una clave con la que normalmente te registras en donde te lo indiquen y ya podrás jugar (el proceso varia de unos juegos a otros). Todos los que has puesto tu, si no me equivoco, son de este primer tipo. Entras en el juego, eliges una partida y juegas con las personas que estén en esa misma partida. Cada vez que te conectes tendrás que volver a escojer en que partida entrar, o crear tu una.
Otra cosa son los mundos persistentes, en los cuales tienes que pagar una cuota mensual para poder jugar, uno de los mas conocidos: World of Warcraft, pero hay muchos y de distintos tipos. Se les llama mundos persistentes porque cuando tu te desconectas el "mundo vitual" sigue ahí y el resto de personas conectadas siguen avanzando, estes tu o no, y ahí si que está todo el mundo conectado a la vez. (quitando temas de que estén distintos servidores y tal...)
Por aclarar un poco asi por encima para empezar.