El problema no es que tú al tener WiFi tengas más o menos ancho de banda, el problema está en que todos accedéis a la misma conexión, y ahí nadie gestiona qué reparte a cada uno.
Es decir, tu puedes tener tu wifi con dos portátiles, un móvil, la consola y un tablet, y un vecino puede tener un PC cutre sarnoso con el eMule. ¿Consumes tú más ancho de banda por tener wifi en 5 aparatos o el que le está dando a saco en el emule? Si esos cinco aparatos se usan de forma ocasional (navegar mientras estás en el baño, bajar una actualización de vez en cuando para un juego, etc) y el vecino está descargándose la filmografía entera de Hollywood, poco importa que tú tengas o no wifi.
Y vamos, ya no son los megas, llega un momento en el que el router o la conexión se pueden saturar y no dar más de sí debido al número de conexiones que estén gestionando.
PD: Que el casero no sea rata y que ponga una conexión por casa, que como sean viviendas separadas y le pille el ISP se queda sin ná xD
PD 2: Oculta el SSID (identificador) de la WiFi