Para poder ayudarte bamos a necesitar algunos datos más sobre tu programa:
1- Cual es el numero maximo de lineas que tendra tu fichero, para saber cuantos arrays de 2 dimensines necesitaras ya que tu ejemplo serviria solo para 2 lineas en el fichero y en el caso de que tengas una sola linea(Sin una marca de fin de linea) en el fichero sera un bucle infinito el segundo while not eoln).
2- Necesitas un array por linea, o puedes utilizar un array de 3 dimensiones.
3- Los numeros que guardas en el fichero son de un número constante de digitos(ej: 1,2,9,4 o 1,25,152) ya que en el caso de tener diferentes longitudes deberias utilizar un caracter de separación entre los números.
4- Realmente necesitas cargar los números en una variable o puntero, podrias acerder al fichero cada vez que necesites un valor de este. Esto depende de la cantidad de veces que debas acceder a los valores, ya que el acceso a disco es mucho más lento que a una variable.