BENCHMARK DE EMULADORES

Archivado
Buenas,

Soy un viciado (como la mayoría de los que hay por aqui) a las consolas portátiles y los emuladores, pero la mayoría de veces que quiero saber el rendimiento de un cacharrito nuevo que me apetece agenciarme, me toca guiarme por los famosos test de rendimiento 3DMARK o ANTUTU, que pocas veces arroja datos fiables para lo que realmente nos interesa, los emuladores.

Por eso se me ha ocurrido hacer unos test mas adecuados (al menos para los emuladores que me interesan a mi), y quiero compartir esos datos con vosotros, con el objetivo de poder hacer una base de datos cada vez mas amplia, donde podamos tener unos test de rendimiento mas adecuados a lo que nos interesa.

Las máquinas que tengo actualmente y con las que he hecho pruebas son:
- JXD 5510b, Samsung NOTE 2, Archos Gamepad 2, Nvidia Shield Tablet, y alguna mas que irá cayendo.

Voy a numerar los test de manera que sea mas fácil identificar luego los datos:

- TEST 1 - Emulador de PSX (FPse v.0.11.168) - Con la iso del Final Fantasy VII versión europea.
- TEST 2 - Emulador MAME4droid (0.139u1) - Con el ROM del OUTRUN Sitdown/Situp Rev B 1986 Sega.

(mas adelante iremos añadiendo mas pruebas)

Lo primero de todo nos metemos en ajustes de aplicaciones y borramos todos los datos de la aplicación para dejar todas las opciones de los emuladores por defecto:

Imagen

Le damos al botón de "Borrar datos" y dejamos todas las opciones por defecto.

El siguiente paso es configurar el emulador FPse:
1.- Desmarcamos la opción "Limitador de Fotogramas"
2.- Marcamos la opción "Mostrar FPS"

Imagen

Lo siguiente es cargar la ISO del Final Fantasy VII, empezar una partida nueva y dejar que termine la presentación para esperar a que salga el primer letrero que nos dice Barret "Vamos, novato. Sígueme".

Imagen

Bien, como veis arriba a la izquierda nos da 344 FPS. Eso ya es para mi un dato útil, porque puedo tener un valor coherente con la maquina que estoy usando y el emulador que voy a utilizar.

Ese valor que veis, es de mi Samsung NOTE 2.

Ahora vamos con el TEST 2:

Como ya doy por hecho que sabéis un poco de que va el tema, me ahorro los comentarios y os pongo directamente las imágenes del MAME con lo necesario para ejecutar el test número 2:
(Si alguien no tiene claro alguna cosa, que lo comente en el foro y se lo aclaro)

Primero quitamos el frameskip.

Imagen

Y luego marcamos la opción de mostrar FPS. (Show FPS)

Imagen

Luego cargamos la rom:

Imagen
Imagen

Y dejamos que el juego se ejecute en la presentación, donde veremos el porcentaje que el emulador consigue pintando todos los frames. Cuanto mas cercano al 100% mas exacto.

Imagen
Imagen

Como podéis observar, en la imagen de arriba me sale un 86% y en la de abajo un 98%, eso es porque fluctúa y no tiene un valor constante, sin embargo en los resultados de los test, pondré el valor minimo y máximo que he observado mientras ejecutaba el test número 2.

Y ahora sin mas preámbulos, os pongo los datos que he recopilado de algunas máquinas que he podido probar (me falta probar alguna otra, pero todavía no he podido por falta de tiempo).

Maquina: JXD s5110b ( CPU: Dualcore 1.5 GPU: Mali 400 )
Test 1 - 120 FPS máximo.
Test 2 - 55% min. - 60% máx.
ANTUTU BENCHMARK : 10.041

Archos Gamepad 2 ( CPU: Quadcore 1.6 GPU: Mali 400 )
Test 1 - 184 FPS máximo.
Test 2 - 78% min. - 82% máx.
ANTUTU BENCHMARK : 24.104

Samsung Note 2 ( CPU: Quadcore 1.6 GPU: Mali 400 )
Test 1 - 354 FPS máximo.
Test 2 - 89% min. - 99% máx.
ANTUTU BENCHMARK : 27.400

Xperia Z3 Tablet Compact ( CPU: SnapDragon 801 Quadcore 2.5 / GPU: Adreno 330 )
Test 1 - 540 FPS máximo.
Test 2 - 78% min. - 100 % máx,
ANTUTU BENCHMARK : 41.210

GPD Q9: ( CPU: Rockchip RK3288 Quadcore 1.8 / GPU: Mali-T764 )
Test 1 - 348 FPS máximo.
Test 2 - 99% min. - 100 % máx
ANTUTU BENCHMARK : 41.560
( Muchas gracias a Zococity.es, por el préstamo de una GPD-Q9 para las pruebas )

GPD G5A: ( CPU: Rockchip Quadcore 1.6 / GPU: Mali-400 )
Test 1 - 270 FPS máximo.
Test 2 - 86% min. - 90 % máx
ANTUTU BENCHMARK : 18.985


------------------------------------------------------------------------------------------------------------------

Ahora analicemos los datos:

Es curioso ver como según los test de ANTUTU, el Xperia Z3 Tablet tiene casi un 34% mas de potencia que el NOTE 2, y sin embargo alcanza un valor mínimo superior en el TEST 2 al Xperia Z3.

Bueno pues, espero que os sirve de ayuda los datos que os he puesto, y me encantaría que me echarais una mano para añadir algunas maquinas interesantes de las cuales no dispongo para hacer pruebas:

- Nvidia Shield Compact

Un saludo a todos y se agradece todo tipo de comentarios. ;)
Por qué has elegido el FPSE por encima del epsxe?
Tranca Venosa escribió:Por qué has elegido el FPSE por encima del epsxe?


Pues en principio porque tenía ese comprado, pero si mola mas el epsxe, pruebo también con ese otro. ;)
Tranca Venosa escribió:Por qué has elegido el FPSE por encima del epsxe?

Porque es mejor,sencillamente. Mucho más configurable.
He comprado el epsxe para probarlo, y funciona como unas 3 veces mas lento que el FPse. De todas maneras en realidad para hacer las pruebas no importa uno u otro, lo importante es ejecutar el mismo en todos los sistemas para tener una medida de referencia.

EDITO: Me han prestado una GPD Q9 para hacer test (http://zococity.es) y en breve os pondré que tal rinde esta maquinita. (Desde luego la pinta que tiene es buenísima, a ver que tal rinde en los test) ;)

Si alguien propone algún test nuevo (con algún emulador que le interese) puedo aprovechar para hacerlo también en la Q9 (antes de devolverla).

Saludos.
En mi opinión lo suyo es que uses emuladores muy exigentes, como PSP o dreamcast (aunque DC no pide demasiada máquina) para hacer comparativa, incluso dolphin aunque vaya lento en casi todos los dispositivos. Te lo digo porque el FF VII lo mueve hasta mi jxd s601 monocore. El mame 0-139 también es bastante exigente.

Y luego si comparas entre distintos aparatos debes usar governor perfomance de CPU en todos los aparatos que uses, ya que si no el test pierde toda validez, ya que el uso de otro governor afecta al rendimiento.

A nivel de emuladores entre la q9 y un RK3188 como la archos gamepad no vas a notar grandes diferencias, ya que la diferencia es en juegos android sobre todo y en nintendo 64 usando glidemn64 con opengl.3.0.

Eso si, los emus de Broglia vam perfectos con hq2x cosa que en los rk3188 no suele pasar, y algunos cores muy exigentes como bsnes son jugables en rk3288 mientras que en rk3188 son algo lentos. Pero no esperes un gran salto porque a nivel de CPU RK3288 y RK3188 son bastante parejos en single thread, que es a fin de cuenta como corren la mayoría de los emus.

Edito: he hecho el test del out run y me va a 100 por 100 todo el tiempo tanto en la q9 como en mi teléono siswoo i7 cooper.
skelton escribió:En mi opinión lo suyo es que uses emuladores muy exigentes, como PSP o dreamcast (aunque DC no pide demasiada máquina) para hacer comparativa, incluso dolphin aunque vaya lento en casi todos los dispositivos. Te lo digo porque el FF VII lo mueve hasta mi jxd s601 monocore. El mame 0-139 también es bastante exigente.

Y luego si comparas entre distintos aparatos debes usar governor perfomance de CPU en todos los aparatos que uses, ya que si no el test pierde toda validez, ya que el uso de otro governor afecta al rendimiento.

A nivel de emuladores entre la q9 y un RK3188 como la archos gamepad no vas a notar grandes diferencias, ya que la diferencia es en juegos android sobre todo y en nintendo 64 usando glidemn64 con opengl.3.0.

Eso si, los emus de Broglia vam perfectos con hq2x cosa que en los rk3188 no suele pasar, y algunos cores muy exigentes como bsnes son jugables en rk3288 mientras que en rk3188 son algo lentos. Pero no esperes un gran salto porque a nivel de CPU RK3288 y RK3188 son bastante parejos en single thread, que es a fin de cuenta como corren la mayoría de los emus.

Edito: he hecho el test del out run y me va a 100 por 100 todo el tiempo tanto en la q9 como en mi teléono siswoo i7 cooper.


Si, efectivamente el FFVII lo mueven máquinas pequeñas, pero al quitarle el limitador de FPS, la idea es saber cuantas veces va a rebasar el 100% en distíntas máquinas. El test estaba orientado a saber de antemano qué velocidad voy a tener con los emuladores que me interesan mas, en una máquina nueva (antes de agenciármela) ;)

Lo de usar el governos perfomance no se puede hacer en todas las máquinas (porque algunas no las tengo rooteadas, ni tengo ganas de andar trasteando con ellas para rootearlas). La idea es saber que rendimiento tienen tal cual te las venden.

En realidad con que me moviera al 100% casi todos los juegos del mame v.0.139, ejecutara bien todos los de PSX, SNES, etc, y tuviera una pantalla y unos mandos decentes, ya sería una máquina interesante para mi.

El archos gamepad2, cumple bien “casi” todos los apartados, pero se queda corto con algunos juegos exigentes del mame.

Debo reconocer que los poquitos días que llevo probando la Q9 me ha encantado. Tiene un tacto de cruceta, botones, etc genial. La pantalla no está mal (aunque no es tan brillante como la del xperia z3, o la nvidia shield tablet). Por el precio que tiene, me parece una compra obligada, de hecho me parece que me voy a trincar una si o si. ;-)

Otra cosa que me encanta de la Q9 es que venga rooteada, y no tenga que andar trasteando con el tema de rootearla y tal. Me gusta que los programas como el mame puedan borrar directamente una rom que no te interese, sin tener que hacerlo de manera externa.

P.D.: Ya he actualizado el primer post con los datos de la Q9. (Muchas gracias a Axel de Zococity.es por el préstamo de la GPD Q9)
Sólo un apunte, aunque los datos de la q9 son CPU: Rockchip RK3288 Quadcore 1.8 / GPU: Mali-T764 en realidad todos los dispositivos RK3288 corren a un máximo de 1,6 ghz (pese a que el kernel indique 1,8 ghz), y de hecho en el último firm 1.1.3 GPD lo tiene underclockeado a 1,4 ghz máximo (aunque indique 1,4 ghz). Esa limitación se puede quitar, de hecho tengo un kernel compilado que estoy probando sin la limitación a 1,4 ghz, pero a ver si saco algo de tiempo (cosa que veo difícil ahora mismo) para preparar un firmware limpio con ese kernel.
skelton escribió:Sólo un apunte, aunque los datos de la q9 son CPU: Rockchip RK3288 Quadcore 1.8 / GPU: Mali-T764 en realidad todos los dispositivos RK3288 corren a un máximo de 1,6 ghz (pese a que el kernel indique 1,8 ghz), y de hecho en el último firm 1.1.3 GPD lo tiene underclockeado a 1,4 ghz máximo (aunque indique 1,4 ghz). Esa limitación se puede quitar, de hecho tengo un kernel compilado que estoy probando sin la limitación a 1,4 ghz, pero a ver si saco algo de tiempo (cosa que veo difícil ahora mismo) para preparar un firmware limpio con ese kernel.


Si, tienes razón (lo leí en la review de deenox), pero vamos he dejado los datos que dice el fabricante. Lo del kernel limpito me parece una idea genial, porque a mi me sobran todos los programas chinos que vienen pre-instalados. Prefiero los emuladores que tengo comprados en la store. Sobre lo de la limitación que viene a 1,4 ghz, me da un pelin de miedo quitarlo, porque me da la sensación de que los de GPD lo han puesto para evitarse problemas con algunas unidades que no pasen el test de calidad mas allá de esa velocidad.
Recuerdo hace años cuando intel hacía test de calidad de sus famosos Pentium, y te vendían procesadores de mas velocidad como de menos para evitar que algunas unidades fallaran.

Cuando tengas una versión estable de ese firm limpito, me apunto. Muchas gracias de antemano. ;-) [beer]
lento epsxe? en mi nvidia shield portable es rapido gracias a los scripts de critical composer.El fpse no me gusta por una buena razon: los sonidos de los juegos de psx se oyen mal,emuladores como retroarch o epsxe va fino el sonido.
alexei_gp escribió:lento epsxe? en mi nvidia shield portable es rapido gracias a los scripts de critical composer.El fpse no me gusta por una buena razon: los sonidos de los juegos de psx se oyen mal,emuladores como retroarch o epsxe va fino el sonido.


No lo he probado exahustivamente, pero las primeras pruebas que hice, funcionaba a un 30% de velocidad a la que funcionaba el FPse en las mismas condiciones.

Si quieres, dime un listado de cómo tienes las opciones en el epsxe y lo configuro de la misma manera para ver que tal funciona. ;)
Javiero escribió:
alexei_gp escribió:lento epsxe? en mi nvidia shield portable es rapido gracias a los scripts de critical composer.El fpse no me gusta por una buena razon: los sonidos de los juegos de psx se oyen mal,emuladores como retroarch o epsxe va fino el sonido.


No lo he probado exahustivamente, pero las primeras pruebas que hice, funcionaba a un 30% de velocidad a la que funcionaba el FPse en las mismas condiciones.

Si quieres, dime un listado de cómo tienes las opciones en el epsxe y lo configuro de la misma manera para ver que tal funciona. ;)



No le he modificado nada en las configuraciones de epsxe,solo puse los scripts de criticalcomposer sobre la apk universal ini.dt y no resiento ningun tipo de lag.Uno de los script le hace mejoras al cpu de la nvidia shield portable y va fino,aqui los puedes ver:

https://drive.google.com/folderview?id=0B-8bb5TAGlYQfjFyaUtrMXBhd1JjaWlkR0N6OXBwUlBBbkZlaWFjZWFrM3psRGR5d0R4Rmc&usp=drive_web

En tu caso como tienes la shield tablet no te serviran los scripts,ya que esos scripst son para el tegra 4 de la portable.
Pero si epsxe va full speed en todas las consolas..... Si la shield necesita de ese script entiendo que es por un bug del kernel, pero no por falta de potencia.
skelton escribió:Pero si epsxe va full speed en todas las consolas..... Si la shield necesita de ese script entiendo que es por un bug del kernel, pero no por falta de potencia.

Tienes razón epsxe va a full speed en todas las consolas tengo un gpd tv gamebox y va fino no lo he modificado nada en las configuraciones,lo que pasa es que en la shield portable en kitkat hicieron un destrozo los devs de nvidia con las variables del cpu,tan asi que criticalcomposer junto con un compañero suyo lo arreglaron y lo dejaron superbien casi igual que la rom de jelly bean para shield portable.Si al compañero le va lento el epsxe en su shield tablet tendra que esperar un buen de tiempo para que un dev o alguien que le interese haga amablemente script para su shield tablet.
alexei_gp escribió:
skelton escribió:Pero si epsxe va full speed en todas las consolas..... Si la shield necesita de ese script entiendo que es por un bug del kernel, pero no por falta de potencia.

Tienes razón epsxe va a full speed en todas las consolas tengo un gpd tv gamebox y va fino no lo he modificado nada en las configuraciones,lo que pasa es que en la shield portable en kitkat hicieron un destrozo los devs de nvidia con las variables del cpu,tan asi que criticalcomposer junto con un compañero suyo lo arreglaron y lo dejaron superbien casi igual que la rom de jelly bean para shield portable.Si al compañero le va lento el epsxe en su shield tablet tendra que esperar un buen de tiempo para que un dev o alguien que le interese haga amablemente script para su shield tablet.


No que va, yo probé el epsxe en el NOTE 2 (y no digo que vaya mal, solo que quitando el limitador de frames, no llegaba a los 300 y pico FPS que daba el FPse).
Javiero escribió:
alexei_gp escribió:
skelton escribió:Pero si epsxe va full speed en todas las consolas..... Si la shield necesita de ese script entiendo que es por un bug del kernel, pero no por falta de potencia.

Tienes razón epsxe va a full speed en todas las consolas tengo un gpd tv gamebox y va fino no lo he modificado nada en las configuraciones,lo que pasa es que en la shield portable en kitkat hicieron un destrozo los devs de nvidia con las variables del cpu,tan asi que criticalcomposer junto con un compañero suyo lo arreglaron y lo dejaron superbien casi igual que la rom de jelly bean para shield portable.Si al compañero le va lento el epsxe en su shield tablet tendra que esperar un buen de tiempo para que un dev o alguien que le interese haga amablemente script para su shield tablet.


No que va, yo probé el epsxe en el NOTE 2 (y no digo que vaya mal, solo que quitando el limitador de frames, no llegaba a los 300 y pico FPS que daba el FPse).

acabo de probar el contador de fps en la shield portable me da entre 59 y 60 fps,no es estable estando 60 ¿puedes hacerme una captura donde quitar el limitador de frames en epsxe?
en epsxe si no recuerdo mal le dabas a back y en el menú que te sale era togglefps limit o algo así, pero hablo de memoria.
skelton escribió:en epsxe si no recuerdo mal le dabas a back y en el menú que te sale era togglefps limit o algo así, pero hablo de memoria.

Gracias skelton,lo probare mas tarde lo del menu en epsxe :)
Los chicos de Zococity.es me han prestado una GPD G5A para probar, procedo a actualizar los datos del primer post con la información de esta nueva pequeñaja. (La verdad es que tira bastante decente).
Para la G5a recomiendo que en emuladores exigentes la pongas en ondemand y/o performance de governor, ya que el interactive por defecto de los RK3188 es muy conservador.

Así mismo, la rom stock está capada a 1,4 ghz, y si es un batch reciente es posible que tenga una pantalla a 62 hz en vez de los 60 que corresponde para que vaya mejor todo.

Te dejo link a mi ROM que creo es bastante recomendable en la G5a, aunque esté mal que lo diga yo xD. Incluye patch además para las consolas que vengan a 62 hz la pantalla:

http://boards.dingoonity.org/gpd-devices/(rom)-legacyrom-2-0-gpd-g5a-android-4-4-4/
skelton escribió:Para la G5a recomiendo que en emuladores exigentes la pongas en ondemand y/o performance de governor, ya que el interactive por defecto de los RK3188 es muy conservador.

Así mismo, la rom stock está capada a 1,4 ghz, y si es un batch reciente es posible que tenga una pantalla a 62 hz en vez de los 60 que corresponde para que vaya mejor todo.

Te dejo link a mi ROM que creo es bastante recomendable en la G5a, aunque esté mal que lo diga yo xD. Incluye patch además para las consolas que vengan a 62 hz la pantalla:

http://boards.dingoonity.org/gpd-devices/(rom)-legacyrom-2-0-gpd-g5a-android-4-4-4/


Gracias máquina ;-)

La putada es que es una G5A prestada y me sabe mal flashearla (si fuera para mi, si que lo haría de cabeza).
Sobre lo de la potencia del procesador, si que le voy a poner el perfomance a tope a ver si se nota la diferencia.

Fijándonos en los datos que nos da el emulador de PSX (FPse) y el Mame, me hace gracia ver como no tiene nada que ver la diferencia de rendimiento respecto al ANTUTU. Por eso precisamente buscaba este tipo de tests, que son prácticos y no unos test de rendimiento ficticios de un programa que solo sirve para mostrar datos.

El archos gamepad 2 es mas potente (según el test ANTUTU), y en cambio según los emuladores está por debajo de la G5A.

Me gustaría hacer tambien pruebas con el emulador de N64, pero la diferencia de plugins haría que los datos estuvieran muy sesgados.

Para mi en concreto, el test que mas realista veo es el FPse, porque usa tanto el GPU como el CPU y aprovecha los multicores.
A mi en Antutu la G5a me da más puntos que a ti, en torno a 24000 más o menos en la última versión. De todas formas a nivel de emuladores el dato de referencia en Antutu es el single thread de CPU, porque al final la mayoría de emus son CPU pura y dura, y pocos aprovechan de manera eficiente el usar más de un core.
21 respuestas
Archivado
Volver a Consolas alternativas