KGB: Compresión brutal de datos

Archivado
http://es.wikipedia.org/wiki/KGB_Archiver
http://kgbarchiver.net/

Fusilado de la Wikipedia escribió:KGB Archiver es un programa libre de compresión de ficheros creado por Tomasz Pawlak.

Características

* Permite manejar ficheros zip, además de su propio formato, kgb.
* Alta compresión.
* Cifrado AES-256.
* Posibilidad de crear archivos autoextraibles.

KGB Archiver es una herramienta para comprimir y descomprimir ficheros con tasas de compresión muy altas. Supera ampliamente a otras utilidades similares, como 7zip o UHarc.

La contrapartida a las grandes tasas de compresión que consigue, es tiene que necesita mucho más tiempo y memoria RAM para comprimir los ficheros. El autor recomienda como mínimo un procesador con 1,5 GHz de frecuencia de reloj y 256 MB de RAM.

Una de las ventajas de KGB Archiver es su algoritmo de compresión, PAQ7 (lanzado en Diciembre de 2005, habiendo versiones posteriores como PAQ8, que podrían ser usadas en el futuro). Este algoritmo ha logrado el premio Hutter, premio que recompensa los desarrollos en compresión de datos sin pérdida. También usa AES-256 para cifrar archivos. Este es uno de los algoritmos de cifrado más poderosos que se conocen.

KGB Archiver consigue una tasa de compresión inferior al 12% en archivos de texto. Muy lejos del 24% que consigue el formato Zip o el 16,2% del formato RAR. Para aplicaciones es capaz de lograr una tasa de compresión de un 23%, mientras que el formato Zip alcanza un 36%.

Dispone de varios métodos de compresión en función de la memoria RAM usada para comprimir, entre los que destacan: normal, medio, máximo y extremo. Este último llega a necesitar 1600 mb de memoria, una cantidad de la que pocos ordendores actuales disponen, además de necesitar muchísimas horas para estos últimos métodos. Permite comprimir archivos usando la técnica de archivo sólido, que permite comprimir varios ficheros aplicando la compresión como si fueran uno solo.

Este programa es compatible con Windows Vista, y se está trabajando en versiones para Linux y Mac OS X, teniendo estos últimos una versión de consola en la versión 1.0 beta 4. En su versión 2, aunque en su fase Beta, se ha conseguido acelerar un 8% el tiempo de compresión. En la página oficial podemos encontrar más características acerca del programa.

En su versión 1 se han incluido 9 idiomas: Alemán, Inglés, Español, Estonio, Francés, Italiano, Holandés, Portugués, Rumano y Sueco. En la versión 2 solamente se incorpora como idioma el Inglés, aunque hay un parche que lo amplía con 9 idiomas más.


Bueno, pues solo decir que se me han caido los cojones al suelo [flipa] Compresiones bestiales... 430 Mb a 14... 630 Mb a 54... En cuanto pueda lo pruebo un poco más.

Dado el nivel dee los procesadores actuales aún es un poco pronto para este formato (mucho consumo de CPU y RAM muy continuado), pero de aquí a 3 años preparáos ZIP, RAR, 7z, etc... porque la KGB os va a machacar.
La memoria es un recurso mucho más barato que el tiempo.

No creo que sea nada útil este compresor, de echo, yo creo que si no los hay mejores (en cuanto a compresión) es porque no compensa.
Hay varios de este tipo, uharc, uhbc creo que se llamaba otro, compressia (creo que ya ni existe la web, pero yo lo probé en su momento).. y básicamente son lentísimos.

Vaya, que creo que, muchas veces, son más para benchear que para tener utilidad real, emho.

Si quieres comprimir bastante en un tiempo razonable, yo que tu tiraría por 7zip.
Al tiempo. Eventualmente tendremos maquinas capaces usarlo sin despeinarse y la ventaja sobre el resto de sistemas seguira siendo la misma.
Bueno, lo estoy probando. Desgraciadamente estoy probando la versión 1.x, puesto que la 2beta2 peta en cuanto pinchas "crear archivo".

Estoy probándolo con una imagen iso de 3,7Gb creada del juego Far Cry 2 (iba a probar con una de 6,5Gb, pero el programa dice que no puede con archivos mayores de 4Gb).

Estoy usando un AMD Athlon X2 5.200+ a 2,71Ghz, 2Gb de RAM DDR2 800Mhz. La compresión está puesta como "Maximum", la más alta, y de momento no pinta muy bien.

Se está comiendo 1587,2Mb de RAM física, uso de la CPU al 50% (el 100% del primer núcleo. No se si está preparado para usar un sólo núcleo, espero que esto esté corregido en la versión 2, puesto que el tiempo se podría optimizar mucho).

Estima que le quedan 44 Horas y 47 Minutos. Lleva funcionando 1 Hora y 14 Minutos y va un 2,7% completado.

De momento no pinta muy bien para este programa. 2 Días de compresion es mucho tiempo de estress para la RAM y el procesador, por no mencionar que es muuucho tiempo. Si el resultado está por debajo de los 400Mb, habrá merecido la pena.


Pero como una imagen vale más que mil palabras, os lo muestro en todo su explendor:

Imagen


EDITO: Haciendo cálculos de tamaño y esas cosas, parece ser que el resultado final le quitará algo menos de 1Gb al archivo si sigue a este paso. Es decir, o la versión 2 mejora a rabiar, o el resultado no compensa el trabajo que lleva.
EDITO: Haciendo cálculos de tamaño y esas cosas, parece ser que el resultado final le quitará algo menos de 1Gb al archivo si sigue a este paso. Es decir, o la versión 2 mejora a rabiar, o el resultado no compensa el trabajo que lleva.


Es muy difícil hacer números sobre esto. Las funciones son fuertemente no lineales.

- ferdy
Ferdy escribió:
EDITO: Haciendo cálculos de tamaño y esas cosas, parece ser que el resultado final le quitará algo menos de 1Gb al archivo si sigue a este paso. Es decir, o la versión 2 mejora a rabiar, o el resultado no compensa el trabajo que lleva.


Es muy difícil hacer números sobre esto. Las funciones son fuertemente no lineales.

- ferdy


Lo sé, por eso lo estoy dejando trabajar para ver cual es el resultado final. Los cálculos simplemente son estimaciones basadas en las propias estimaciones del programa.
maeseoki escribió:
Ferdy escribió:
EDITO: Haciendo cálculos de tamaño y esas cosas, parece ser que el resultado final le quitará algo menos de 1Gb al archivo si sigue a este paso. Es decir, o la versión 2 mejora a rabiar, o el resultado no compensa el trabajo que lleva.


Es muy difícil hacer números sobre esto. Las funciones son fuertemente no lineales.

- ferdy


Lo sé, por eso lo estoy dejando trabajar para ver cual es el resultado final. Los cálculos simplemente son estimaciones basadas en las propias estimaciones del programa.

Segun los resultados, puede merecer la pena. Entiendo que para bajarte un emepetres no valga, pero iso de blue rays, pues si. De tener tu conexion durante 5/6 dias para poderte bajar un blue ray, a bajarla a 2+2, puede ser interesante.
Yo he hecho pruebas con imágenes y videos:

GIF de 1,09 Mb---> 1,07 Mb (lógico, ya está comprimido)
MPG de 44 Mb (unos 5 minutos de video)---> 36 Mb (que no está nada mal [risita] )

Pero los mejores resultados, en datos. Depende un huevo, pero ayuda que no sean mixtos (por ejemplo, ese Far Cry 2 aunque sea una ISO el programa puede "ver" la música y las texturas, y le cuesta más comprimirlas), sino solo código (como un autoinstalador).

Esperando las impresiones del compañero.

PD: A mi me va deluxe la beta :-?
Terminado el trabajo, los resultados no podrían ser más decepcionantes.

La conversión tardó 46,5 Horas usando el 100% de un núcleo y 1,6Gb de RAM (con lo cual, el uso del ordenador durante la conversión es muy limitado). La ISO a comprimir tenía originalmente 3,67Gb y después de la conversión, el archivo .kgb pasó a tener 3,40Gb, es decir, 276Mb menos.

La verdad, decepcionante dadas las características que prometía y dado el alto tiempo de compresión y el alto uso de recursos. De momento no lo veo ni de lejos viable para compresión de archivos en general. Por supuesto, habría que probarlo con una imagen de blu-ray de video de 40Gb por ejemplo. Pero para juegos no resulta ni mucho menos viable.

Una pena.
por hacernos mejor una idea, puedes decirme cual es el ratio de compresion de esa misma iso con 7zip?

(si no es mucha molestia)
No hombre, no lo es. Ahora mismo lo pongo a comprimir, cuando tenga el resultado lo posteo

EDITO: Usando 7z, comprimiendo la misma iso a bz2 en Ultra (la máxima compresión), el fichero queda en 90Mb menos. Tiempo de la conversión: 2 horas 43 minutos (con un uso de RAM muy inferior).

Pues sinceramente, por 186Mb en una iso de 3,67Gb, pasando de 2,5horas a 42horas, creo que me quedo con el 7zip.
yo creo como vosotros que por mucho que comprima, si los recursos que utiliza son mayores de lo que puede hacer no merece la pena.
maeseoki escribió:No hombre, no lo es. Ahora mismo lo pongo a comprimir, cuando tenga el resultado lo posteo

EDITO: Usando 7z, comprimiendo la misma iso a bz2 en Ultra (la máxima compresión), el fichero queda en 90Mb menos. Tiempo de la conversión: 2 horas 43 minutos (con un uso de RAM muy inferior).

Pues sinceramente, por 186Mb en una iso de 3,67Gb, pasando de 2,5horas a 42horas, creo que me quedo con el 7zip.



muchas gracias


pues si, 7zip wins bastante.... xD
No veo mucho futuro a este tipo de compresores. Son compresores destinados a comprimir datos, optimizados para comprimir datos, y justo los datos es algo que tampoco interesa mucho comprimir, quiero decir, con la expansión de la banda ancha y los tamaños relativamente moderados de los archivos de datos, no resulta práctico invertir el tiempo que se ha de inveritr en comprimirlos y descomprimirlos cuando es mejor manejarlos sin compresión. Y donde interesaría esta compresión, en archivos multimedia (video en alta resolución, audio de muy alta calidad...) estos compresores son bastante inútiles, además que los archivos que manejas suelen tener ya un codec que le aplica una compresión (compresión pensada y desarrollada para video/audio) que consigue muchos mejores resultados.
Aún así es interesante como se puede llegar a comprimir los datos. Quizá pueda servir para un futuro con ordenadores más potentes para nuevas codificaciones.

Saludos [bye]
La verdad es que a día de hoy parece bastante decepcionante...
Omega69 escribió:No veo mucho futuro a este tipo de compresores. Son compresores destinados a comprimir datos, optimizados para comprimir datos, y justo los datos es algo que tampoco interesa mucho comprimir, quiero decir, con la expansión de la banda ancha y los tamaños relativamente moderados de los archivos de datos, no resulta práctico invertir el tiempo que se ha de inveritr en comprimirlos y descomprimirlos cuando es mejor manejarlos sin compresión. Y donde interesaría esta compresión, en archivos multimedia (video en alta resolución, audio de muy alta calidad...) estos compresores son bastante inútiles, además que los archivos que manejas suelen tener ya un codec que le aplica una compresión (compresión pensada y desarrollada para video/audio) que consigue muchos mejores resultados.
Aún así es interesante como se puede llegar a comprimir los datos. Quizá pueda servir para un futuro con ordenadores más potentes para nuevas codificaciones.

Saludos [bye]



Es exactamente lo que yo digo, en programación si puedes hacer un programa más rápido a coste de ocupar espacio en disco lo haces, y punto.

La memoria es mucho más barata que el tiempo, y sigue abaratandose. Yo creo que dedicar 15 o 20 minutos a comprimir algo es totalmente innecesario.
maeseoki escribió:Una pena.


Ya me lo imaginaba; como ya puse arriba, esa comprsión no ha sido muy satisfactoria porque la ISO incluía gran cantidad de música y texturas, difíciles de comprimir. Los ejemplos que puse en el primer post eran Office 2007 y GTA:San Andreas (no pidais las pruebas porque va contra las normas).

Ahora pruebo con un instalador de 7,04 MB y posteo resultados.

EDITO: ¬_¬ En 2 minutos a máxima compresión ha pasado de 7,04 Mb a 6,90 Mb.
4eVaH escribió:Yo creo que dedicar 15 o 20 minutos a comprimir algo es totalmente innecesario.

Eso si que no lo creo. Si con 15/20 minutos puedes ganar un tamaño del 20% en una iso es MUY interesante.
lovechii5 escribió:
4eVaH escribió:Yo creo que dedicar 15 o 20 minutos a comprimir algo es totalmente innecesario.

Eso si que no lo creo. Si con 15/20 minutos puedes ganar un tamaño del 20% en una iso es MUY interesante.



Pues a mi me sobra el 20% del tamaño de una iso, pero hay veces que me falta tiempo para hacer todo lo que quiero hacer... asi que supongo que llevamos estilos de vida distintos.
Para superar al KGB siempre se puede tirar de linea de comandos y http://www.cs.fit.edu/~mmahoney/compression/paq8p.zip
Elohe escribió:Para superar al KGB siempre se puede tirar de linea de comandos y http://www.cs.fit.edu/~mmahoney/compression/paq8p.zip


Pon más info. hombre!!!

Yo conozco de algunas versiones RIP que circulan por ahí que utilizan, creo, el "UHARC"... No sé de que me suena.

EDITO: http://www.klaimsoft.com/winuha/download.php
4eVaH escribió:
lovechii5 escribió:
4eVaH escribió:Yo creo que dedicar 15 o 20 minutos a comprimir algo es totalmente innecesario.

Eso si que no lo creo. Si con 15/20 minutos puedes ganar un tamaño del 20% en una iso es MUY interesante.



Pues a mi me sobra el 20% del tamaño de una iso, pero hay veces que me falta tiempo para hacer todo lo que quiero hacer... asi que supongo que llevamos estilos de vida distintos.


El problema es el transferir el archivo de un ordenador a otro. Que sí, que a dia de hoy tenemos unas conexiones impresionantes, pero las velocidades de subida en España son ridículas. Subir 7gb a 80kbps es tedioso [decaio]
Malakun escribió:El problema es el transferir el archivo de un ordenador a otro. Que sí, que a dia de hoy tenemos unas conexiones impresionantes, pero las velocidades de subida en España son ridículas. Subir 7gb a 80kbps es tedioso [decaio]
+1, sobretodo esto. Porque luego lees en la portada de eol, bajada e 100 megas, con subidas de... 1 ?
23 respuestas
Archivado
Volver a Software libre