Оптимальное LZ-кодирование

[GriV]

Ага, а у кого-то и так, что случайные данные паковать не умеет в принципе, бо делалось чтоб неслучайные сугубо паковать =)

я ж предлагал набрать скажем по крайней мере три набора команд - один для изначально сжатых и плохо поддающихся сжатию данных (чтобы минимум добавлений было при переносе данных в упакованные), второй для нормальных файлов (там классические последовательности, хотя бы те же что в храсте) и третий скажем для мультимедии

[lvd]

Вот вам всем релиз! Отныне МегаЛЗ - лучший LZ-only пакер на спеке! =)))))

http://lvd.nm.ru/MegaLZ/

[Hrumer]

Сейчас буду смотреть... Сравнения с hrust1 не представлено

[Hrumer]

Для полноты картины...
http://web.gorny.ru/~hrum/zx/hrusttest/!hrust1.zip

hrust1 отстает в сумме где то на 3килобайта...

[axor]

[QUOTE=lvd]Вот вам всем релиз! Отныне МегаЛЗ - лучший LZ-only пакер на спеке! =)))))

А для реального Спектрума можно сделать?
Что-то даже для писюка архив упаковщика большой или я в че-то не въехал?

А распаковщик, как я понимаю, остался спековский?

[Aprisobal]

Хотел давно тиснуть этот пост, но не было повода. А тут как раз LVD сделал MegaLZ. Мне он понравился, а особенно то, что есть packer под Win.

В общем для Commodore64 существует довольно сильный компрессор PuCrunch - http://www.cs.tut.fi/~albert/Dev/pucrunch/
Коротко о нём:

Pucrunch is a Hybrid LZ77 and RLE compressor, uses an Elias Gamma Code for lengths, mixture of Gamma Code and linear for LZ77 offset, and ranked RLE bytes indexed by the same Gamma Code. Uses no extra memory in decompression.

Вот тестдрайв на файлах от MegaLZ_Benchmark - http://lvd.nm.ru/MegaLZ/ на чуть-чуть подправленном PuCrunch (убран заголовок из выходных файлов). Запускался с параметрами -c0 -d -fdelta

       |Apri_PuCrunch
       |       |New MegaLZ
       |       |       |Old MegaLZ
       |       |       |       |Bitbuster Extreme v0.1
       |       |       |       |       |HRUST2.1
       |       |       |       |       |       |RIP v0.01 
-------+-------+-------+-------+-------+-------+------
code-1 | 12403 | 12654 | 12863 | 12827 | 12865 | 12118
code-2 |  7818 |  7767 |  8034 |  8119 |  8012 |  7689 
code-3 |  8257 |  8406 |  8524 |  8181 |  8291 |  7891 
-------+-------+-------+-------+-------+-------+------
scrv-1 |  4603 |  4672 |  4724 |  4757 |  4705 |  4551 
scrv-2 |  4121 |  4074 |  4148 |  4170 |  4144 |  4030 
scrv-3 |  3660 |  3604 |  3688 |  3717 |  3722 |  3544 
scrv-4 |  2146 |  2211 |  2314 |  2270 |  2359 |  2165 
scrv-5 |  4405 |  4399 |  4479 |  4470 |  4486 |  4298 
scrv-6 |  4344 |  4233 |  4324 |  4300 |  4345 |  4129 
scrv-7 |  3789 |  3788 |  3899 |  3902 |  3921 |  3721 
scrv-8 |  5278 |  5275 |  5340 |  5345 |  5308 |  5139 
scrv-9 |  5028 |  4958 |  5043 |  5081 |  5048 |  4844 
-------+-------+-------+-------+-------+-------+------
text-1 |  3862 |  3858 |  3986 |  4077 |  4004 |  3726 
text-2 |  6748 |  7341 |  7663 |  7766 |  7549 |  6525 
text-3 |  9172 | 10252 | 10681 | 11156 | 10360 |  8847 
text-4 | 18567 | 20406 | 21417 | 22246 | 20892 | 17334 
text-5 |  9478 | 10443 | 10919 | 11225 | 10618 |  9088

В некоторых тестах PuCrunch выигрывает MegaLZ, а в некоторых проигрывает ему. Очень хорошо жмет текстовые файлы.

Декомпрессор PuCrunch занимает 255байт(после моей небольшой доработки), но не релоцируем. В целом выигрывает у MegaLZ на 1.5кб.

См. в аттаче оригинальный PuCrunch, мною чуть подправленный Apri_Pucrunch+декомпрессор для Alasm'a и запакованные им файлы для сводного benchmark'a.

[lvd]

Хотел давно тиснуть этот пост, но не было повода. А тут как раз LVD сделал MegaLZ. Мне он понравился, а особенно то, что есть packer под Win.

В общем для Commodore64 существует довольно сильный компрессор PuCrunch

Да-да, знаю такой! Про него прочитал в C=hacking каком-то номере, и во многом от него зафанател созданием сего MegaLZ'а. И идейки по убыстрению пакования оттуда же тиснул некоторые


А как жмёт - хз, интересовался чисто теоретически. Прикольно что он лучше вышел, вроде-то убогонький 6502 =)

[lvd]

[QUOTE=axor]

Вот вам всем релиз! Отныне МегаЛЗ - лучший LZ-only пакер на спеке! =)))))

А для реального Спектрума можно сделать?

Можно. Но под 512кб тачки (не меньше) и сильно тормозной. Кстати, кто первый такое на спеке под тырдос сделает (файлы должны получаться такой же длины [или короче, хехе =], как на пцшном, вызванном без аргументов), тому от меня при личной встрече будет 6 бутылок 2литровых пепси. =)) Ещё условие - поддержка универсальных драйверов памяти аля аль-асм. Да, и распаковываться должно 'фирменным' 110байтовым, который в архиве. А то понаделаете там.

Что-то даже для писюка архив упаковщика большой или я в че-то не въехал?

Что значит большой? размер ехе который даёт мсвц6 - 53кб. Кроме того, там ещё есть ехе для линуха и для амиги.

А распаковщик, как я понимаю, остался спековский?

И не только!

[Spectre]

Насчет хруста 2.1 хотелось бы сказать что это уже устаревшая версия. Последней модификацией от Alone Coder'а является версия 2!4. В ней исправлен фирменный баг с потерей плотности упаковки, добавлен алгоритм нахождения лучшей ссылки (lazy evaluation), окно 32Кб, плюс разные мелочи.

Так же сильное влияние оказывает уменьшение размера окна при нехватке памяти, что ухудшает сжатие.

Для сравнения я упаковал все тестовые файлы при помощи QC v4.00i (бетаверсия), в упаковщике которого присутствуют все вышеупомянутые исправления (кроме размера окна, там 16Кб, что обычно не влияет), а под упаковываемый файл выделяется 46Кб памяти, что максимум возможно

Результаты лучше оригинального хруста 2.1, правда не настолько чтобы догнать megaLZ. Но меня больше интересует упакощик в плане упаковки новых версий QC, для чего я скомпилировал последнюю бетаверсию (файл QC.C) и упаковал ее при помощи mehaLZ и QC4.00i. Результат: выиграл алгоритм hrust2!4 на 133 байта.

Все упомянутое в вложенном файле.

[lvd]

Но меня больше интересует упакощик в плане упаковки новых версий QC, для чего я скомпилировал последнюю бетаверсию (файл QC.C) и упаковал ее при помощи mehaLZ и QC4.00i. Результат: выиграл алгоритм hrust2!4 на 133 байта.

Нулей небось дохреня? =) А это с учётом длины депакера?