VDFS tool + сжатые VDF тома

[Gratt]

VDFS tool
Программа, позволяющая просматривать и изменять виртуальные тома.


Доступно к скачиванию через Менеджер ресурсов в разделе 'VDFS tool'
- Скачать Менеджер Ресурсов -

- Скачать автономный установщик -​

Особенности
- Сжатие томов
- Оптимизация томов
- Интерфейс файлового проводника
- Drag&Drop
- Обновление тома в 1 клик
- Открытие файлов прямо из тома

Сжатый поток и описание формата Gratt-5r2/ZippedStream

Подробно
Сжатие томов:
Сжатие томов производится при помощи классического zip алгоритма. За основу была взята библиотека zlib для сжатия и распаковки буфера. Чтобы игра без потерь производительности декомпрессировала том в реальном времени, был реализован специальный интерфейс (Gratt-5r2/ZippedStream) и встроен в vdfs32g. Суть интерфейса заключается в том, что он позволяет запаковывать и читать файлы блоками заданного размера и удерживать в памяти распакованные данные в конкретном диапазоне.

Оптимизация томов:
Под оптимизацией понимается процедура выявления файлов с одинаковым содержимым и объединения их под общий источник данных.

Интерфейс файлового проводника:
Интерфейс программы имеет набор стандартных операций файлового проводника - копирование, вставка, переименование, поиск и тд.

Drag&Drop:
Функция позволяет перетаскивать файлы в программу, а также вытаскивать из нее. Чтобы эта функция работала корректно, права пользователя (администратора) должны совпадать для программы и проводника.

Обновление тома в 1 клик:
Программа анализирует общие файлы тома и в каталогах игры (Ctrl + U). При наличии физический копий, при сохранении тома в него будут записаны обновленные файлы.

Открытие файлов прямо из тома:
Чтобы не тратить время на распаковку тома, дважды щелкните по интересующему файлу, после чего он будет открыт.

Картиначки

Спойлер

 

[Gratt]

Пример сжатия Неофициального обновления v24
254MB -> 106MB (41% от исходного размера)

Файл	Исходный вес	Сжатый вес	Процент от исходного
g2a_nr_scriptpatch_v24.mod	184 576 КБ​	69 898 КБ​	37,9%​
g2a_nr_scriptpatch_v24_speech_add.mod	2 700 КБ​	2 315 КБ​	85,7%​
g2a_nr_scriptpatch_v24_speech_fix.mod	20 264 КБ​	17 014 КБ​	84,0%​
g2a_nr_scriptpatch_v24_wasteland.mod	46 880 КБ​	16 200 КБ​	34,6%​
g2a_nr_scriptpatch_v24_widescreen.mod	6 146 КБ​	3 936 КБ​	64,0%​

 

[Fabiosek]

Before: 635MB
After: 634MB

I just opened my "my.mod" file and pressed "Optimize" - what does that do? Because the real optimization is when I save it again as "Zipped", right?

//
EDIT: After using "Zipped mod":

File	Original	Zipped	%
My.mod	651 293 КB	360 271 KB	44,6%

Good job!

 

[Gratt]

"Optimize" - what does that do?

Makes a single data source for identical files.

 

[Xeдин]

Спасибо за тулзу, очень удобно. Пока багов не заметил. Из предложений разве что навигацию сделать немного удобнее, в корень и в нужную папку. Возможно слева сделать окошко с деревом навигации.

 

[Gratt]

Чисто дерево каталогов как в обычной вдфс? Окей

 

[Xeдин]

Gratt, ага, еще после сохранения тома, может отпускать файловые дескрипторы, что бы можно было билдить и удалять файлы которые переносил в том. А то тулза их держит открытыми похоже.

 

[MEG@VOLT]

и вид добавить в виде таблицы. А то значки - как-то не привычно ))

 

[Gratt]

MEG@VOLT, кнопка View->List

 

[MEG@VOLT]

Затупил.... Вчера все перетыкал, а до этого видимо не добрался

 

[D36]

Можно ли выводить список файлов, которые были оптимизированы? Сообщение "-х MB" не очень информативно.
Какие критерии для признания файлов идентичными?

 

[Gratt]

Можно ли выводить список файлов, которые были оптимизированы?

Можно, добавлю.

Какие критерии для признания файлов идентичными

Размер + хеш суммы данных.

 

[Fabiosek]

You could add a "check mark" on a specific view:

Btw, Works for Gothic 1 as well, just like the original GothicVDFS, right?

 

[Gratt]

You could add a "check mark" on a specific view:

Ok

Btw, Works for Gothic 1 as well, just like the original GothicVDFS, right?

GothicVDFS from Gothic 1 differs from Gothic 2. But format of VDF file is identical for all engines.
GothicVDFS from Gothic 1 doesn't write some flags of virtual files, but it isn't critical.

 

[Slavemaster]

Gratt, функции vdf_* и VirtualFile должны правильно работать сейчас с zip vdf?

 

[Gratt]

Slavemaster, вообще никаких отличий. Вся декомпрессия происходит внутри файловой системы.

 

[Slavemaster]

Slavemaster, вообще никаких отличий. Вся декомпрессия происходит внутри файловой системы.

У меня не работает. Во всех файлах находит отличия в первом же байте. Последний файл вообще не читается. vdfs32g.dll обновил.

bool CompareFiles(const std::string& left, const std::string& right)
{

    cmd << endl;
    cmd << "Compare" << endl;
    cmd << left.c_str() << endl;
    cmd << right.c_str() << endl;

    VirtualFile x{ left.c_str(), VDF_VIRTUAL };
    VirtualFile y{ right.c_str(), VDF_VIRTUAL };

    if (x.Size() != y.Size())
    {
        cmd << endl;
        cmd << left.c_str() << endl;
        cmd << right.c_str() << endl;
        LOG(x.Size());
        LOG(y.Size());
        return false;
    }

    auto leftBuffer = std::make_unique<char[]>(x.Size());
    auto rightBuffer = std::make_unique<char[]>(y.Size());

    ASSERT(x.ReadToEnd(leftBuffer.get()) == x.Size());
        
    long len = y.ReadToEnd(rightBuffer.get());
    if (len != y.Size())
    {
        LOG(len);
        LOG(x.Size());
        LOG(y.Size());
    }

    for (long i = 0; i < x.Size(); i++)
        if (leftBuffer[i] != rightBuffer[i])
        {
            cmd << endl;
            cmd << left.c_str() << endl;
            cmd << right.c_str() << endl;
            LOG(i);
            return false;
        }

    return true;
}

.........

Compare
__RAW\DATA\SOUND\SPEECH\SVM_9_ADDON_WRONGARMOR_MIL.WAV
__ZIPPED\DATA\SOUND\SPEECH\SVM_9_ADDON_WRONGARMOR_MIL.WAV

__RAW\DATA\SOUND\SPEECH\SVM_9_ADDON_WRONGARMOR_MIL.WAV
__ZIPPED\DATA\SOUND\SPEECH\SVM_9_ADDON_WRONGARMOR_MIL.WAV
i: 0

Compare
__RAW\DATA\SOUND\SPEECH\SVM_9_ADDON_WRONGARMOR_SLD.WAV
__ZIPPED\DATA\SOUND\SPEECH\SVM_9_ADDON_WRONGARMOR_SLD.WAV
len: 0
x.Size(): 98444
y.Size(): 98444

__RAW\DATA\SOUND\SPEECH\SVM_9_ADDON_WRONGARMOR_SLD.WAV
__ZIPPED\DATA\SOUND\SPEECH\SVM_9_ADDON_WRONGARMOR_SLD.WAV
i: 0

 

[Gratt]

Slavemaster, карту отличий сгенерируй.

 

[Slavemaster]

Slavemaster, карту отличий сгенерируй.

Какую карту ещё? Все файлы отличаются.
Открыл тулзой Speech_Addon.vdf, переименовал _WORK в __RAW, сохранил как обычный vdf: Speech_Addon_raw.vdf
Переименовал __RAW в __ZIPPED, сохранил как зипованный vdf: Speech_Addon_zip.vdf
Начал сравнивать файлы с помощью VirtualFile - размеры совпадают, содержимое - нет. Плюс, последний зипованный файл вообще не читается (VirtualFile::ReadToEnd возвращает 0).

 

[Gratt]

Slavemaster, значит ворбис жрёт твои вавки. Его поддержку в зипнутом пространстве может к вечеру сделаю.