Поиск файлов для УКНЦ\ДВК

[form]

Выложил архив архива.
Запакован в формате ZIP.
Раньше помню были проблемы с максимальным размером ZIP - если они еще остались - перепакую чем-нибудь.
Некоторые имена файлов в колировке 1251, не знаю проблема это или нет.
У меня еженедельный индексатор жутко матерился ибо ожидает от имен файлов UTF-8

[Hunta]

По SFTP забрался без проблем, но русские буквы в архиве превратились в псевдографику (и возможно, во что-то ещё ). Но по крайне мере FAR при извлечении не ругался. Сравню, выложу список файлов с проблемами в именах

[form]

SFTP забрался без проблем

Я подозреваю что какой-нибудь гуевый клиент вроде WinSCP или TC (если он вообще умеет SFTP) смог бы понять имена файлов в 1251.
Чем-то же все это закачивалось туда
Сам SFTP сервер о кодировках понятия не имеет и передает все как есть.

- - - Добавлено - - -

Посмотрел на поведение фара - он ожидает от имен файлов в архиве UTF-8.
Сейчас попробую сделать архив который им понимается нормально.

- - - Добавлено - - -

Обновил архив.
Русские имена приведены к UTF-8, Far их видит нормально.
Там в принципе русского вообще не требуется.
Вспоминаю, что просил hobot'а как-то убрать все русские буквы из имен файлов, и он сказал, что сделал, но индексатор все-равно ругался.
Тогда времени не было разбираться.

Вот список русских имен (неудивительно, что он не заметил их):

BIBLIOTEKA/ROBOTRON6329/СМ6329.png
BIBLIOTEKA/М1801РР1_kr1801tu
BIBLIOTEKA/MIX_SCAN_CM1_2_4/СМ1_СМ2.pdf
BIBLIOTEKA/MIX_SCAN_CM1_2_4/СМ4.pdf
BIBLIOTEKA/СМ7238
BIBLIOTEKA/СМ7238/СМ7238.rar
ukdwk_archive/dwkwebcomplekt/BYTEMAN_СМ1420

- - - Добавлено - - -

На сайте архива переименовал эти файлы с использованием английских букв.

- - - Добавлено - - -

Ориентировочно 21.10 в 00:00 (по Москве), может чуть позже остановлю сервер на переделку.
К часам 6 (а скорее всего раньше) должен заработать.

[Hunta]

В каталоге BKGAMES/ROM есть файлы, которые отличаются только регистром букв (содержимое одинаковое - я проверил)

[form]

В каталоге BKGAMES/ROM есть файлы, которые отличаются только регистром букв (содержимое одинаковое - я проверил)

Это видимо в виндовсе было переименовано, а здесь это разные файлы получаются

[Hunta]

а здесь это разные файлы получаются

Если это действительно (по содержимому) разные файлы - стоит переименовать, что бы они отличались не только регистром, так как в Windows их восстановить или скопировать не получится

[form]

Список дублей архива.
Там их много разных.

- - - Добавлено - - -

разные файлы

Разные - в смысле здесь "a.txt" и "A.txt" будут разными файлами.

- - - Добавлено - - -

Похоже где-то в скрипте накосячил - не все вывелось.
Позже подумаю как поудобнее дубли отыскать.

[Hunta]

Разные - в смысле здесь "a.txt" и "A.txt" будут разными файлами.

Я это знаю. Я имел ввиду, что содержимое вроде как одинаковое. Учитывая, что они лежат в одном каталоге - стоит удалить.

Список дублей архива.

Ну, после расповке архивов дубли я найду быстро.

[SuperMax]

на самом деле есть более прямой и простой путь борьбы с дублями
у меня работает индексатор, который собирает всю информацию в СУБД
втч и хеши файлов
я также прикрутил распознавание файлов-образов RT11 и теперь все образа индексируются
однако, в связи с нехваткой времени, это направление развития архива приостановлено

соответственно по задаче поиска дублей - это легко сделать одним запросом в базу

сейчас меня хватает только на прямое расширение, а именно
- поставил новый WEB сервер c Cenots7 (сейчас работает с Centos6)
- развернута персональная 20ТБ для tennox
- развернута новая 20ТБ полка под архив и сейчас идет миграция данных на нее
те потенциально архив может вырасти до 40ТБ

если коллеги готовы присоединиться к работе над архивом то будет интересно индексировать содержимое архивов, образов дисков FAT12/FAT16 и прочие контейнеры

[form]

Процесс переноса пошел...
По прогнозам не так уж долго получается.