Внешняя компонента для сжатия/распаковки файлов, двоичных данных и строк по алгоритму Zlib, Deflate и GZip

Внешняя компонента для сжатия/распаковки файлов, двоичных данных и строк по алгоритму Zlib, Deflate и GZip.

Внешняя Native компонента для сжатия/распаковки файлов, двоичных данных и строк по алгоритму zlib (RFC 1950), deflate (RFC 1951) и gzip (RFC 1952). Внешняя компонента не содержит в себе файла zlib.dll и никаких других динамических библиотек и файлов, весь функционал самодостаточно включен во внешнюю компоненту.

Решил наваять данную компоненту, когда начал делать что-то вроде V8Unpack, и столкнулся с тем, что часть внутренней структуры файлов 1С сжата алгоритмом deflate, а распаковать их собственно нечем, да и запаковать обратно тоже (ну я, по крайней мере, не нашел чем). Кроме того, в 1С появилась возможность работы с двоичными данными начиная с платформы 8.3.9, в связи с чем, утилиты вроде V8Unpack можно делать в виде обычных обработок, и не хватает функционала как раз в плане сжатия и распаковки данных алгоритмом deflate.

Так вот для комфортной работы с deflate я собственно и сделал данную компоненту, ну а если учесть, что файлы формата zlib и архивы формата gzip (файлы с расширением .gz, если кто не знает) - это обычные файлы, сжатые как раз алгоритмом deflate, просто имеющие дополнительно заголовки со служебной информацией о сжатом файле, то за одно решил включить в компоненту поддержку данных форматов. С помощью данной компоненты, архивы формата gzip можно как распаковывать, так и создавать, после чего такие архивы нормально читаются любыми архиваторами, поддерживающими данный формат. Ради интереса также добавил непосредственное сжатие строк и двоичных данных. Как показала практика, многим часто требуется распаковать сжатые строки и данные полученные из внешних источников (например из банка) или запаковать строку и двоичные данные для отправки.

Так же я за морочился на возможность асинхронного сжатия/распаковки файлов, опять же просто потому, что было интересно это сделать. Все выше описанные возможности продемонстрированы с помощью двух обработок, включенных в публикацию. Обработки идентичны по функционалу, одна для обычного приложения, другая для управляемого, работающего в асинхронном режиме.

Внешняя компонента написана по технологии Native API. Далее английское и русское имя метода/свойства буду разделять символом "|".

Методы:

1. CompressString|СжатьСтроку(<Строка>, <КодировкаANSI>, <АлгоритмСжатия>) - Сжимает строку по алгоритму Deflate;
Параметры:
<Строка> - Тип Строка. Строка, которую необходимо сжать;
<КодировкаANSI> - Тип Булево. Параметр не обязательный, значение по умолчанию Ложь. Если значение Истина, то предварительно, внешней компонентой, выполняется преобразование строки в кодировку ANSI. По умолчанию смена кодировки не производится. Многие внешние приложения сжимают и принимают сжатые строки именно в кодировке ANSI, поэтому был добавлен данный параметр.
<АлгоритмСжатия> - Тип Число, Строка. Параметр не обязательный, значение по умолчанию 0. Указывает какой использовать алгоритм сжатия. Возможные значения:
> "zlib" или 0 - алгоритм zlib (RFC 1950);
> "deflate" или 1 - алгоритм deflate (RFC 1951);
> "gzip" или 2 - алгоритм gzip (RFC 1952);
Для строковых значений параметра регистр не имеет значения. Рекомендации по использованию данного параметра будут представлены ниже, в конце публикации.
Возвращаемое значение: Тип ДвоичныеДанные. Сжатая строка в виде двоичных данных;

2. DecompressString|РаспаковатьСтроку(<Строка>, <КодировкаANSI>, <АлгоритмСжатия>) - Распаковывает строку, сжатую по алгоритму Deflate.
Параметры:
<Строка> - Тип Двоичные данные, Строка. Двоичные данные сжатой строки которую необходимо распаковать. Поддержка передачи двоичных данных в качестве параметров внешних компонент платформой 1С появилась только начиная с версии 8.3.10.2168, поэтому если компонента будет использоваться на версии платформы ниже указанной, то двоичные данные можно будет передать в компоненту в виде строки Base64, полученной с помощь функции 1С Base64Строка(). При этом внешняя компонента сама предварительно преобразует строку в двоичные данные;
<КодировкаANSI> - Тип Булево. Если значение Истина, то после распаковки строки, внешней компонентой, выполняется преобразование строки из кодировки ANSI в кодировку 1С;
<АлгоритмСжатия> - Тип Число, Строка. Параметр не обязательный, значение по умолчанию 0. Указывает каким алгоритмом были сжаты данные. Возможные значения описаны выше.
Возвращаемое значение: Тип Строка. Распакованная строка.

3. CompressBinData|СжатьДвоичныеДанные(<ДвоичныеДанные>, <АлгоритмСжатия>) - Сжимает двоичные данные по алгоритму Deflate;
Параметры:
<ДвоичныеДанные> - Тип ДвоичныеДанные. Двочные данные, которые необходимо сжать;
<АлгоритмСжатия> - Тип Число, Строка. Параметр не обязательный, значение по умолчанию 0. Указывает какой использовать алгоритм сжатия. Возможные значения описаны выше.

4. DecompressBinData|РаспаковатьДвоичныеДанные(<ДвоичныеДанные>, <АлгоритмСжатия>) - Распаковывает двоичные данные, сжатые по алгоритму Deflate. Возможные значения описаны выше.
Параметры:
<ДвоичныеДанные> - Тип Двоичные данные, Строка. Сжатые двоичные данные которые необходимо распаковать. Поддержка передачи двоичных данных в качестве параметров внешних компонент платформой 1С появилась только начиная с версии 8.3.10.2168, поэтому если компонента будет использоваться на версии платформы ниже указанной, то двоичные данные можно будет передать в компоненту в виде строки Base64, полученной с помощь функции 1С Base64Строка(). При этом внешняя компонента сама предварительно преобразует строку в двоичные данные;
<АлгоритмСжатия> - Тип Число, Строка. Параметр не обязательный, значение по умолчанию 0. Указывает каким алгоритмом были сжаты данные. Возможные значения описаны выше.
Возвращаемое значение: Тип Строка. Распакованная строка.

5. CompressFile|СжатьФайл(<ИмяФайлаИсточника>, <ИмяФайлаПриемника>, <Перезаписывать>, <АлгоритмСжатия>, <Комментрий>, <АсинхронныйРежим>) - Сжимает файл по алгоритму Deflate;
Параметры:
<ИмяФайлаИсточника> - Тип Строка. Полное имя файла, который необходимо сжать;
<ИмяФайлаПриемника> - Тип Строка. Полное имя конечного сжатого файла;
<Перезаписывать> - Тип Булево. Параметр не обязательный, значение по умолчанию Истина, т.е. в случае, если конечный файл уже существует, то он будет перезаписан. Если Ложь, то указанный файл будет сжиматься дописываясь к уже имеющемуся сжатому файлу. Таким образом можно сжать несколько файлов в один. Как вы потом будете их распаковывать, понятия не имею, но возможность такая есть.
<АлгоритмСжатия> - Тип Число, Строка. Параметр не обязательный, значение по умолчанию 0. Указывает какой использовать алгоритм сжатия. Возможные значения описаны выше.
<Комментарий> - Тип Строка. Параметр не обязательный, значение по умолчанию "" (пустая строка). Комментарий файла в архиве gzip. Имеет значение только если используется алгоритм сжатия gzip, в противном случае игнорируется.
<АсинхронныйРежим> - Тип Булево. Параметр не обязательный, значение по умолчанию Ложь. Если Истина, то файл будет сжиматься асинхронно, т.е. после запуска сжатия можно будет продолжать работать в 1С параллельно. Так же будут генерироваться внешние события, с помощью которых можно будет отобразить движение индикатора на форме 1С.
Возвращаемое значение: Отсутствует.

6. DecompressFile|РаспаковатьФайл(<ИмяФайлаИсточника>, <ИмяФайлаПриемника>, <АлгоритмСжатия>, <АсинхронныйРежим>) - Распаковывает файл, сжатый по алгоритму Deflate;
Параметры:
<ИмяФайлаИсточника> - Тип Строка. Полное имя файла, который необходимо распаковать;
<ИмяФайлаПриемника> - Тип Строка. Полное имя конечного распакованного файла;
<АлгоритмСжатия> - Тип Число, Строка. Параметр не обязательный, значение по умолчанию 0. Указывает каким алгоритмом были сжаты данные. Возможные значения описаны выше.
<АсинхронныйРежим> - Тип Булево. Если Истина, то файл будет распаковываться асинхронно, т.е. после запуска распаковки можно будет продолжать работать в 1С параллельно. Так же будут генерироваться внешние события, с помощью которых можно будет отобразить движение индикатора на форме 1С.
Возвращаемое значение: Отсутствует.

7. GetInfoFileGZip|ИнформацияФайлаGZip(<ИмяФайлаИсточника>, <ВФорматеJSON>) - Получает информацию о файле в архиве;
Параметры:
<ИмяФайлаИсточника> - Тип Строка. Полное имя файла архива;
<ВФорматеJSON> - Тип Булево. Истина - результат будет возвращен в формате JSON; Ложь - результат будет возвращен в формате XML;
Возвращаемое значение: Тип Строка. Строка содержащая информацию о файле в формате JSON или XML.
Пример результата в формате JSON: {"InfoData":{"FileName":"1.txt","FileSize":27743,"Date":"30.01.2018 10:54:55","CRC":0EE76F03,"Comment":"Комментарий"}}
Пример результата в формате XML: <InfoData><FileName>1.txt</FileName><FileSize>27743</FileSize><Date>30.01.2018 10:54:55</Date><CRC>0EE76F03</CRC><Comment>Комментарий</Comment></InfoData>

Свойства:

1. Version|Версия - Тип Строка. Содержит версию компоненты в виде строки. Данное свойство доступно только для чтения. Текущая версия 5.0. Просьба обращать внимание какую версию возвращает данное свойство (отображается в заголовке скачанной обработки), особенно это касается работы обработки в режиме управляемого приложения. Если вы уже скачивали данную внешнюю компоненту, то при открытии обработки, платформа может загружать старую версию компоненты. Для удаления старой версии необходимо очистить каталог %APPDATA%\1C\1Cv8\ExtCompT, после чего платформа предложит установить внешнюю компоненту заново.

Общая рекомендация по использованию этого параметра <АлгоритмСжатия> такова: если вы получили сжатые данные из внешнего источника и Вам сказали, что данные сжаты алгоритмом deflate, то для распаковки попробуйте в методе распаковки указать значение 1 или "deflate". Если при распаковке внешняя компонента выдала ошибку, то скорее всего Вам дали данные не в чистом deflate (RFC 1951), а в формате zlib (RFC 1950) или gzip (RFC 1952). Данные в этом формате тоже сжаты алгоритмом deflate, но имеют заголовки и другую служебную информацию. Поэтому при распаковке можете поэкспериментировать, указывая поочерёдно каждый алгоритм. Для сжатия и распаковки файлов из которых состоит внутренняя структура отчетов, обработок и др. файлов 1С, нужно устанавливать значение параметра <АлгоритмСжатия> в значение 1 или "deflate", что я и делал при сборке и разборке внешних обработок 1С.

Примеры асинхронного сжатия/распаковки и использования всех описанных методов и свойств приведены в прилагаемых обработках. В планах развития внешней компоненты, добавить возможность указания степени сжатия (сейчас используется степень сжатия по у молчанию);

Update 2016.03.19
1. Переписал код компоненты: в за основу "ядра" компоненты теперь взял файл v8napi.pas из //catalog.mista.ru/public/81644/ и "скрестил" его с файлом v8napi.pas из //catalog.mista.ru/public/88060/
2. Добавил три новых метода: СжатьСтроку, РаспаковатьАрхивGZip, ИнформацияФайлаGZip.

Update 2016.05.24
1. В виду требований Сбербанка (подробней читать в комментариях), доработал методы сжатия строк. В методы СжатьСтроку, СжатьСтрокуBase64 и РаспаковатьСтрокуBase64 добавлен 2-ой параметр <КодировкаANSI> - Тип Булево. Если значение Истина, то предварительно выполняется преобразование строки в кодировку ANSI (внешним программам как правило требуется сжатая строка именно в кодировке ANSI), иначе строка будет сжата в юникоде.

Update 2017.01.24
1. Добавлена поддержка 64-х битной платформы. Тестировал на платформе 8.3.9.1850 (x64) в файловой базе в режиме предприятия. Возможности протестировать именно на сервере 1С x64 не было, т.к. нет денежек на серверный ключик, тем более x64.

Update 2018.03.07
1. Переписал бОльшую часть кода внешней компоненты. Переименовал некоторые методы, сделал новые методы, объединил несколько методов в один. Методы стали более понятными, функциональными и гибкими;
2. Переписаны примеры обработок с учетом изменений во внешней компоненте;
3. Откорректировал основной текст публикации, изменил описание методов внешней компоненты, так что просьба перечитать текст публикации заново;
Что касается сжатия/распаковки строк для Сбербанка, то теперь нужно использовать метод <СжатьСтроку>/<РаспаковатьСтроку>, с включенной кодировкой ANSI и алгоритмом сжатия Zlib.

Кому интересно:
--> Внешняя Native компонента для распаковки RAR-архивов.
--> Внешняя компонента для создания/распаковки CAB-архивов.

Скачать файлы

	Наименование	Файл	Версия	Размер
	ZLib (обычное приложение) .epf 1,22Mb 25.01.17 36	.epf	5.0	1,22Mb	36	Скачать
	ZLib Async (управляемое приложение, асинхронный режим) .epf 1,22Mb 25.01.17 36	.epf	5.0	1,22Mb	36	Скачать

См. также

V8Unpack 2.0

ВК NativeAPI на Delphi и FreePascal

ВК для 1С:Предприятие 8.2 NativeAPI на Delphi (запуск приложений, раскладка клавиатуры, события и др.)

Распаковщик RAR-архивов - UnRAR 1C

Внешняя компонента для создания/распаковки CAB-архивов

Tool1CD Beta в деле

Использование сборок .NET в 1С 7.x b 8.x. Создание внешних Компонент.

Применение математического аппарата контурного анализа для распознавания образов с web - камеры для 1С

NativeDraw: Компонента рисования для 1С [V2.6.2]

Компоненты распознавания и печати штрих-кодов

Полезные приемы при работе с Excel из 1С (Версия 3.1)

Шаблон внешней компоненты на C#

Снимок экрана для 1С

Native API компонента для использования установленного в системе интерпретатора Python

Распознаем штрих-коды QR, EAN-13, Code 128 с помошью 1С и веб камеры

Acode tools - расширение возможностей мобильной платформы 1С (Android)

Удаленное управление через Skype

Внешняя компонента - Запись и воспроизведение .wav файлов. Обработка-иллюстратор.

ActiveX компонента WebCamX для работы с веб-камерой!

Внешняя компонента печати этикеток для 4 моделей принтеров

Отправка СМС по 15 копеек

Вознаграждение за ответ

Сумма: 1 $m

Добавили:
Андрей Чибряков (GoodZone) (1.00 $m)

Показать полностью

Комментарии

Сохранить

1. Сергей Рудаков (fishca) 1106 15.03.16 12:38 Сейчас в теме

Исходники компоненты будут?

3. Андрей Лукин (frkbvfnjh) 331 15.03.16 13:49 Сейчас в теме

(1) fishca, нет, исходники пока выкладывать не буду :(

6. Сергей Рудаков (fishca) 1106 15.03.16 16:28 Сейчас в теме

(3) компонента писана на С++ или ???

8. Андрей Лукин (frkbvfnjh) 331 15.03.16 18:05 Сейчас в теме

(6) fishca, компонента написана на Delphi

2. Никита Грызлов (nixel) 485 15.03.16 12:53 Сейчас в теме

Добро пожаловать в клуб "Yet another unpack"
Скорость работы с тем же zlib сравнивали? Есть прирост?

4. Андрей Лукин (frkbvfnjh) 331 15.03.16 13:51 Сейчас в теме

(2) nixel, нет скорость не замерял, не думаю, что есть существенная разница

5. Алексей Шачнев (saa@kuzov.org) 15.03.16 15:03 Сейчас в теме

В типовом примере ВК на ИТС показано, как передавать двоичные данные из ВК в 1С.

7. Андрей Лукин (frkbvfnjh) 331 15.03.16 18:05 Сейчас в теме

(5) saa@kuzov.org, оооо, спасибо, гляну, попробую разобраться

9. biformatus (biformatus) 15.03.16 21:56 Сейчас в теме

efd можно распаковать?

12. Андрей Лукин (frkbvfnjh) 331 16.03.16 06:19 Сейчас в теме

(9) biformatus, я не знаю, что это за зверь efd, вернее не знаю как устроен этот формат, но обработкой он распаковался, правда что дальше делать с этим файлом, не понятно, видимо нужно знать формат распакованного efd.

13. Сергей Боровик (BorovikSV) 1274 16.03.16 07:13 Сейчас в теме

(12) EFD - http://infostart.ru/public/19221/

15. Андрей Лукин (frkbvfnjh) 331 16.03.16 09:12 Сейчас в теме

(13) BorovikSV, да, спасибо, я тоже нарыл эту публикацию, но сам формат файла там не обсуждался :(

10. Алекс zhu4 (Arxxximed) 8 16.03.16 00:27 Сейчас в теме

Так это же круто))) можно наконец сжатый http ответ дешифровывать . Или не получиться на лету?

11. Андрей Лукин (frkbvfnjh) 331 16.03.16 06:00 Сейчас в теме

(10) Arxxximed, со сжатым http-ответом не работал, не знаю как там чего устроено, но если он приходит в виде сжатой строки в BASE64, то по крайней мере можно попробовать.

18. Сергей Смирнов (Serginio) 702 16.03.16 16:17 Сейчас в теме

(10) http://infostart.ru/public/466052/ Там есть пример использования сжатия трафика.

http://infostart.ru/public/448668/ в 35 есть пример сжатия разжатия
http://www.forum.mista.ru/topic.php?id=765672#72

14. Александр Соломатин (v77) 135 16.03.16 08:50 Сейчас в теме

Двоичные данные это VTYPE_BLOB.
function TV8UserObject.V8SetBlob(V: PV8Variant; Value: PByte;
Length: integer): boolean;

16. Андрей Лукин (frkbvfnjh) 331 16.03.16 10:50 Сейчас в теме

(14) v77, да, большое спасибо, кажись это оно! Попробую допилить...

17. Игорь Steelvan (Steelvan) 31 16.03.16 13:15 Сейчас в теме

Надо добавить возможность шифрования паролем, тогда можно получить симметричное шифрование без использования диска (сейчас нужен диск при использовании ZIP пароля).

19. Леонид Павлиенко (PLAstic) 193 16.03.16 17:16 Сейчас в теме

В папке лежит архив формата gzip с одним файлом внутри. Пытаюсь извлечь файл с помощью РаспаковатьФайл. Спустя ожидание от 2 секунд до 5 минут задумчивости вылетает приятное окно с информированием, что "работа была завершена, перезапустить или завершить работу". Перезапуск не помогает, файл не распаковывается.
Проблема же метода РаспаковатьФайлGZip в том, что под него надо создавать папку из-за проблем с определением имени файла в архиве. Ну создали мы папку, есть на это СоздатьКаталог(). А удалить потом за собой чем?
Сделай функцию, возвращающую массив имён файлов внутри архива и возможность извлечения файла по имени.

Добавлено:
Метод РаспаковатьФайлGZip не работает. На том же архиве с одним файлом внутри. Просто ничего не распаковывает. При этом 7-zip нормально его распаковывает.

20. Андрей Лукин (frkbvfnjh) 331 17.03.16 05:59 Сейчас в теме

(19) PLAstic, извините, но не совсем понятно, что Вы делаете. Из текста я понял, что вы gzip файл пытаетесь распаковать методом РаспаковатьФайл. Этот метод не может этого сделать. На данный момент это можно сделать только методом РаспаковатьФайлGZip. И да, за папками нужно следить из 1С самостоятельно, сама компонента ничего удалять не будет. Я добавлю метод получения имени файла и распаковку в файл для GZip. На файл который Вы пытаетесь распаковать я бы посмотрел. Если хотите отправьте мне на почту, я гляну.

21. Леонид Павлиенко (PLAstic) 193 21.03.16 10:00 Сейчас в теме

(20) подскажи, чем удалять папки из 1С?

22. Андрей Лукин (frkbvfnjh) 331 21.03.16 11:07 Сейчас в теме

(21) PLAstic, Глобальный контекст (Global context)
УдалитьФайлы (DeleteFiles)
Синтаксис:

УдалитьФайлы(<Путь>, <Маска>)
Параметры:

<Путь> (обязательный)

Тип: Строка.
Путь к удаляемым файлам.
<Маска> (необязательный)

Тип: Строка.
Маска для выбора удаляемых файлов.
Если <Маска> не указана, то удаляются все файлы и каталог <Путь>.

24. Леонид Павлиенко (PLAstic) 193 22.03.16 11:24 Сейчас в теме

(22) изучал недавно, но пропустил последнюю строку. Спасибо.

23. Андрей Лукин (frkbvfnjh) 331 21.03.16 11:11 Сейчас в теме

(21) PLAstic, кстати, я обновил публикацию и добавил новые методы, перечитайте публикацию

25. c+ + (ture) 233 19.04.16 18:57 Сейчас в теме

Обрати свой взор на конфиг 1С8 хранящийся на sql. Ты его можешь читать и парсить теперь.
Собственно есть ссылка и имя объекта, надо вынуть УФ форму из соседней базы и нарисовать ее в текущей базе 1С (с представлениями на месте реквизитов объекта).

26. Андрей Лукин (frkbvfnjh) 331 20.04.16 05:54 Сейчас в теме

(25) ture, А что такое

конфиг 1С8 хранящийся на sql?

Не совсем понимаю о чем речь, может ссылки по теме дадите...

27. Дмитрий Семенов (Sam13) 235 18.05.16 12:08 Сейчас в теме

Коллеги, плиз, хелп!
Стоит задача подготовить препроводительную ведомость для сбербанка, данные которой должны быть закодированы также в двумерном штрихкоде.
Штрихкод формируется следующим образом:
- формируется XML-описание препроводительной ведомости
- к результирующему XML применяется deflate
- затем результат кодируется base64, к результирующей строке добавляется сигнатура @NN@ - номер версии формата. 01 или 02
c deflate и base64 возникли проблемы.

В инструкции сбербанка приведена закодированная строка (сжатая) и ее xml-исходник и команда проверки (linuxового шелла)
echo "@01@eJw9UMlugzAQvfcrkO/ENoZCpWFy6xe0Z+SAS1CMHWGKmr/vmM2nt4zfLHD9G22ymCkM3tVMXgRLjGt9N7i+Zt9fn2nFkjBr12nrnamZ8+yK8GwW0yF0etaYCalSkadZBnwVwDX+huVHkQtZlVIKehL4qpIXXuNDo8qLTOVR3ThMTXs3M+aiFFklRaEqWdBHVah34LsJYWoxTH330wfgkYDz4+C0bR7engSp5UUICt85RJdGWIsWbWk/g9QE+EGiOr+eBuOkBz4DtnQa9OZtOAAKWniHEH7Hs2vEh0PVfDvW2z8i03VO" | sed 's/@01@//' | base64 -d | zlib-flate -uncompress

Результат:
<?xml version="1.0" encoding="UTF-8" standalone="no"?><p_ved><data>2013-04-22</data><n_ob>795401871100001</n_ob><n_symka>345234</n_symka><r_chet>40702810538150003536</r_chet><src>srgdfgs</src><nominal_kol><nominal>100.00</nominal><kol>1</kol><valcode>810</valcode><valtype>01</valtype></nominal_kol><symbols><symbol>02</symbol><sum>100.00</sum></symbols></p_ved>

Как я не бился, у меня не удается получить сходный результат.

Как получить результат, который был сходным со сбербанком? Имею ввиду именно кодирование deflate

28. Андрей Лукин (frkbvfnjh) 331 18.05.16 15:29 Сейчас в теме

(27) Sam13, ща попробую помочь...

29. Сергей Смирнов (Serginio) 702 18.05.16 16:46 Сейчас в теме

(27) http://www.forum.mista.ru/topic.php?id=765672#61

30. Дмитрий Семенов (Sam13) 235 19.05.16 09:58 Сейчас в теме

(29) Serginio, спасибо, почти получилось.
Но я не понял все-таки как сделать deflate твоим (http://www.forum.mista.ru/topic.php?id=765672#61) способом.
Хелпани, плиз.

31. Сергей Смирнов (Serginio) 702 19.05.16 10:21 Сейчас в теме

Если тебе нужно просто сжать данные и получить Base64

стр = "Строка для теста компрессии декомпрессии"; 
     
    // Получим используемые типы

    MemoryStream=Врап.ПолучитьТип("System.IO.MemoryStream");
    UTF8=Врап.ПолучитьТип("System.Text.Encoding").UTF8;
    CompressionMode = врап.ПолучитьТип("System.IO.Compression.CompressionMode");
    
    
    СжатыйПоток = врап.СоздатьОбъект(MemoryStream);//Поток куда запишутся сжатые данные

    
    
    zipStr = врап.СоздатьОбъект("System.IO.Compression.GZipStream", СжатыйПоток, CompressionMode.Compress);
    
    МассивДанных= UTF8.GetBytes(стр)// Получим массив данных используя кодировку  UTF8

    ПотокДляСжатия = Врап.СоздатьОбъект(MemoryStream,МассивДанных);  // Создадим поток из массива данных


    ПотокДляСжатия.CopyTo(zipStr);
    zipStr.Flush();// Сбросим данные в  СжатыйПоток

    zipStr.Close();// Закроем  GZipStream

    compressed = СжатыйПоток.ToArray();// Получим массив байт сжатых данных


    Convert=Врап.ПолучитьТип("System.Convert");
    стр64=Convert.ToBase64String(compressed);// Переведем сжатые данные в Base64

Показать

32. Сергей Смирнов (Serginio) 702 19.05.16 10:53 Сейчас в теме

Для Deflate нужно использовать System.IO.Compression.DeflateStream

Заменить на

zipStr = врап.СоздатьОбъект("System.IO.Compression.DeflateStream", СжатыйПоток, CompressionMode.Compress);

33. Дмитрий Семенов (Sam13) 235 19.05.16 13:55 Сейчас в теме

Спасибо тебе за помощь. Алгоритм отработал нормально, выдал результат. Вот только он не совпадает с тем, что выдает linux

Вот код, который я исполняю в 1С:

Стр = "1234567890";
	
	Врап = Новый COMОбъект("NetObjectToIDispatch45");
	MemoryStream=Врап.ПолучитьТип("System.IO.MemoryStream");
	UTF8=Врап.ПолучитьТип("System.Text.Encoding").UTF8;
	CompressionMode = врап.ПолучитьТип("System.IO.Compression.CompressionMode");
	
	СжатыйПоток = врап.СоздатьОбъект(MemoryStream);//Поток куда запишутся сжатые данные

	zipStr = врап.СоздатьОбъект("System.IO.Compression.DeflateStream", СжатыйПоток, CompressionMode.Compress);	
	
	МассивДанных= UTF8.GetBytes(стр);// Получим массив данных используя кодировку  UTF8
	ПотокДляСжатия = Врап.СоздатьОбъект(MemoryStream,МассивДанных);  // Создадим поток из массива данных
	ПотокДляСжатия.CopyTo(zipStr);
	zipStr.Flush();// Сбросим данные в  СжатыйПоток
	zipStr.Close();// Закроем  GZipStream
	
	compressed = СжатыйПоток.ToArray();// Получим массив байт сжатых данных
	
	Convert=Врап.ПолучитьТип("System.Convert");
	стр64=Convert.ToBase64String(compressed);// Переведем сжатые данные в Base64

Показать

Мне возвращается результат: MzQyNjE1M7ewNAAA

Если я делаю методом проверки сбербанка, (echo '1234567890'| zlib-flate -compress | base64), то мне возвращается результат: eJwzNDI2MTUzt7A04AIADUQCGA==
Если пытаюсь результирующую сжатую строку 1с сунуть в линукс, применяю echo 'MzQyNjE1M7ewNAAA'| base64 -d | zlib-flate -uncompress, получаю:
flate: inflate: dat a: incorrect header check

Ну и соответственно алгоритм 1С не может расшифровать строку, которая сжата командой линукс (eJwzNDI2MTUzt7A04AIADUQCGA==)

В чем может быть причина?

34. Сергей Смирнов (Serginio) 702 19.05.16 14:16 Сейчас в теме

http://stackoverflow.com/questions/34387549/zlib-compression-incompatibile-c-vs-c-sharp-implementations

добавить файлы байты

public static byte[] DecompressZLibRaw(byte[] bCompressed)
{
    byte[] bHdr = new byte[] { 0x1F, 0x8b, 0x08, 0, 0, 0, 0, 0 };

    using (var sOutput = new MemoryStream()) 
    using (var sCompressed = new MemoryStream())
    {
        sCompressed.Write(bHdr, 0, bHdr.Length);
        sCompressed.Write(bCompressed, 0, bCompressed.Length);
        sCompressed.Position = 0;
        using (var decomp = new GZipStream(sCompressed, CompressionMode.Decompress))
        {
            decomp.CopyTo(sOutput);
        }
        return sOutput.ToArray();
    }
}

Показать

35. Дмитрий Семенов (Sam13) 235 19.05.16 17:08 Сейчас в теме

Круто, спасибо. Я даже немножко что-то понял.
Только как это в мой код 1С сунуть?

36. Андрей Лукин (frkbvfnjh) 331 20.05.16 07:19 Сейчас в теме

(35) Sam13, кажется я решил Вашу проблему. Если еще интересует могу компоненту допилить под Вас. Дело в том, что Deflate не так прост как кажется... На самом деле вариантов сжатия методом Deflate не меренное множество и в Вашем случае как раз используется самый простой, а я в компоненте использовал алгоритм который использует 1С в формате своих файлов. У меня получилось и сжать и распаковать Ваш xml, все хэш суммы совпали.

37. Дмитрий Семенов (Sam13) 235 20.05.16 09:14 Сейчас в теме

(36) буду очень признателен.
Думаю, что это будет полезно многим, т.к. сейчас сбер многих переводит на печатную форму со штрихкодами. Но для формирования предлагает свой софт.
Неудобно пользоваться еще одной программой, когда уже есть база 1С.

38. Андрей Лукин (frkbvfnjh) 331 20.05.16 13:03 Сейчас в теме

(37) Sam13, Обработку с новой компонентой выслал Вам на почту. Проблема оказалась куда глубже чем просто алгоритм сжатия. Дело в том, что в Вашем примере текст должен быть именно в кодировке ANSI, а из 1С, строки можно передать только в уникоде, поэтому помимо смены алгоритма сжатия еще пришлось предварительно менять кодировку строк с UTF8 в ANSI, но в итоге все отработало как надо. В дальнейшем возможно обновлю публикацию и для каждой функции по сжатию строк добавлю аналоги с постфиксом "ANSI" и добавлю функции со стандартным алгоритмом Deflate. Надеюсь помог.

40. Дмитрий Шевченко (dshevchenko) 20.05.16 14:16 Сейчас в теме

(38) а можете выслать и мне исправленный вариант? У меня та же проблема, заморочки со Сбербанком.

41. Андрей Лукин (frkbvfnjh) 331 20.05.16 15:04 Сейчас в теме

(40) dshevchenko, хорошо, скиньте почту

42. Дмитрий Шевченко (dshevchenko) 20.05.16 15:50 Сейчас в теме

(41) в профиле, d.shevchenko@pokupochka.ru , заранее спасибо.

39. Андрей Лукин (frkbvfnjh) 331 20.05.16 13:10 Сейчас в теме

(37) Sam13, кстати если работаете в управляемом приложении то перед тестирование предварительно удалите файлы из каталога %APPDATA%\1C\1Cv8\ExtCompT, по крайней мере удалите файл Arc1C.dll, а то 1С будет упорно использовать старую версию...

43. Сергей Смирнов (Serginio) 702 20.05.16 16:55 Сейчас в теме

(35)
Замени

UTF8=Врап.ПолучитьТип("System.Text.Encoding").UTF8;

на

UTF8=Врап.СоздатьОбъект("System.Text.Encoding",1251);

44. Дмитрий Шевченко (dshevchenko) 23.05.16 10:34 Сейчас в теме

Ура, все работает! Тестовые xml, запакованные вашей исправленной
обработкой, нормально распаковываются Сбером. Огромное вам спасибо!

45. Андрей Лукин (frkbvfnjh) 331 23.05.16 11:13 Сейчас в теме

(44) dshevchenko, спасибо за ответ. Тогда скоро обновлю публикацию...

46. Дмитрий Семенов (Sam13) 235 23.05.16 16:21 Сейчас в теме

Подтверждаю, все работает. Большое спасибо.
Сбер принял штрихкод.
Постараюсь сделать публикацию по формированию ШК

48. Андрей Лукин (frkbvfnjh) 331 24.05.16 02:25 Сейчас в теме

(46) Sam13, спасибо за ответ!

49. Андрей Лукин (frkbvfnjh) 331 24.05.16 05:37 Сейчас в теме

(46) Sam13, обновил публикацию. Можете заново скачать обработку, в новой версии исправил проблемы с кириллицей.

47. Сергей Смирнов (Serginio) 702 23.05.16 17:47 Сейчас в теме

34+ Если добавить заголовочные файлы то разжимает

врап=новый COMОбъект("NetObjectToIDispatch45");
	MemoryStream=Врап.ПолучитьТип("System.IO.MemoryStream");
    UTF8=Врап.ПолучитьТип("System.Text.Encoding").UTF8;
    CompressionMode = врап.ПолучитьТип("System.IO.Compression.CompressionMode");
    UTF8=Врап.ПолучитьТип("System.Text.Encoding").GetEncoding(1251);
    Convert=Врап.ПолучитьТип("System.Convert");
	
	Загол= Convert.FromBase64String("H4sIAAAAAAA=");
    стр64="eJwzNDI2MTUzt7A04AIADUQCGA==";
	compressed=Convert.FromBase64String(стр64);
    
	
ПотокСжатыхДанных = врап.СоздатьОбъект(MemoryStream);
ПотокСжатыхДанных.Write(Загол, 0,   Загол.GetLength(0));
ПотокСжатыхДанных.Write(compressed, 0, compressed.GetLength(0));

ПотокСжатыхДанных.Position = 0;
GZipПоток =врап.СоздатьОбъект("System.IO.Compression.GZipStream",ПотокСжатыхДанных, CompressionMode.Decompress);
ПотокРазжатыхДанных = врап.СоздатьОбъект(MemoryStream);
GZipПоток.CopyTo(ПотокРазжатыхДанных);
Данные=ПотокРазжатыхДанных.ToArray();
 output = UTF8.GetString(Данные);

    Сообщить(output);

Показать

50. Виталий Васильев (vit-vas) 07.10.16 12:57 Сейчас в теме

На 1С сервере 64 bit не работает что ли?

51. Андрей Лукин (frkbvfnjh) 331 10.10.16 05:50 Сейчас в теме

(50) vit-vas, странно, в теории должно работать... Как проверю, отпишусь, по возможности исправлю.

54. Виталий Васильев (vit-vas) 07.11.16 00:25 Сейчас в теме

(51) будет версия 64 bit?

55. Андрей Лукин (frkbvfnjh) 331 07.11.16 11:34 Сейчас в теме

(54) vit-vas, какая ошибка выходит? Теоретически должно все работать, у меня нет возможности проверить, т.к. нет 64-го сервера 1С.

58. Андрей Лукин (frkbvfnjh) 331 25.01.17 08:59 Сейчас в теме

(54) Добавил поддержку 64 bit

65. Антон Александрович (user894822) 16.02.18 12:42 Сейчас в теме

(58) На 64 бит сервере не работает. Пытаюсь выполнить РаспаковатьСтрокуBase64 в фоновом процессе. Что происходит, непонятно, но что-то настолько плохое, что даже блок Попытка-Исключение это не ловит, процесс просто аварийно завершается.

52. biformatus (biformatus) 19.10.16 23:03 Сейчас в теме

с efd пока никак?

53. Андрей Лукин (frkbvfnjh) 331 20.10.16 06:25 Сейчас в теме

(52) biformatus, дайте формат efd, я сделаю... Я нигде не нашел описания формата. На инфостарте есть плагин для тотал коммандера, но автор то исходник не даст и формат не расскажет, а реверсингом нет ни желания, ни времени, ни опыта заниматься..

56. Сергей Смирнов (Serginio) 702 07.11.16 12:26 Сейчас в теме

Поставь 64 разрядного 8.3.9 клиента. Полезно для отладки

57. mbzapas 15.11.16 16:00 Сейчас в теме

Что-то пошло не так...
Данные взяты из 1CD:
Исходная строка: {2,e0666db2-45d6-49b4-a200-061c6ba7d569,}
Упаковано компонентой: eJwdjAkKgDAQxPIgC1V60OdY7SvEvzcsA0vIDPtxcbDItMjL1CQKVW5BQ1ek2yabFOuTxzu13WWV
h59+NrkRCpE=
Хранится в 1CD: e797f7WRTqqBmZlZSpKRrolpipmuiWWSiW6ikYGBroGZYbJZUqJ5iqmZpU4tAA==

Это еще один вариант Deflate или неправильно пользуюсь компонентой?

P.S. на 64-bit текущая версия работать точно не может. :(

59. Андрей Лукин (frkbvfnjh) 331 25.01.17 09:03 Сейчас в теме

(57)

e797f7WRTqqBmZlZSpKRrolpipmuiWWSiW6ikYGBroGZYbJZUqJ5iqmZpU4tAA==

Подозреваю, что строка в данном случае храниться в base64, а не сжатая дефлейтом. Поддержку 64 bit добавил

60. Михаил Максимов (МихаилМ) 25.01.17 16:52 Сейчас в теме

и бэйс и дефлэйт (стандартный) есть в 1с8 .

если автор добавит Zopfli. тогда хоть какой-то смысл будет

66. Антон Александрович (user894822) 16.02.18 12:45 Сейчас в теме

(60) поделитесь, где в 1с8 функция распаковки дефлета?

67. Михаил Максимов (МихаилМ) 16.02.18 13:53 Сейчас в теме

(66) не готовый в 1с . метода в
https://infostart.ru/public/325624/

68. Антон Александрович (user894822) 19.02.18 00:34 Сейчас в теме

(67) Я видел. Он через файлы работает, а хотелось бы в памяти. Второй недостаток - всегда выдает исключение, т.к. не знает правильной контрольной суммы исходных данных. Т.е. невозможно контролировать целостность данных.

69. Андрей Лукин (frkbvfnjh) 331 19.02.18 04:58 Сейчас в теме

(68) До недавнего времени из внешних компонент не возможно было передавать двоичные данные в 1С, поэтому работа с двоичными данными только через файлы. Начиная с последних платформ такая возможность появилась, будет время, попробую доработать. А по поводу контрольных сумм - за этим следите сами, т.к. это чистый deflate, если нужны контрольные суммы, то пользуйтесь встроенным zip'ом или gzip'ом встроенным в данную внешнюю компоненту.

70. Антон Александрович (user894822) 19.02.18 09:13 Сейчас в теме

(69) По поводу контрольных сумм - мой ответ был Михаилу, по поводу другой обработки, которая работает путем добавления к дефлету заголовка zip-формата и затем использует 1с-овскую функцию распаковки zip.
В моём случае сжатые данные поступают в формате zlib (см. rfc-1950), от чистого дефлета он отличается наличием 2-байтного заголовка в начале и 4-байтной контрольной суммы ADLER32 в конце. Поэтому мне приходится сначала отсекать заголовок zlib.

Функция РаспаковатьДвоичныеДанные(ДД, ZLIB)
	
	Буфер = ПолучитьБуферДвоичныхДанныхИзДвоичныхДанных(ДД);
	
	// Получить срез со смещением 2 байта, чтобы пропустить заголовок формата ZLIB (RFC-1950)
	Срез = Буфер.ПолучитьСрез(2, Буфер.Размер - 2);
	
	СтрокаBase64 = ПолучитьBase64СтрокуИзБуфераДвоичныхДанных(Срез);
	Возврат ZLIB.РаспаковатьСтрокуBase64(СтрокаBase64);

КонецФункции

Показать

А контрольную сумму я даже не проверяю, т.к. средствами 1С она считается очень медленно. Когда я, в порядке прикола, написал свой собственный распаковщик дефлета на языке 1С, цикл вычисления контрольной суммы занимал 25% (!) общего времени выполнения. А полное время распаковки составляло что-то около 10 секунд на 50кб сжатых данных.

71. Антон Александрович (user894822) 19.02.18 11:16 Сейчас в теме

(69) Разобрался, почему была фатальная ошибка на клиенте. Если получать строку base64 прямо из буфера двоичных данных (ПолучитьBase64СтрокуИзБуфераДвоичныхДанных), то при передаче этой строки в вашу ВК почему-то случается фатальная ошибка. А если сначала получить двоичные данные из буфера (ПолучитьДвоичныеДанныеИзБуфераДвоичныхДанных), а потом из этих двоичных данных получить строку base64 (ПолучитьBase64СтрокуИзДвоичныхДанных), тогда фатальной ошибки не происходит.

Но на 64-бит сервере такое решение всё равно не помогло, по-прежнему вылетает фатальная ошибка. Возможно, это потому, что на сервере я использую синхронную версию ВК?

И ещё одна странность обнаружилась. Если я сохраняю сжатые данные в файл (чистый дефлет), то ваша внешняя обработка этот файл успешно распаковывает. Но если я эти же данные перегоняю в base64 и пытаюсь распаковать функцией НачатьВызовРаспаковатьСтрокуBase64, то ВК выдает ошибку - на этот раз не фатальную, просто "Ошибка внешней компоненты".

72. Андрей Лукин (frkbvfnjh) 331 19.02.18 11:58 Сейчас в теме

(71) Спасибо за подробный комментарий, нужно переварить и обдумать все написанное Вами, давно не занимался этой компонентой. Нужно проверить на совместимость этой компоненты с новыми методами платформы по работе с двоичными данными которые появились. Постараюсь выбрать время, переосмыслить всю работу компоненты и по возможности усовершенствовать ее...

73. Антон Александрович (user894822) 19.02.18 12:26 Сейчас в теме

(72) Было бы неплохо. Сейчас мне на сервере придётся выкручиваться через zip-файлы.

Вообще, работа с буферами двоичных данных в платформе пока еще сыровата. Вот еще пример. Я читаю сжатые данные из внешнего источника (база MSSQL). В выборке из запроса поле blob возвращается в виде объекта ДвоичныеДанные. При попытке вызвать ПолучитьБуферДвоичныхДанныхИзДвоичныхДанных() прямо по полю выборки, происходит фатальная ошибка (серверный процесс вылетает). А если поле выборки сначала присвоить промежуточной переменной, а потому уже получить буфер по этой переменной - тогда всё в порядке.

74. Андрей Лукин (frkbvfnjh) 331 20.02.18 06:37 Сейчас в теме

(73) Вроде начал разбираться в коде своего проекта. Компоненту сейчас дорабатываю, подождите пару дней. В Вашем случае функция РаспаковатьСтрокуBase64 не буде работать, т.к. она предназначена для других целей - она распаковывает именно обычный текст сжатый с помощью функции СжатьСтрокуBase64 (посмотрите пример в обработке). Так что в Вашем случае действительно нужно распаковывать только через файлы. Сейчас я добавлю функции именно по сжатию и распаковке двоичных данных. Почему я это не сделал изначально, что бы двоичные данные можно было передать хотя бы в виде строки base64, я не сам не понимаю, видимо посчитал, что работы с файлами будет достаточно, т.к. делал обработку в основном для собственных нужд, но как оказалось для других эта тема тоже актуальна. Поэтому постараюсь сейчас доработать все должным образом и сделать описание более понятным языком.

75. Андрей Лукин (frkbvfnjh) 331 20.02.18 07:21 Сейчас в теме

(73) Кстати, если хотите, то можете мне дать ваши данные в формате zlib rfc-1950, попробую их распаковать без 1Совских ухищрений, если получится, то включу методы во внешнюю компоненту

76. Антон Александрович (user894822) 21.02.18 12:25 Сейчас в теме

(75) Вот образец. Пароль архива отправил в личку.

Прикрепленные файлы:

blob.zip

77. Андрей Лукин (frkbvfnjh) 331 22.02.18 10:49 Сейчас в теме

(76) Внешнюю компоненту полностью переписал, она стала универсальнее и понятнее. С Вашим файлом пока разбираюсь. Новую версию выложу на днях.

79. Андрей Лукин (frkbvfnjh) 331 07.03.18 14:11 Сейчас в теме

(77) В заголовке файла оказался BOM от UTF-8, если его убрать, то все распаковывается нормально.

61. Олег _ (Alligator84) 1 24.06.17 16:56 Сейчас в теме

Автору респект.
Андрей, DT распакует?

62. Андрей Лукин (frkbvfnjh) 331 26.06.17 07:06 Сейчас в теме

На прямую, думаю что нет. Нужно знать формат DT файла, а я его не знаю. Если кто даст ссылки на какие-то зацепки по этому формату, то постараюсь сделать распаковщик DT-файлов...

63. Герман (German) 996 05.12.17 00:53 Сейчас в теме

epf не распаковывает(

64. Андрей Лукин (frkbvfnjh) 331 05.12.17 05:12 Сейчас в теме

Нашел исходник https://infostart.ru/public/15867/
Попробую заточить под внешнюю компоненту

81. Андрей Чибряков (GoodZone) 9 28.05.18 10:38 Сейчас в теме

(64) Скачал компоненту пробую проделать что-нибудь выдает "ошибка компоненты" и все. Объясню предысторию. Я получаю html страницу сжатую gzip, все это происходит на сервере, могу я Вашей компонентой распаковать её? Если уж совсем подробно: получаю HTTPОтвет.ПолучитьТелоКакСтроку(), она запакована gzip, мне нужно распаковать эту строку, чтоб получить исходный код страницы. У Вас в обработке есть команда "ПроверитьСжатиеСтрок", как отдельно Распаковка не могу понять, хотелось бы описание методов, в статье я так понял только для толстого клиента методы расписаны.

78. Серега (SerVer1C) 144 07.03.18 14:06 Сейчас в теме

С появлением в платформе возможности удобной работы с двоичными данными сжимать и распаковывать Zlib, Deflate и GZip можно встроенными средствами языка 1С, используя класс для работы с zip-архивами, манупулируя заголовком zip-файла.

80. Андрей Чибряков (GoodZone) 9 28.05.18 10:22 Сейчас в теме

(78) А можно пример как gzip строку распаковать?

82. Андрей Лукин (frkbvfnjh) 331 28.05.18 10:49 Сейчас в теме

(80) РаспаковатьСтроку(Строка, Истина, 2) или попробовать 2-ой параметр "Ложь"

83. Андрей Чибряков (GoodZone) 9 28.05.18 11:03 Сейчас в теме

(82) {ВнешняяОбработка.ZLib.Форма.Форма.Форма(270)}: Ошибка при вызове метода контекста (РаспаковатьСтроку)
ОбъектAddIn.РаспаковатьСтроку(СжатаяСтрока,КодировкаANSI, АлгоритмСжатия);
по причине:
Ошибка внешней компоненты

84. Андрей Лукин (frkbvfnjh) 331 28.05.18 12:03 Сейчас в теме

(83) Если хотите, то можете мне отправить сжатую строку в виде файла двоичных данных, а я у себя проверю. Только не в виде текстового файла высылайте, потому, что текстовые редакторы не сохранят никогда оригинал. Получите тело ответа в виде двоичных данных и сохраните их в файл через метод "Записать".

85. Андрей Чибряков (GoodZone) 9 28.05.18 12:18 Сейчас в теме

(84) вот пример прилагаю

Прикрепленные файлы:

test1

86. Андрей Лукин (frkbvfnjh) 331 29.05.18 06:22 Сейчас в теме

(85) Я посмотрел Ваш файл, так вот это не совсем строка сжатая GZIP, это архив GZIP с текстовым файлом, поэтому сначала сохраните эти двоичные данные в файл, а затем распакуйте этот файл как архив GZIP, и полученный файл уже читайте как текстовый:

ОбъектAddIn.РаспаковатьФайл("C:\test1.", "C:\test1.txt", 2);

87. Андрей Чибряков (GoodZone) 9 29.05.18 07:26 Сейчас в теме

(86) Да так сработало, спасибо.

88. Андрей Чибряков (GoodZone) 9 29.05.18 07:28 Сейчас в теме

А может кто-нибудь знает как налету распаковывать без файловых операций и желательно без компонент???

89. Андрей Лукин (frkbvfnjh) 331 29.05.18 08:17 Сейчас в теме

(88) Без компоненты не знаю, но с этой же компонентой можно:

ДвоичныеДанные = ОбъектAddIn.РаспаковатьДвоичныеДанные(ОтветHTTP.ПолучитьТелоКакДвоичныеДанные(), 2);
ИсходнаяСтрока = ПолучитьСтрокуИзДвоичныхДанных(ДвоичныеДанные, КодировкаТекста.UTF8);