forum.opennet.ru - "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" (25)

форумы

правила/FAQ

поиск

регистрация

вход/выход

слежка

"Выпуск языка описания бинарных форматов Kaitai Struct 0.7"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
Сообщение от opennews (??) on 23-Мрт-17, 17:19
Доступен (http://kaitai.io/news/2017-03-22.html) релиз декларативного языка описания бинарных форматов файлов и протоколов Kaitai Struct 0.7 (http://kaitai.io/). Язык позволяет описывать произвольные бинарные форматы (сетевые пакеты, архивы, контейнерные форматы, файловые системы, форматы изображений, видео и т.д.) в декларативном виде. Полученное описание с помощью компилятора ksc можно: - Транслировать в готовый парсер на любом из 8 поддерживаемых целевых языков программирования (C++, C#, Java, JavaScript, Perl, PHP, Python, Ruby), - Визуально исследовать с помощью предлагаемой IDE (https://ide.kaitai.io/) любой файл в описанном формате: - Представить в виде наглядной диаграммы В новой версии языка доступны: - Импорт .ksy-файлов друг в друга для создания масштабных многофайловых проектов - см. "meta/import" - в том числе с обращением к атрибутам типов из других файлов. Используемый для этого ранее механизм opaque типов отключен по умолчанию (можно включить опцией "--opaque-types").- Структуры неопределенной длины, терминируемые байтом (ранее такое поддерживалось только для строк) - см. "terminator", "include", "consume".- "pad-right" для более удобной обработки структур с паддингом справа (например, строк, помещенных в область фиксированного размера и дополненных справа нулями или пробелами)- Гибкое управление отношением parent-child: с помощью "parent" можно форсировать родителя для дочернего объекта, отличного от текущего объекта по умолчанию- Вычислимые instances теперь могут использовать "_parent"- Новый атрибут "doc-ref" в типах и атрибутах может использоваться для представления ссылок на внешнюю документацию (удобно, если описание формата соответствует какому-то формальному документу)- Процесс компиляции четко разделен на 3 фазы: парсинг YAML, прекомпиляция (единая для всех целевых языков) и компиляция (в конкретный целевой язык); такое решение позволило унифицировать обработку ошибок и значительно упростить сами компиляторы.- Существенно переработан механизм определения ошибок: теперь все рапортуемые компилятором ошибки должны содержать четкое указание на место проявления ошибки; добавлено более 50 тестов с неверными .ksy-файлами специально для тестирования этого сообщений об ошибках.- Генерируемый код теперь содержит проверки на соответствие версии компилятора и runtime-библиотеки.- Переработана система логирования поведения компилятора ("--verbose"): теперь можно гибко включать логирование по отдельным подсистемам.- Новые возможности языка выражений: полноценная поддержка строк с двойными кавычками (с escape characters), type casting, методы для работы с массивами и различные преобразования типов. Ввиду большого количества внутренних изменений, существенно изменен API runtime-библиотеки: код, сгенерированный ksc 0.7, будет работать только с runtime соответствующей версии. Благодаря введению механизма импорта, начаты работы по созданию библиотеки часто используемых структур данных и форматов. С версией 0.7 впервые эта библиотека поставляется в комплекте дистрибутива и на момент выпуска составляет 60 описаний. URL: http://kaitai.io/news/2017-03-22.html Новость: http://www.opennet.dev/opennews/art.shtml?num=46244
Ответить \| Правка \| Cообщить модератору

Оглавление

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Аноним, 17:19 , 23-Мрт-17, (1) +2

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, GreyCat, 20:22 , 23-Мрт-17, (9) +2

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Аноним, 20:31 , 23-Мрт-17, (10) +18

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Аноним, 19:17 , 23-Мрт-17, (7) +3

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, GreyCat, 20:21 , 23-Мрт-17, (8) +1

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Аноним, 20:49 , 23-Мрт-17, (11)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, GreyCat, 20:55 , 23-Мрт-17, (12)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, KonstantinB, 21:56 , 23-Мрт-17, (13)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Аноним, 00:10 , 25-Мрт-17, (17) –1

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, KonstantinB, 14:59 , 25-Мрт-17, (23)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Аноним, 00:15 , 25-Мрт-17, (19)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, wooz, 15:56 , 24-Мрт-17, (14)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Forth, 20:39 , 24-Мрт-17, (16)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, GreyCat, 14:24 , 25-Мрт-17, (22)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Forth, 18:01 , 25-Мрт-17, (24)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, GreyCat, 13:59 , 25-Мрт-17, (21)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Аноним, 00:14 , 25-Мрт-17, (18) +1

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, GreyCat, 00:30 , 25-Мрт-17, (20)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Alexey, 17:18 , 26-Мрт-17, (25)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, GreyCat, 17:47 , 26-Мрт-17, (26)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Alexey, 20:37 , 26-Мрт-17, (27)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Alexey, 08:42 , 27-Мрт-17, (28)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, GreyCat, 10:52 , 27-Мрт-17, (30)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, Alexey, 11:01 , 27-Мрт-17, (31)

Выпуск языка описания бинарных форматов Kaitai Struct 0.7, GreyCat, 11:03 , 27-Мрт-17, (32)

Сообщения по теме [Сортировка по времени | RSS]

1. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +2 +/–

Сообщение от Аноним (??) on 23-Мрт-17, 17:19

Отличный проект, пользуемся, радуемся.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +2 +/–

Сообщение от GreyCat (ok) on 23-Мрт-17, 20:22

> Отличный проект, пользуемся, радуемся.
Спасибо! Для чего, если не секрет?

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

10. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +18 +/–

Сообщение от Аноним (??) on 23-Мрт-17, 20:31

> Спасибо! Для чего, если не секрет?
В основном для описания бинарных форматов.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

7. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +3 +/–

Сообщение от Аноним (??) on 23-Мрт-17, 19:17

А оно умеет разбирать очень большие файлы, которые невозможно полностью загрузить в память?
А может разобрать файл с битым концом, не зафейлив всю операцию разбора, а зафейлив только битую часть?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +1 +/–

Сообщение от GreyCat (ok) on 23-Мрт-17, 20:21

> А оно умеет разбирать очень большие файлы, которые невозможно полностью загрузить в память?
YMMV. Файловые системы разбираются без загрузки в память всех файлов - потому что там есть индекс и можно сделать lazy-доступ к объектам, когда программа обращается только к тем веткам, которые ей нужны (и, соответственно, грузит в память только их).
С другой стороны, если речь о разборе какого-нибудь дикого лога из одинаковых пакетов без индекса - если задать тупо массив пакетов с "repeat: eos" - то эту операцию нельзя выполнить, не зачитав все пакеты в память. Если нужна такая пакетная обработка - как вариант, можно описать структуру пакета, а командовать зачитыванием очередного пакета из потока уже из приложения.
> А может разобрать файл с битым концом, не зафейлив всю операцию разбора, а зафейлив только битую часть?
Да, в debug mode - может. Этим, собственно, все визуализаторы пользуются.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

11. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от Аноним (??) on 23-Мрт-17, 20:49

> С другой стороны, если речь о разборе какого-нибудь дикого лога из одинаковых
> пакетов без индекса - если задать тупо массив пакетов с "repeat:
> eos" - то эту операцию нельзя выполнить, не зачитав все пакеты
> в память. Если нужна такая пакетная обработка - как вариант, можно
> описать структуру пакета, а командовать зачитыванием очередного пакета из потока уже
> из приложения.
Спасибо за разъяснения, как раз интересовал парсинг потока с "repeat: eos". Ну, нельзя так нельзя. Не сильно страшно.
Всё равно проект очень полезный, спасибо, что разрабатываете его.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от GreyCat (ok) on 23-Мрт-17, 20:55

> Спасибо за разъяснения, как раз интересовал парсинг потока с "repeat: eos". Ну,
> нельзя так нельзя. Не сильно страшно.
Не так давно завели https://github.com/kaitai-io/kaitai_struct/issues/133 - это примерно про это. В некоторых случаях, понятно, что поток разбирать в lazy-режиме можно, например, если известно, что пакеты все одинаковой длины и можно тогда вычислить, куда сделать seek из индекса массива. Но, опять же, далеко не везде все пакеты одинаковой длины.
> Всё равно проект очень полезный, спасибо, что разрабатываете его.
Вам спасибо ;)

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от KonstantinB (ok) on 23-Мрт-17, 21:56

Ух ты, какая прелесть! Не знал о таком. Пригодится, вот прямо сейчас даже. Спасибо разработчикам.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" –1 +/–

Сообщение от Аноним (??) on 25-Мрт-17, 00:10

Есть похожий Synalyze It (macOS) и hexinator (Wine/Windows)
Мы разбираем ими InnoDB .ibd файлы

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

23. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от KonstantinB (ok) on 25-Мрт-17, 14:59

Не, мне немного для другого.  У меня типа протобуфов, только не протобуфы, и хочется это дело слать прямо веб-клиентам по вебсокетам.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

19. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от Аноним (??) on 25-Мрт-17, 00:15

https://hexinator.com/hexinator-linux/

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

14. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от wooz (??) on 24-Мрт-17, 15:56

А слабо парсить C-ные хедеры и строить формат данных из них?
Как правило при разборе дампов памяти или файловой системы, структура данных известна, но находится с *.h соответствующего проекта.
имхо, парсинг *.h - это первое, чему надо учить подобную программу.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от Forth (ok) on 24-Мрт-17, 20:39

Кому как, мне лично видится функцией номер 1 генерация бинарников.
Парсинг это конечно здорово, но часто при написании парсеров бинарных протоколов нужен и обратный процесс.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

22. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от GreyCat (ok) on 25-Мрт-17, 14:24

> Кому как, мне лично видится функцией номер 1 генерация бинарников.
> Парсинг это конечно здорово, но часто при написании парсеров бинарных протоколов нужен
> и обратный процесс.
Только вчера закоммитил кое-что: https://github.com/kaitai-io/kaitai_struct/issues/27#issueco...

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

24. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от Forth (ok) on 25-Мрт-17, 18:01

Супер. Крайне важная фича, без которой например в моих проектах просто никак.

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

21. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от GreyCat (ok) on 25-Мрт-17, 13:59

> А слабо парсить C-ные хедеры и строить формат данных из них?
Набросал за 15 минут на двух-с-половиной регэкспах: https://gist.github.com/GreyCat/9dba530b0d2cb8ccec4e1d6e90a0...
Выдает полуфабрикат ksy, который можно доработать руками, попереименовать поля, дорасставить типы и т.д.
> Как правило при разборе дампов памяти или файловой системы, структура данных известна,
> но находится с *.h соответствующего проекта.
> имхо, парсинг *.h - это первое, чему надо учить подобную программу.
Конвертер .h -> .ksy вполне может быть отдельной программой, компилятор .ksy -> целевой язык тут вроде как не при чем. Да и, если честно, все по-разному. Даже если .h есть, то зачастую комментарии и документация по поводу полей лежит отдельно и все равно надо все это допиливать до ума.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

18. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +1 +/–

Сообщение от Аноним (??) on 25-Мрт-17, 00:14

Есть поддержка бинарных шаблонов от 010 Editor?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от GreyCat (ok) on 25-Мрт-17, 00:30

> Есть поддержка бинарных шаблонов от 010 Editor?
Нет, и вряд ли будет. 010 - почти чисто императивный язык, с циклами for, while и т.д. У нас - декларативный язык.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

25. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от Alexey (??) on 26-Мрт-17, 17:18

А где находится компонент, который позволяет "представить в виде наглядной диаграммы"?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

26. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от GreyCat (ok) on 26-Мрт-17, 17:47

В компиляторе. "ksc -t graphviz foo.ksy" и на выходе будет .dot-файл с диаграммой. Соответственно, чтобы получить картинку - что-то типа "dot -Tsvg foo.dot >foo.svg".

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

27. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от Alexey (??) on 26-Мрт-17, 20:37

Спасибо

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

28. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от Alexey (??) on 27-Мрт-17, 08:42

И еще вопрос - есть формат, где одним элементом является строка A (strz) и два числа B и C (u4), которые повторяются пока не встретится нулевой байт (u1 = 0x1), т.е. что-то вроде: ABCABCABC0...тут другие данные....
Вы не подскажете как такое можно выразить в терминах kaitai? Я пробовал циклы, но они вроде подразумевают, что структура считывается полностью.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

30. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от GreyCat (ok) on 27-Мрт-17, 10:52

> И еще вопрос - есть формат, где одним элементом является строка A
> (strz) и два числа B и C (u4), которые повторяются пока
> не встретится нулевой байт (u1 = 0x1), т.е. что-то вроде: ABCABCABC0...тут
> другие данные....
> Вы не подскажете как такое можно выразить в терминах kaitai?
Стандартный подход - что-то типа:
    seq:
      - id: structures
        type: entries
        terminator: 0x1
        # такое объявление создает подпоток,
        # до байта-терминатор = 0x1, в котором
        # будет зачитываться тип entries
    types:
      entries:
        seq:
          - id: entries
            type: entry
            repeat: eos
            # зачитывается до конца потока,
            # т.е. до байта-терминатора
      entry:
        seq:
          - id: a
            type: strz
          - id: b
            type: u4
          - id: c
            type: u4
Разумеется, это означает, что если встречается "нулевой байт" (который на самом деле единичный) где-то внутри a-b-c - то все будет закончено на нем.
> Я пробовал циклы, но они вроде подразумевают, что структура считывается полностью.
Эм, а еще предполагается, что может быть не всегда ABCABC0, а может быть, например ABCA0?

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

31. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от Alexey (??) on 27-Мрт-17, 11:01

"Эм, а еще предполагается, что может быть не всегда ABCABC0, а может быть, например ABCA0?"
Вот именно что ABCA0 быть не может, может быть только
* ABC0
* ABCABC0
* ABCABCABC0
и т.д.

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

32. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7" +/–

Сообщение от GreyCat (ok) on 27-Мрт-17, 11:03

> "Эм, а еще предполагается, что может быть не всегда ABCABC0, а может
> быть, например ABCA0?"
> Вот именно что ABCA0 быть не может, может быть только
> * ABC0
> * ABCABC0
> * ABCABCABC0
> и т.д.
Тогда вышеописанный подход с подпотоком в целом решает вопрос.

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+2 +/–
Сообщение от Аноним (??) on 23-Мрт-17, 17:19
Отличный проект, пользуемся, радуемся.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	9. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+2 +/–
	Сообщение от GreyCat (ok) on 23-Мрт-17, 20:22
	> Отличный проект, пользуемся, радуемся. Спасибо! Для чего, если не секрет?
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	10. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+18 +/–
	Сообщение от Аноним (??) on 23-Мрт-17, 20:31
	> Спасибо! Для чего, если не секрет? В основном для описания бинарных форматов.
	Ответить \| Правка \| ^ к родителю #9 \| Наверх \| Cообщить модератору

7. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+3 +/–
Сообщение от Аноним (??) on 23-Мрт-17, 19:17
А оно умеет разбирать очень большие файлы, которые невозможно полностью загрузить в память? А может разобрать файл с битым концом, не зафейлив всю операцию разбора, а зафейлив только битую часть?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	8. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+1 +/–
	Сообщение от GreyCat (ok) on 23-Мрт-17, 20:21
	> А оно умеет разбирать очень большие файлы, которые невозможно полностью загрузить в память? YMMV. Файловые системы разбираются без загрузки в память всех файлов - потому что там есть индекс и можно сделать lazy-доступ к объектам, когда программа обращается только к тем веткам, которые ей нужны (и, соответственно, грузит в память только их). С другой стороны, если речь о разборе какого-нибудь дикого лога из одинаковых пакетов без индекса - если задать тупо массив пакетов с "repeat: eos" - то эту операцию нельзя выполнить, не зачитав все пакеты в память. Если нужна такая пакетная обработка - как вариант, можно описать структуру пакета, а командовать зачитыванием очередного пакета из потока уже из приложения. > А может разобрать файл с битым концом, не зафейлив всю операцию разбора, а зафейлив только битую часть? Да, в debug mode - может. Этим, собственно, все визуализаторы пользуются.
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	11. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от Аноним (??) on 23-Мрт-17, 20:49
	> С другой стороны, если речь о разборе какого-нибудь дикого лога из одинаковых > пакетов без индекса - если задать тупо массив пакетов с "repeat: > eos" - то эту операцию нельзя выполнить, не зачитав все пакеты > в память. Если нужна такая пакетная обработка - как вариант, можно > описать структуру пакета, а командовать зачитыванием очередного пакета из потока уже > из приложения. Спасибо за разъяснения, как раз интересовал парсинг потока с "repeat: eos". Ну, нельзя так нельзя. Не сильно страшно. Всё равно проект очень полезный, спасибо, что разрабатываете его.
	Ответить \| Правка \| ^ к родителю #8 \| Наверх \| Cообщить модератору


	12. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от GreyCat (ok) on 23-Мрт-17, 20:55
	> Спасибо за разъяснения, как раз интересовал парсинг потока с "repeat: eos". Ну, > нельзя так нельзя. Не сильно страшно. Не так давно завели https://github.com/kaitai-io/kaitai_struct/issues/133 - это примерно про это. В некоторых случаях, понятно, что поток разбирать в lazy-режиме можно, например, если известно, что пакеты все одинаковой длины и можно тогда вычислить, куда сделать seek из индекса массива. Но, опять же, далеко не везде все пакеты одинаковой длины. > Всё равно проект очень полезный, спасибо, что разрабатываете его. Вам спасибо ;)
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору

13. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
Сообщение от KonstantinB (ok) on 23-Мрт-17, 21:56
Ух ты, какая прелесть! Не знал о таком. Пригодится, вот прямо сейчас даже. Спасибо разработчикам.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	17. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	–1 +/–
	Сообщение от Аноним (??) on 25-Мрт-17, 00:10
	Есть похожий Synalyze It (macOS) и hexinator (Wine/Windows) Мы разбираем ими InnoDB .ibd файлы
	Ответить \| Правка \| ^ к родителю #13 \| Наверх \| Cообщить модератору


	23. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от KonstantinB (ok) on 25-Мрт-17, 14:59
	Не, мне немного для другого. У меня типа протобуфов, только не протобуфы, и хочется это дело слать прямо веб-клиентам по вебсокетам.
	Ответить \| Правка \| ^ к родителю #17 \| Наверх \| Cообщить модератору


	19. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от Аноним (??) on 25-Мрт-17, 00:15
	https://hexinator.com/hexinator-linux/
	Ответить \| Правка \| ^ к родителю #13 \| Наверх \| Cообщить модератору

14. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
Сообщение от wooz (??) on 24-Мрт-17, 15:56
А слабо парсить C-ные хедеры и строить формат данных из них? Как правило при разборе дампов памяти или файловой системы, структура данных известна, но находится с .h соответствующего проекта. имхо, парсинг .h - это первое, чему надо учить подобную программу.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	16. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от Forth (ok) on 24-Мрт-17, 20:39
	Кому как, мне лично видится функцией номер 1 генерация бинарников. Парсинг это конечно здорово, но часто при написании парсеров бинарных протоколов нужен и обратный процесс.
	Ответить \| Правка \| ^ к родителю #14 \| Наверх \| Cообщить модератору


	22. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от GreyCat (ok) on 25-Мрт-17, 14:24
	> Кому как, мне лично видится функцией номер 1 генерация бинарников. > Парсинг это конечно здорово, но часто при написании парсеров бинарных протоколов нужен > и обратный процесс. Только вчера закоммитил кое-что: https://github.com/kaitai-io/kaitai_struct/issues/27#issueco...
	Ответить \| Правка \| ^ к родителю #16 \| Наверх \| Cообщить модератору


	24. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от Forth (ok) on 25-Мрт-17, 18:01
	Супер. Крайне важная фича, без которой например в моих проектах просто никак.
	Ответить \| Правка \| ^ к родителю #22 \| Наверх \| Cообщить модератору


	21. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от GreyCat (ok) on 25-Мрт-17, 13:59
	> А слабо парсить C-ные хедеры и строить формат данных из них? Набросал за 15 минут на двух-с-половиной регэкспах: https://gist.github.com/GreyCat/9dba530b0d2cb8ccec4e1d6e90a0... Выдает полуфабрикат ksy, который можно доработать руками, попереименовать поля, дорасставить типы и т.д. > Как правило при разборе дампов памяти или файловой системы, структура данных известна, > но находится с .h соответствующего проекта. > имхо, парсинг .h - это первое, чему надо учить подобную программу. Конвертер .h -> .ksy вполне может быть отдельной программой, компилятор .ksy -> целевой язык тут вроде как не при чем. Да и, если честно, все по-разному. Даже если .h есть, то зачастую комментарии и документация по поводу полей лежит отдельно и все равно надо все это допиливать до ума.
	Ответить \| Правка \| ^ к родителю #14 \| Наверх \| Cообщить модератору

18. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+1 +/–
Сообщение от Аноним (??) on 25-Мрт-17, 00:14
Есть поддержка бинарных шаблонов от 010 Editor?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	20. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от GreyCat (ok) on 25-Мрт-17, 00:30
	> Есть поддержка бинарных шаблонов от 010 Editor? Нет, и вряд ли будет. 010 - почти чисто императивный язык, с циклами for, while и т.д. У нас - декларативный язык.
	Ответить \| Правка \| ^ к родителю #18 \| Наверх \| Cообщить модератору

25. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
Сообщение от Alexey (??) on 26-Мрт-17, 17:18
А где находится компонент, который позволяет "представить в виде наглядной диаграммы"?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	26. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от GreyCat (ok) on 26-Мрт-17, 17:47
	В компиляторе. "ksc -t graphviz foo.ksy" и на выходе будет .dot-файл с диаграммой. Соответственно, чтобы получить картинку - что-то типа "dot -Tsvg foo.dot >foo.svg".
	Ответить \| Правка \| ^ к родителю #25 \| Наверх \| Cообщить модератору


	27. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от Alexey (??) on 26-Мрт-17, 20:37
	Спасибо
	Ответить \| Правка \| ^ к родителю #26 \| Наверх \| Cообщить модератору

28. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
Сообщение от Alexey (??) on 27-Мрт-17, 08:42
И еще вопрос - есть формат, где одним элементом является строка A (strz) и два числа B и C (u4), которые повторяются пока не встретится нулевой байт (u1 = 0x1), т.е. что-то вроде: ABCABCABC0...тут другие данные.... Вы не подскажете как такое можно выразить в терминах kaitai? Я пробовал циклы, но они вроде подразумевают, что структура считывается полностью.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	30. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от GreyCat (ok) on 27-Мрт-17, 10:52
	> И еще вопрос - есть формат, где одним элементом является строка A > (strz) и два числа B и C (u4), которые повторяются пока > не встретится нулевой байт (u1 = 0x1), т.е. что-то вроде: ABCABCABC0...тут > другие данные.... > Вы не подскажете как такое можно выразить в терминах kaitai? Стандартный подход - что-то типа: seq: - id: structures type: entries terminator: 0x1 # такое объявление создает подпоток, # до байта-терминатор = 0x1, в котором # будет зачитываться тип entries types: entries: seq: - id: entries type: entry repeat: eos # зачитывается до конца потока, # т.е. до байта-терминатора entry: seq: - id: a type: strz - id: b type: u4 - id: c type: u4 Разумеется, это означает, что если встречается "нулевой байт" (который на самом деле единичный) где-то внутри a-b-c - то все будет закончено на нем. > Я пробовал циклы, но они вроде подразумевают, что структура считывается полностью. Эм, а еще предполагается, что может быть не всегда ABCABC0, а может быть, например ABCA0?
	Ответить \| Правка \| ^ к родителю #28 \| Наверх \| Cообщить модератору


	31. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от Alexey (??) on 27-Мрт-17, 11:01
	"Эм, а еще предполагается, что может быть не всегда ABCABC0, а может быть, например ABCA0?" Вот именно что ABCA0 быть не может, может быть только * ABC0 * ABCABC0 * ABCABCABC0 и т.д.
	Ответить \| Правка \| ^ к родителю #30 \| Наверх \| Cообщить модератору


	32. "Выпуск языка описания бинарных форматов Kaitai Struct 0.7"	+/–
	Сообщение от GreyCat (ok) on 27-Мрт-17, 11:03
	> "Эм, а еще предполагается, что может быть не всегда ABCABC0, а может > быть, например ABCA0?" > Вот именно что ABCA0 быть не может, может быть только > * ABC0 > * ABCABC0 > * ABCABCABC0 > и т.д. Тогда вышеописанный подход с подпотоком в целом решает вопрос.
	Ответить \| Правка \| ^ к родителю #31 \| Наверх \| Cообщить модератору