The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Разработка новых вариантов diff и grep  для обрабо..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Разработка новых вариантов diff и grep  для обрабо..."  +/
Сообщение от opennews (ok) on 09-Дек-11, 16:42 
На конференции администраторов крупных систем LISA (Usenix Large Installation System Administration) два исследователя Дартмутского университета выступили (http://www.itworld.com/software/231515/usenix-dartmouth-expa...) с идеей создания расширенных вариантов утилит diff и grep для обработки сложных типов данных. В настоящее время утилиты ещё на находятся на этапе создания работающих прототипов, доступен только восьмистраничный документ (http://www.cs.dartmouth.edu/reports/TR2011-705.pdf) с подробным описанием сути проекта. Код будет открыт после завершения разработки. Работа ведётся при финансировании от компании Google и Министерства энергетики США.


Развиваемые в рамках проекта контекстно независимый вариант утилиты Grep (bgrep) и иерархический Diff (bdiff), ориентированы на разбор синтаксических блоков кода, вместо манипулирования однострочными записями. Таким образом bdiff и bgrep могут оперировать частями файлов конфигураций, логов и других наборов данны...

URL: http://www.itworld.com/software/231515/usenix-dartmouth-expa...
Новость: http://www.opennet.dev/opennews/art.shtml?num=32513

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Разработка новых вариантов diff и grep  для обработки сложны..."  –7 +/
Сообщение от Crazy Alex (ok) on 09-Дек-11, 16:42 
давно пора, в общем-то - построчные текстовые форматы много где умерли, а для массы распространенных случаев (вроде ini того же) можно сделать дабольно простые универсальные инструменты
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Разработка новых вариантов diff и grep  для обработки сложны..."  –11 +/
Сообщение от Аноним (??) on 09-Дек-11, 16:46 
Где ты в никсах видел ini-файлы? Текстовые файлы нигде не умерли, кроме твоего больного виндозного воображения. Виндоз головного мозга - как звучит!
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "Разработка новых вариантов diff и grep  для обработки сложны..."  +5 +/
Сообщение от Sokoloff on 09-Дек-11, 17:03 
Samba, mySql, openssl, git ... то что у них расширение не .ini не меняет формат.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

20. "Разработка новых вариантов diff и grep  для обработки сложны..."  –2 +/
Сообщение от Аноним (??) on 10-Дек-11, 00:25 
>Samba, mySql, openssl, git ... то что у них расширение не .ini не меняет формат.

Вы так пишете как будто примитивный общий формат конфигурационных файлов сразу же подразумевает .ini . Дотфайлы, не ?

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

32. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от Michael Shigorin email(ok) on 11-Дек-11, 01:31 
>>Samba, mySql, openssl, git ... то что у них расширение не .ini не меняет формат.
> Вы так пишете как будто примитивный общий формат конфигурационных файлов сразу же
> подразумевает .ini . Дотфайлы, не ?

Да при чём тут дотфайлы...  А этот формат и впрямь называется ini-style.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

44. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Аноним (??) on 12-Дек-11, 14:31 
> Вы так пишете как будто примитивный общий формат конфигурационных файлов сразу же подразумевает .ini

Впервые он начал широко использоваться именно в INI.

> Дотфайлы, не ?

Дотфайлы - это такие файлы, которые не выводятся в ls без добавления -a. Не обязательно, чтобы это были конфиги.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

10. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от Аноним (??) on 09-Дек-11, 19:10 
Напротив, много где умерли нетекстовые форматы.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

15. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Аноним (??) on 09-Дек-11, 22:07 
> Напротив, много где умерли нетекстовые форматы.

Речь шла не о текстовых форматах вообще, а о построчных текстовых форматах.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

18. "Разработка новых вариантов diff и grep  для обработки сложны..."  +2 +/
Сообщение от Аноним (??) on 10-Дек-11, 00:12 
> Напротив, много где умерли нетекстовые форматы.

Ага, на OSM сперва ушиблись и стали делать карту в XML. А когда карта планеты стали 250Гб - обосрались кирпичами и сделали бинарный формат. Тем более что редактировать такую XMLину все-равно малореально. А бинарный формат зато весит лишь 14 Гб для той же карты. Такая вот незначительная разница. Всего почти в 20 раз :)

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

28. "Разработка новых вариантов diff и grep  для обработки сложны..."  +3 +/
Сообщение от Аноним (??) on 10-Дек-11, 11:51 
XML вообще уродливый костыль костылей. Не зря вон МежДелМаш производит аппаратные XML-акселераторы за сотни тысяч денег. Как-то при объемах ширпотребовских усб-винтов по три тера и таких же масштабах данных, XML тихо слился... Ну-кося, попарси многопроходно XML-файло объемчиком 1 терабайтик всего... Что, выкуси? Ай, не выходит каменный цветок, Данила-мастер!
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

3. "Разработка новых вариантов diff и grep  для обработки сложны..."  +3 +/
Сообщение от Michael (??) on 09-Дек-11, 17:01 
Для кода такие тулзы были бы весьма полезны, а то сделаешь форматирование или коммментарий добавишь и сидишь, в патчах разбираешься, какое изменение существенно, какое - нет.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от fi (ok) on 09-Дек-11, 17:36 
на форматирование помогает ключик -w :)
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

6. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от vayerx (ok) on 09-Дек-11, 17:54 
форматирование не всегда ограничевается расстановкой пробелов ;)
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Michael (??) on 09-Дек-11, 17:55 
При разбиении длиной строки на несколько, или, наоборот, при слиянии - не очень он помогает :). Ну и изменения в комментариях тоже не всегда хочется видеть.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

8. "Разработка новых вариантов diff и grep  для обработки сложны..."  +3 +/
Сообщение от Аноним (??) on 09-Дек-11, 18:19 
Успехов конечно авторам, но я думаю что это невозможно, будет слишком сложно и не надёжно этим пользоваться.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Разработка новых вариантов diff и grep  для обработки сложны..."  +10 +/
Сообщение от Муха on 09-Дек-11, 19:03 
> будет слишком сложно и не надёжно этим пользоваться.

Да не парьтесь, сейчас весь софт такой

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Разработка новых вариантов diff и grep  для обработки сложны..."  +2 +/
Сообщение от BratSinot on 09-Дек-11, 20:55 
Даже если и будет сложно пользоваться, быстрее будет один раз разобраться и экономить кучу времени, чем каждый раз вручную делать.
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

38. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Crazy Alex (ok) on 11-Дек-11, 18:09 
А не надо пытаться обработать все мыслимые случаи - простыми вариантами (к примеру, в которых можно задать правила для выделения элементов, тип элемента и фокусы вроде вхождения) можно перекрыть очень многое. Считай, нечто наподобие селекторов CSS с задаваемыми пользователями элементами. Плюс зашить несколько вариантов (json, xml bin-style...), а в идеале сделать определения формата подгружаемыми.
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от Аноним (??) on 09-Дек-11, 21:23 
Почему LISA, если правильно ULISA?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от а on 09-Дек-11, 21:54 
Нет, Usenix — это конференция.
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

13. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от gaga on 09-Дек-11, 21:53 
как только не извращаются люди, лишь бы не принимать какой-нибудь унифицированный текстовый формат описания данных, вроде JSON или какого-нибудь варианта S-expressions.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Аноним (??) on 09-Дек-11, 22:09 
> как только не извращаются люди, лишь бы не принимать какой-нибудь унифицированный текстовый
> формат описания данных, вроде JSON или какого-нибудь варианта S-expressions.

Ну переставит вам какая-нибудь софтина строки в JSONе - сами же извиняться к авторам bdiff побежите :)

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

29. "Разработка новых вариантов diff и grep  для обработки сложны..."  –1 +/
Сообщение от Аноним (??) on 10-Дек-11, 11:52 
>> как только не извращаются люди, лишь бы не принимать какой-нибудь унифицированный текстовый
>> формат описания данных, вроде JSON или какого-нибудь варианта S-expressions.
> Ну переставит вам какая-нибудь софтина строки в JSONе - сами же извиняться
> к авторам bdiff побежите :)

Пошлем-ка мы такую софтину в /dev/null по-быстрому, пока никто не видел.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

17. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от axe (??) on 09-Дек-11, 23:52 
> как только не извращаются люди, лишь бы не принимать какой-нибудь унифицированный текстовый
> формат описания данных, вроде JSON или какого-нибудь варианта S-expressions.

Как раз таки про него вспомнил. Как народ смотрит на то, что бы конфиги были в джейсоне?
У бинда конфиг уже напоминает джейсон. Как насчет логов? Было бы достаточно просто представить их в виде объектов и парсить не регулярками... Тьху где то я это уже видел, ну его к черту, sed, grep, awk наше все. Лучшее - враг хорошего.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

23. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 10-Дек-11, 02:08 
у бинда конфиг перл стайл, си стайл, но никак не json
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

31. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от Alexander Yastrebov email on 10-Дек-11, 15:59 
Я вам напомню одно большое ограничение JSON в этом плане - в нем нет комментариев
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

36. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от anonimous on 11-Дек-11, 15:33 
http://ru.wikipedia.org/wiki/JSON#.D0.A1.D1.80.D0.B0.D0.B2.D...
Вы уверены?
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

37. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от Alexander Yastrebov email on 11-Дек-11, 15:38 
> http://ru.wikipedia.org/wiki/JSON#.D0.A1.D1.80.D0.B0.D0.B2.D...
> Вы уверены?

Уверен: http://json.org/  
Хотя никто не мешает сделать парсер с поддержкой комментариев

Ответ автора стандарта: http://tech.groups.yahoo.com/group/json/message/152

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

39. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Crazy Alex (ok) on 11-Дек-11, 18:15 
Джейсон - неудобный формат для писания руками. Слишком много кавычек, не прощает простейшие ошибки (вроде запятой после последнего элемента объекта или массива), отсутствие комментариев уже упоминали...

В итое гимеем ного ругани на синтаксис. Знаю, что говорю - у нас в крпном проекте конфигурация на json - многовато мороки с ним.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

22. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 10-Дек-11, 02:07 
потому что JSON гогно. А действительно "унифицированные форматы описания данных" (тм)  (это xml и т.п.) давно используют, но лучше жить от этого всё равно не стало
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

35. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от gaga on 11-Дек-11, 13:39 
они не человекочитаемые и очень тяжелые
Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

41. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 12-Дек-11, 00:28 
это смотря как писать, xml можно использовать вполне няшно. Кроме xml есть другие вариации,  yaml например.
Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

45. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Аноним (??) on 12-Дек-11, 14:33 
> они не человекочитаемые и очень тяжелые

JSON тоже.

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

19. "Разработка новых вариантов diff и grep  для обработки сложны..."  –2 +/
Сообщение от Сергей (??) on 10-Дек-11, 00:15 
  Слижком сложно все будет, а почему бы не внести предложение все конфиги хранить в xml к примеру...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Разработка новых вариантов diff и grep  для обработки сложны..."  +5 +/
Сообщение от Deffic on 10-Дек-11, 01:04 
>   Слижком сложно все будет, а почему бы не внести предложение
> все конфиги хранить в xml к примеру...

Прошу прощение за оффтопик, но XML...
Конфиг - это API между человеком и программой, а не между программами.
К сожалению многие об этом уже забыли.
Программисты - не занимаются форсмажорными ситуациями.
exWinAdmins - не имеют понятия, какую гибкость даёт текстовый конфиг по сравнению с GUI.

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

26. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от poherly on 10-Дек-11, 07:38 
> exWinAdmins

почему ex ?

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

24. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от nuclight email(ok) on 10-Дек-11, 02:42 
>   Слижком сложно все будет, а почему бы не внести предложение
> все конфиги хранить в xml к примеру...

Так потом разницу между XML обычным diff и не посмотреть, о чем и новость собственно.

P.S. Собсно это одна из многих причин, по которой XML должен умереть, но это тема для срача, а не для новости

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

33. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Michael Shigorin email(ok) on 11-Дек-11, 01:36 
>> Слижком сложно все будет, а почему бы не внести предложение
>> все конфиги хранить в xml к примеру...

Как и отметили, это не для людей.

https://lh4.googleusercontent.com/-30fhF6xRNf4/Ttub-IyL1RI/A...

> Так потом разницу между XML обычным diff и не посмотреть, о чем
> и новость собственно.

Попадался на глаза xmldiff, но так уже и не помню -- дошло до него или проще обошлись...

> P.S. Собсно это одна из многих причин, по которой XML должен умереть,
> но это тема для срача, а не для новости

Да пускай себе живёт, только бы не пытались его скотчем примотать ко всему подряд, невзирая на осмысленность.

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

47. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от виндотролль on 14-Дек-11, 12:54 
Посмотреть. Это даже тривиальная, в современных реалиях, задача. Вот только, парсинг требуется. Хотя, это не проблема при сравнении конфигов, размер которых вряд-ли превысит мегабайт.
Проблема с ХМЛ другая — менее удобно для человека
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

27. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от Аноним (??) on 10-Дек-11, 11:32 
Не думаю, что сабж будет сильно популярен. Преимущество теплых ламповых grep/diff/sed в простоте (один раз научился пользоваться - никогда не забудешь) и универсальности (пригождаются очень часто, а когда есть хорошие инструменты для работы с текстом, решения проблем сами собой приходят в голову)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

30. "Разработка новых вариантов diff и grep  для обработки сложны..."  +1 +/
Сообщение от Аноним (??) on 10-Дек-11, 11:54 
> Не думаю, что сабж будет сильно популярен. Преимущество теплых ламповых grep/diff/sed в
> простоте (один раз научился пользоваться - никогда не забудешь) и универсальности
> (пригождаются очень часто, а когда есть хорошие инструменты для работы с
> текстом, решения проблем сами собой приходят в голову)

Ковровые бомбардировки квадратноколесными велосипедами вообще повсеместно вошли в моду - введены разными малоадекватными потрясателями основ. Достаточно посмотреть на всяческие замены syslogd, или устоявшегося за десятиления разбиения директорий... Одно да потому, снова и снова. И сотни дистров.

И все это гогно выдается за типа развитие.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

34. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Michael Shigorin email(ok) on 11-Дек-11, 01:38 
> Преимущество теплых ламповых grep/diff/sed в простоте [...] и универсальности

См. тж. "full exploitation": http://lwn.net/Articles/411845/

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

43. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от evkogan on 12-Дек-11, 08:23 
>> Преимущество теплых ламповых grep/diff/sed в простоте [...] и универсальности
> См. тж. "full exploitation": http://lwn.net/Articles/411845/

Нифига они не универсальны, постоянно приходится извращаться с grep'ом многострочных форматов. Последний раз сочинял скрипт для grep'анья вывода "multipath -l"
Если в результате проекта можно будет легко grep'ать такое, без наколеночного костыля, будет класно.

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

46. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Michael Shigorin email(ok) on 12-Дек-11, 16:02 
>>> Преимущество теплых ламповых grep/diff/sed в простоте [...] и универсальности
>> См. тж. "full exploitation": http://lwn.net/Articles/411845/
> Нифига они не универсальны, постоянно приходится извращаться с grep'ом
> многострочных форматов.

Вы, может, немного не поняли.  Кофе они тоже не варят, но вот multiline regex умеют. :) (хотя иногда и впрямь проще разобрать | while read line; do case "$line" in ... и понеслась с выставлением флажков, угу -- если не разводить скрипты на sed/awk/perl/$etc)

Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

40. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от Crazy Alex (ok) on 11-Дек-11, 18:18 
Ровно также выучите один язык задания правил поиска тегов - и вперёд. И хоть xml, хоть json,хотьещё что - у ваших ног. Вплоть до бинарных форматов, кстати, если разумно описать. Регэкспы же как-то освоили? А эта штука попроще будет.

При этом учтите, что на все основные форматы правила парсинга напишут за вас, вам останется только задавать что-то наподобие CSS селекторов - где именно смотреть или выкусывать хотите. Так что для подавляющего большинства случаев вообще всё примитивно будет.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

42. "Разработка новых вариантов diff и grep  для обработки сложны..."  +/
Сообщение от lucentcode (ok) on 12-Дек-11, 03:18 
Давно пора. Очень не хватает. Надеюсь, эти фичи быстро интегрируют и с популярным текстовыми редакорами и IDE.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру