[ новости /+++ | форум | теги | ]

Каталог документации / Раздел "Обработка текста" / Оглавление документа

10. Создание библиотеки инструментальных программных средств

Эта глава взята из `Linux Journal', том 1, номер 2, из статьи Арнольда Робинсона 'Что такое GNU?'.

Общие сведения о инструментальных программных средствах (утилитах)

В этой статье рассматривается проект GNU. Мы опишем ряд инструментальных средств GNU для Вашей системы Linux, и расскажем, как их можно использовать. Действительно, развивается ли философия "Инструментальных программных средств" ?

Философия инструментальных программных средств является важнейшей концепцией для реализации и развития UNIX (аналогами которой являются Linux и GNU). Современная пресса по работе в Интернет и мелькающими графическими пользовательскими интерфейсами обходит этот вопрос стороной. Это очень плохо, т.к. эта философия предоставляет мощнейшие ментальные модели для решения многих задач.

Многие люди носят в кармане шведский (складной) нож с несколькими лезвиями (как бы аналог библиотеки утилит). Он очень удобен для мелких повседневных нужд: для каждой проблемы в нем найдется лезвие (главное лезвие называется "миротворец").

C другой стороны шведским ножом дом не построишь. Для этого есть ящик с инструментами (- другая библиотека): пила, молоток и т.д. И строители умеют их применять. Вы никогда не увидете человека, забивающего гвозди ручкой своего перочинного ножа.

Система UNIX разрабатывалась в Bell Labs профессиональными программистами и учеными-компьютерщиками. Они установили, что универсальные программы

• a. трудно писать,
• b. трудно отлаживать и документировать,
• c. трудно встроить новые возможности.

Более того, они поняли, что реализация сцепки программ даст гораздо больше, чем создание универсальных программ. Гораздо проще решить задачу, комбинируя одноцелевые программы, чем писать для этого отдельную программу. Далее мы увидим несколько (классических) примеров одноцелевых программ.

Переопределение ввода-вывода

Предполагается, что Вы знакомы с основными переопределениями ввода-вывода в интерпретаторе shell, особенно с понятием "стандартного ввода", "стандартного вывода" и "стандартной ошибки". Короче, "стандартный ввод" - это источник данных. Программе должно быть безразлично, откуда поступают данные, будь то файл, клавиатура, магнитофон или перфокарта. Аналогично, "стандартный вывод" - это приемник данных, и программа не должна заботиться, чем он может быть. Программа, которая просто читает из стандартного ввода, обрабатывает получаемые данные и выводит их, называется "фильтром". По аналогии с фильтрами в водопроводе.

C помощью shell-интерпретатора UNIX, можно легко управлять потоком данных:

   program_to_create_data | filter1 | .... | filterN > final.pretty.data

Да, стандартный ввод и стандартный вывод это замечательно. Но откуда же берется стандартная ошибка? Рассмотрим фильтр `filter1' в нашем командном канале. Что происходит, если при обработке данных происходит ошибка? Если выводить сообщение об ошибке в стандартный вывод, то оно попадет в стандартный ввод фильтра `filter2', и пользователь может не узнать о нем. Т.е. программам необходимо место, куда можно послать сообщение об ошибке, и где пользователь может его заметить. Это и есть стандартная ошибка, и она выводится на экран, даже если Вы переопределите стандартный вывод не на монитор.

Для взаимодействия фильтров, необходимо заранее согласовать формат данных. Самый прямолинейный и легкий путь, использовать простые текстовые строки. В UNIX файлы данных это просто набор байтов, в строках разделенных ASCII символом перевода строки ("newline" или, если Вы программируете на Си то `'\n''). Это традиционный формат для всех программ-фильтров. (Большинство ранних операционных систем использовали программы обработки двоичных данных. UNIX уже отошол от этого, подразумевая, что гораздо удобнее просматривать и редактировать данные в текстовом редакторе.)

Теперь, можно приступать к делу. Ниже мы рассмотрим некоторые инструментальные программы, и увидим как обеспечить их взаимодействие. При этом, будут упомянуты только те опции командной строки, которые нас интересуют. Для полного понимания Вы должны трижды (!) прочитать Вашу системную документацию, и так Вы должны делать всегда! Команда `who' `who' выдает текущий список ползователей вошедьших в систему. Предположим, что в систему вошло несколько пользователей:

     $ who
     arnold   console Jan 22 19:57
     miriam   ttyp0   Jan 23 14:19(:0.0)
     bill     ttyp1   Jan 21 09:32(:0.0)
     arnold   ttyp2   Jan 23 20:48(:0.0)

Команда `cut'

Следующая рассматриваемая команда - команда `cut'. Она выделяет определенные поля входных данных. Например, мы можем осуществить вывод только системного имени и полного имени из файла `/etc/passwd file'. В каждой строке файла `/etc/passwd' определено семь полей, разделенных символом ':':

      arnold:xyzzy:2076:10:Arnold D. Robbins:/home/arnold:/bin/ksh

      $ cut -d: -f1,5 /etc/passwd
       root:Operator
       ...
       arnold:Arnold D. Robbins
       miriam:Miriam A. Robbins
       ...

Команда `sort'

Теперь рассмотрим команду `sort'. Это одна из мощнейших команд в UNIX системах, особенно при сортировке потока данных. `sort' читает и сортирует каждый файл, указанный в командной строке. При этом она сливает сортируемые данные и выводит их в стандартный вывод. Если не указаны входные файлы она читает стандартный ввод. Сортировка основана на 'машинной' упорядоченной последовательности (ASCII) или на заданном пользователем критерии упорядочивания. Команда `uniq'

И, наконец, рассмотрим программу `uniq'. При сортировке, Вы встретитесь с повторяющимися строками. Обычно, Вам нужен только один экземпляр каждой строки. Здесь нужна команда `uniq'. Программа `uniq' читает стандартный ввод, который должен быть уже отсортированн. Она выводит только по одному экземпляру каждой повторяющейся строки. Она имеет несколько опций. Позже, мы используем опцию `-c', которая выводит нетождественные строки, с приписанным к началу строки числом повторений этой строки на входе. Параллельный запуск утилит Теперь, предположим, что наша система - большая электронная доска объявлений (BBS) с десятками пользователей вошедших в систему. Руководство советует системному оператору (сисопу) написать программу, которая выводит упорядоченный список вошедьших в систему пользователей. Более того, если кто-то вошел в систему несколько раз, его или ее имя должно только однажды упомиаться в списке.

Сисоп может засесть за системную документацию и написать программу на Си делающую это. Это займет несколько сотен строк кода и пару часов на написание, тестирование и отладку. Однако, зная утилиты, сисоп может сходу вывести требуемый список:

     $ who | cut -c1-8
     arnold
     miriam
     bill
     arnold

     $ who | cut -c1-8 | sort
     arnold
     arnold
     bill
     miriam

     $ who | cut -c1-8 | sort | uniq

Сисоп может сохранить наш командный канал в файле, как программу на языке оболочки, и открывает доступ к ней для всех пользователей системы:

     # cat > /usr/local/bin/listusers
     who | cut -c1-8 | sort | uniq
     ^D
     # chmod +x /usr/local/bin/listusers

Первый, состоит в том, что сисоп сэкономил два часа работы, записав несколько команд в одной командной строке. Более того, действие shell-интерпретатора не менее эффективно, чем было бы действие Си программы. Время программиста гораздо дешевле машинного времени, и в современном обществе, в котором "времени никогда не хватает", экономия двух часов личного времяни программиста это не подвиг.

Во вторых, нужно отметить, что комбинируя утилиты, можно решить задачи, не решаемые конкретными программами.

В третьих, можно пошагово построить командный канал, как мы это уже проделали. Такой способ позволяет просматривать данные на каждом шаге и убедиться в правильнсти использования утилит.

Наконец, если поместить наш командный канал в файл, то им могут воспользоваться другие пользователи. И при запуске эти shell-файлы неотличимы от компилируемых программ.

Теперь мы можем рассмотреть более сложные командные каналы, а для этого необходимо ввести еще две утилиты.

Первая - это команда `tr'. Она работает по принципу символ-за-символ замены символов. Обычно, она используется для таких вещей, как преобразование символов верхнего регистра в символы нмжнего регистра:

      $ echo ThIs ExAmPlE HaS MIXED case! | tr '[A-Z]' '[a-z]'
      this example has mixed case!

`-c'

работает с дополнением списка символов, т.е. оперирует символами не указанными в списке;

`-d'

опускает при выводе символы указанные в первом списке;

`-s'

сжимает повторяющиеся символы в один символ.

Следующая рассматриваемая команда это `comm'. Она читает отсортированные файлы и выводит их строки в три колонки. Колонки состоят из несовпадающих строк первого файла, несовпадающих строк второго файла, и общих строк этих файлов. Опции `-1', `-2', и `-3' подавляют вывод соответствующей колонки. Например:

      $ cat f1
       11111
       22222     
       33333     
       44444     
       $ cat f2
       00000     
       22222     
       33333     
       55555
       $ comm f1 f2
             00000
      11111
                   22222
                   33333
      44444
             55555     

Если вместо имени ф

из стандартного входа.

Теперь мы можем строить действенные командные каналы. Во первых, мы создадим программу, подсчитыващую число повторений каждого слова. Она поможет выявить часто используемые слова.

Сначала необходимо преобразовать символы всех регистров в символы какого-нибудь конкретного (у нас нижнего) регистра, т.к. "The" и "the" это одно и тоже слово.

      $ tr '[A-Z]' '[a-z]' < whats.gnu | ...     

      $ tr '[A-Z]' '[a-z]' < whats.gnu | tr -cd '[A-Za-z0-9_ \012]' | ...     

На этой стадии, у нас имеются слова, состоящие только из букв и цифр (и символа подчеркивания), разделенные одним или несколькими пробелами. Следующий шаг: поместить каждое слово в отдельную строку, так будет гораздо удобней их обрабатывать.

      $ tr '[A-Z]' '[a-z]' < whats.gnu | tr -cd '[A-Za-z0-9_ \012]' | 
      > tr -s '[ ]' '\012' | ...     

Теперь у нас есть строки, содержащие (каждая) по одному слову, при чем все символы относятся к одному регистру. Подсчитаем число повторений каждого слова:

      $ tr '[A-Z]' '[a-z]' < whats.gnu | tr -cd '[A-Za-z0-9_ \012]' |
      > tr -s '[ ]' '\012' | sort | uniq -c | ...

        60 a
        2 able
        6 about
        1 above
        2 accomplish
        1 acquire
        1 actually
        2 additional

• `-n' числовая сортировка,
• `-r' вывод отсортированного списка в обратном порядке.

      $ tr '[A-Z]' '[a-z]' < whats.gnu | tr -cd '[A-Za-z0-9_ \012]' |
      > tr -s '[ ]' '\012' | sort | uniq -c | sort -nr
      156 the
      60 a 
      58 to 
      51 of 
      51 and 
      ...

Немного изменив построенную цепочку команд, мы получим программу проверки орфографии, которая проверяет правильность написания слов, путем выделения тех слов, которых нет в словаре. Но, для этого нам нужен словарь. Если у Вас стоит "Slackware Linux" полностью, то у Вас есть файл `/usr/lib/ispell/ispell.words'. Это упорядоченный словарь на 38400 слов.

Но как связать наш файл со словарем? Ранее мы генерировали отсортированный список слов, помещенных в отдельные строки:

      $ tr '[A-Z]' '[a-z]' < whats.gnu | tr -cd '[A-Za-z0-9_ \012]' |
     > tr -s '[ ]' '\012' | sort -u | ...

      $ tr '[A-Z]' '[a-z]' < whats.gnu | tr -cd '[A-Za-z0-9_ \012]' |
     > tr -s '[ ]' '\012' | sort -u |
     > comm -23 - /usr/lib/ispell/ispell.words

Следующие утилиты заслуживают особого внимания:

`grep'

ищет файлы, содержащие соответствия регулярному выражению;

`egrep'

аналогично `grep', но оперирует более мощными регулярными выражениями;

`wc'

подсчитывает строки, слова и символы;

`tee'

передает данные в стандартный вывод и, одновременно, копирует их в файл (напоминает Т-образное ответвление командного канала);

`sed'

пакетный редактор, сложная утилита;

`awk'

интерпретатор языка обработки строк, другая сложная утилита.

Короче:

1. Каждая утилита должна безупречно делать что-то одно. Ни больше, ни меньше.
2. Комбинирование таких утилит гораздо более действенно, чем использование универсальных программ, и позволяет использовать программы по новому (так, как авторы и представить не могли).
3. Утилита не должна выводить заголовок и хвост, если данные посылаются по командному каналу. (Хотя, мы не всегда следовали этому правилу.)
4. Пусть кто-то другой делает труднейшую часть работы.
5. Разбирайтесь в своих утилитах (которые и есть ваши инструментальные программные средства)! Используйте их по назначению. А, если соответствующей утилиты нет, то создайте ее.

В этой статье не написано ничего нового. Философию инстументальных программных средств впервые описали Брэйн Керниган и П.Дж.Плогер в книге "Инструментальные программные средства" (`Software Tools', Addison-Wesley, ISBN 0-201-03669-X). Эта книга рассказывает как писать и использовать инстументальные программные средства. Сама она была написана в 1976 году, с использованием препроцессора для Фортрана, названного `ratfor' (RATional FORtran). В то время Фортран был гораздо популярнее чем Си. Но препроцессор Фортрана похож на Си, и если Вы знаете Си, то с `ratfor'-программами у Вас проблем не будет.

В 1981 году книгу усовершенствовали и выпустили как "Инструментальные программные средства Паскаля" (`Software Tools in Pascal', Addison-Wesley, ISBN 0-201-10342-7). Обе книги остались в печати. Они полезны для программистов, и вообще, они коренным образом изменили отношение к программированию.

Изначально, программы представленные в книге можно было найти (на магнитной ленте) в издательстве "Addison-Wesley". Но теперь их можно достать только через Интернет. Ранее существовало общество пользователей инстументальных программных средств (Software Tools Users Group), члены которого перенесли исходные `ratfor' программы в каждую систему с Фортран компилятором.

Сейчас эти программы не популярны особенно по сравнению с GNU программами и другими аналогами UNIX программ. Тем не менее эти книги уникальны, как примеры хорошего стиля программирования. И последнее. Когда редактировалась эта статья в ходу была версия 1.9, так что сначала cправьтесь в ближайшем GNU архиве о текущей версии.

Партнёры:

Хостинг: