Copyright (C) by Yuri V. Savin, 1998. E-Mail: msav@kari.ru
Итак, конфигурационные файлы отредактированы,
система INN не обнаружила в них синтаксических
ошибок, из cron'а вызываются периодические
процессы системы INN, демон innd запущен.
Естественное желание - убедиться, что все
работает корректно. К счастью, система INN
достаточно дружественная и извещает нас о своей
работе (либо об ошибках, в результате которых она
работать не может), используя стандартную в
Unix-систему регистрации syslog. Кроме того,
система INN поставляется с рядом сценариев,
обобщающих информацию в log-файлах (и не только в
них) и выводящих их в приятном для чтения виде.
Наконец, обобщенная статистика может ежедневно
отправляться по e-mail администратору сервера
новостей. Об этом здесь и пойдет речь.
Посмотрев конфигурациооный файл /etc/syslog.confдемона
syslogd, мы увидим куда идут данные регистрации
ситемы INN. Напомню, что во время инсталляции INN мы
раскомментировали в этом файле строки:
Затем создали соответствующие файлы (их
владелец - news, группа - news) и перезапустили демон
syslogd.
Наиболее разрастающийся из них - news.notice. Cюда
пишет innd о соединении с ним удаленных NNTP-хостов,
демон nnrpd записывает сюда информацию об
активности клиентов, в этом же файле информируют
о своей работе программы ctlinnd, innxmit, rnews и др.
Файл news.crit содержит сообщения о критических
ошибках, требующих внимания от администратора
сервера новостей. (Например, сервер INN не может
открыть файл из-за неверных прав доступа; или
здесь появится сообщение о гашении сервера с
помощью ctlinnd и т.д.).
Файл news.err содержит сообщения о фатальных
ошибках сервера. Вообще говоря трудно провести
четкую границу между информацией об ошибках,
записываемых в news.crit и news.err. (Syslogd зачастую
записывает одинаковую информацию в оба файла).
Система INN имеет помимо log-файлов,
поддерживаемых системой syslog, встроенные log-файлы
- errlog и news (по-умолчанию они расположены в
каталоге /var/log/news).
Файл errlog содержит стандартный вывод и
стандартные ошибки любых программ, порождаемых
демоном innd. В частности, при перезагрузке
операционной системы в этом файле появится
следующая строка: INND exiting because of signal
Файл newsрегистрирует все статьи,
поступающие к innd для обработки. Строки в этом
файле имеют следующий формат:
mon dd hh:mm:ss.mmm flag feed Message-ID [reason] size site ...
Первые три поля определяют дату поступления (с
точностью до миллисекунд) статьи к демону innd.
Следующее поле - флаг, определяющий действие,
выполненное innd с данной статьей. Возможны 4
флага:
"+" - статья успешно принята.
"-" - статья отвергнута по причине [reason]
(поле reason фигурирует только если статья
отклонена).
"j" - статья успешно принята, но
поскольку она из групп новостей, имеющих в файле active
флаг "j", она будет помещена в группу junk.
"c" - в этом случае прежде чем поступит
сама статья будет принято cancel-сообщение.
Поле feed определяет от кого статья была
получена демоном innd для дальнейшей
обработки. Если это поле представляет IP-адресс
0.0.0.0, то статья получена локально (nnrpd принял ее от
клиента).
Поле Message-ID определяет идентификатор данной
статьи.
Если статья была отвергнута, то поле [reason]
определяет причину, по которой это было сделано.
Причем, это поле будет последним в данной строке
(поля size site ... отсутствуют).
Поле size определяет размер статьи в байтах.
Последнее поле site ... определяет список
сторон, которым данная статья будет
распространена (основываясь на файле newsfeeds).
Рассмотрим для примера фрагмент файла news:
Mar 28 06:06:20.340 + ace.domain.ru <6fgqr8$qun$1@simtel.ru> 27127 netlab
Mar 28 06:06:21.278 - ace.domain.ru 437 Unwanted newsgroup "relcom.rec.puzzles"
......
Mar 31 11:31:43.818 + 0.0.0.0 <35209BDE.D94E6A66@kari.ru> 2140 ace netlab
Mar 31 14:07:57.876 + 0.0.0.0 <01bd5c8c$e11b9520$8832e9c1@bsd.kari.ru> 479 ace
первая строка говорит, что от ace.domain.ru была
принята статья (опубликованная на машине домена
simtel.ru) размером 27127 байт и копия статьи поставлена
в очередь на отправку стороне netlab. Вторая строка
говорит, что машина ace.domain.ru послала нам статью из
группы новостей relcom.rec.puzzles, на которую мы не
подписывались, поэтому innd отверг ее с
указанием причины: 437 Unwanted newsgroup
"relcom.rec.puzzles". В последних двух строках
статьи размером 2140 и 479 байт были опубликованы
клиентами нашего сервера с локальной машины и с
хоста bsd.kari.ru, используя nnrpd, и распространены
на стороны ace, netlab и ace соответственно.
Помимо перечисленных выше файлов регистрации,
ряд программ системы INN ведут собственные файлы
регистрации (expire.log, send-uucp.log, nntpsend.log и
др.).
Програама expire оповещает о проделанной ею
работе через файл expire.log. Ниже приведен пример
этого файла:
expire begin Sat Mar 28 04:06:34 MSK 1998: (-v1)
Article lines processed 14581
Articles retained 12437
Entries expired 2144
Files unlinked 2854
Old entries dropped 408
Old entries retained 2967
expire end Sat Mar 28 04:09:21 MSK 1998
Первая и последняя строки обозначает временные
границы работы программы expire -v1. Следующие
строки означают, что программа expire прочитала
в history-файле 14581 строк, из них оставлено 12437
строк (читай статей), т.е. удалено 2144 строки (на
самом деле строка не удаляется, а
"сокращается" до трех полей - message-id, дата
прибытия статьи и значение заголовка Expire (либо ~,
если заголовок отсутствует), поэтому в
действительности - 2144 есть число удаленных тел
статей). Значение Files unlinked (2854) определяет число
удаленных файлов на диске; дело в том, что одна
статья (одно тело) может быть опубликована в
несколько групп (при этом для каждой группы
создается свой файл), поэтому это значение может
быть больше, нежели Entries expired. Последние два
цифровых значения относятся к неполным строкам
(из 3 полей), т.е. к message-id статей, тела которых уже
удалены из системы. Old enties dropped (408) - число
удаленных строк для статей, тела которых уже были
удалены. Old entries retained (2967) - число оставленных строк
для статей, тела которых уже удалены (неполных
строк).
Если Вы пользуетесь программой nntpsend для
отправки статей к NNTP-соседям, то Вы обнаружите
файл nntpsend.log, в который эта программа
записывает информацию о своей работе. Например
при сеансе отправки потока новостей к NNTP-соседу
netlab при помощи nntpsend , файл nntpsend.log
пополнится примерно следующим:
Безусловно, регулярно просматривать кипу
регистрационных файлов, да еще и в не совсем
удобочитаемом формате - дело не из приятных и
отнимает много времени. К счастью, необходимости
в этом нет. Пакет INN включает ряд сценариев,
обрабатывающих log-файлы и выдающих суммарную
информацию в удобном виде.
Сценарий innstat выдает "фотоснимок"
системы INN. Он показывает режим работы сервера,
использование дискового пространства, статус
всех log- и lock- файлов.
Perl-сценарий innlog.pl выдает статистику
активности демонов innd и nnrpd , обобщая
информацию в регистрационных файлах системы syslog.
Обычно этот сценарий вызывается другим
сценарием - scanlogs.
Сценарий scanlogs обобщает информацию,
записываемую в log-файлы INN. По умолчанию, он также
производит ротацию и очистку ряда
регистрационных файлов. В каталоге /var/log/news/OLD
содержатся компрессованные файлы, полученные в
результате ротации (цикл ротации - 3). Обычно scanlogs
вызывается сценарием news.daily(который
запускают обычно раз в сутки), поэтому в
результате ротации файлов, у Вас на системе будет
хранится регистрационная информация за
последние трое суток плюс текущая информация.
По большому счету, Вам нет необходимости
запускать перечисленные выше сценарии по
отдельности. Запуская из cron'а ежедневно сценарий news.daily,
администратор сервера новостей news (псевдоним
usenet) будет ежедневно по почте получать полную
статистику работы INN сервера, как суммарный итог
работы этих сценариев.
Прежде чем разбираться, что же нам послал в
письме news.daily, разберемся по шагам, что в
действительности делает этот сценарий:
Сначала он формирует Subject для будущего письма по
адресу usenet@this.news.server в следующем виде: this.news.server
daily usenet report for [current data]
Вызывает сценарий innstat, который показывает
статус innd (вывод команды ctlinnd mode), использование
дискового пространства, размеры batch-, log- и
lock-файлов в блоках по 512 байт (округление идет до
следующего целого значения), а текущие
соединения с сервером.
news.daily вызывает программу expire, которая
сканирует файл history и основываясь на сроках
хранения статей (прописанных в файле expire.ctl) удаляет старые статьи.
news.daily передает работу сценарию scanlogs,
который выполняет следующее:
показывает критические ошибки от syslog
(содержимое файла news.crit).
показывает фатальные ошибки от syslog (содержимое
файла news.err).
показывает содержимое файла expire.log (о
проделанной командой expire работе).
сканирует регистрационные файлы на наличие
различных проблем относительно статей, которые
были приняты или отправлены системой, а затем
выводит для каждой категории по 20 верхних
(по-умолчанию) элементов. В частности, будут
выведены (если, конечно, есть)
20 сторон, отправлявших нам чаще всего
(количество в первом столбце) статьи с ошибками;
20 сторон, посылавших нам чаще всего статьи из
групп, на которые мы не подписывались;
20 наиболее частых из нежелательных
распространений;
20 наиболее часто приходящих групп новостей, на
которые мы не подписаны;
20 сторон из тех, которые наиболее часто пытались
установить соединение по NNTP с нами, но не имели на
то прав;
20 наиболее часто встречающихся основных
проблем;
20 сторон посылавших нам чаще всего статьи с
ошибочными заголовками.
scanlogs вызывает perl-сценарий innlog.pl, который
обобщает syslog-информацию о работе innd и nnrpd
и выводит следующую статистику:
неизвестные для сценария вхождения в файле news;
команды, полученные демоном innd от ctlinnd;
группы новостей, созданные через ctlinnd;
группы новостей, удаленные через ctlinnd;
статистика о получении демоном innd статей (по
системам и итоговая информация);
далее выводится различная innd статистика (об
ошибочных ID статей, об ошибочных ihave- и sendme-
сообщениях, об ошибочных командах, об
отвергнутых из-за размера статей, и др.);
статистика об отправлении статей командой innfeed
(если используется);
nntpd-статистика;
статистика об отправлении статей командой innxmit
(по системам и итого);
попытки ( в том числе ошибочные) установления
соединений для передачи статей другим системам
(по системам и итого);
nntplink-статистика (если для отправки используется
эта программа);
batcher-статистика;
rnews-статистика;
nnrp-статистика (статистика работы nnrp-клиентов по
хостам и доменам, запросы на аутентификацию по
пользователям, счетчики запросов статей по
категориям и группам, ошибки при работе gethostbyaddr и
др.);
mthreads-статистика (если используется).
после завершения работы сценария innlog.pl, scanlogsкомпрессует
нужные файлы и производит их ротацию с циклом 3
(если у команды нет опции norotate), после чего
возвращает управление работой сценарию news.daily;
news.daily снова вызывает сценарий innstat,
который показывает статус innd после очистки.
произведенной программой expire;
перенумерует файл active;
из временных файлов формирует окончательное
почтовое сообщение для usenet;
и, наконец, завершает свою работу, формируя в
каталоге /var/news/etc файл news.daily, в котором
сообщает время завершения своей работы.
