форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы Маршрутизаторы CISCO и др. оборудование. (Public)
Изначальное сообщение		[ Отслеживать ]

"Удаление дублирующихся записей из NetFlow"		+/–
Сообщение от Snowdtiger on 18-Июл-09, 11:21
Возникла следующая ситуация: ошибка в конфигурации cisco роутера вызвала, что в файл netflow некоторые флоу данные записались два раза. Не все, но значительное кол-во. Теперь стоит вопрос как из этих файлов убрать дубликаты. Поиск результата не дал. Или искал не правильно. Что пришло в голову. Перегонять файл flow-export в текст скриптом удалить дубликаты строк. Про сам скрипт не думал еще, но не очень сложная задача. Сложность только сохранить порядок следования. Полученный текст возвращаем назад flow-import. Единственное не знаю какой уровень компрессии по умолчанию использует flow-capture, но это можно выяснить. Недостаток - полностью теряется информация заголовка. Было # mode:                 normal # capture start:        Mon Jul 13 15:50:00 2009 # capture end:          Mon Jul 13 15:55:00 2009 # capture period:       300 seconds # compress:             on # byte order:           little # stream version:       3 # export version:       5 # lost flows:           0 # corrupt packets:      0 # sequencer resets:     0 # capture flows:        70140 Стало # mode:                 streaming # compress:             on # byte order:           little # stream version:       3 # export version:       5 # comments:             flow-import Никто не сталкивался с подобной задачей? Может есть другой вариант решения? Не считая написание программы которая перепетрушит файл.
Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Удаление дублирующихся записей из NetFlow"		+/–
Сообщение от Аноним (??) on 18-Июл-09, 11:52
>[оверквотинг удален] >Что пришло в голову. > >Перегонять файл flow-export в текст >скриптом удалить дубликаты строк. Про сам скрипт не думал еще, но не >очень сложная задача. >Сложность только сохранить порядок следования. >Полученный текст возвращаем назад flow-import. > >Никто не сталкивался с подобной задачей? Может есть другой вариант решения? >Не считая написание программы которая перепетрушит файл. Как раз недавно сталкивались, ничего другого не нашли, скрипт на основе команды sort, работает долго..
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	2. "Удаление дублирующихся записей из NetFlow"		+/–
	Сообщение от Snowdtiger on 18-Июл-09, 16:19
	> >Как раз недавно сталкивались, ничего другого не нашли, >скрипт на основе команды sort, работает долго.. sort последовательнось поменяет. Время работы не критично. Скрипт который из текста одинаковые строки уберет можно сделать многими вариантами. Например на перле. Заносить строку в хэш с проверкой существования. Если есть уже - то пропускать строку. Как значение использовать номер строки. А выводить ключи отсортированные по этому номеру. Вот что с заголовком делать?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	3. "Удаление дублирующихся записей из NetFlow"		+/–
	Сообщение от den (??) on 20-Июл-09, 14:21
	>Вот что с заголовком делать? а чего заголовок должен терятся? есть же модулек CFlow или както так. Так там можно быстрее парсить и ничего не потеряется.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема