The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Нестабильная работа FreeBSD 9.1"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Маршрутизация, NAT / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Нестабильная работа FreeBSD 9.1"  +/
Сообщение от Om (ok) on 29-Июл-13, 12:04 
Добрый день установлен шлюз с 4х портовой интеловой сетевой картой, на вышеупомянутой системе. Имеется 300мбитный канал. При большой сетевой нагрузке сервер начинает глючить(на секунду пропадает пинг, отваливаются сетевые сессии, аська, ссш). В логах ошибок нет.

Конфиг sysctl

Код:    

dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096
dev.igb.2.rx_processing_limit=4096
dev.igb.3.rx_processing_limit=4096


# DEVICE_POLLING
#kern.polling.enable=1
#kern.polling.idle_poll=0
#kern.polling.user_frac=20

# direct dispatch
#net.isr.direct=1

# keep more unprocessed packets
net.inet.ip.intr_queue_maxlen=500

# entropy harvesting off (ipsec rng doesn't use /dev/random)
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.interrupt=0
kern.random.sys.harvest.point_to_point=0

# 1: force hardware crypto
# 0: use hardware if available
# -1: force software crypto
net.inet.ipsec.crypto_support=0

# no IPsec debugging
net.inet.ipsec.debug=0

# duplicate SAD won't cause FAIL
net.key.preferred_oldsa=0

# prefer ESP auth to AH
net.key.esp_auth=1

# breaks ipnat if PR 72210 not fixed (we fixed it partially -- active ftp still breaks)
# also breaks 'subnet extrusion' somehow
net.inet.ip.fastforwarding=0

# required for subnet extrusion
net.inet.ip.redirect=0

# may fix panic in m_copym -- http://unix.derkeiler.com/Mailing-Lists/FreeBSD/current/2004...
# net.inet.tcp.sack.enable=0

# strong host model
net.inet.ip.check_interface=1

net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=0
#et.inet.ipf.fr_tcpidletimeout=3600

################
net.route.netisr_maxqlen=4096
kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080
net.inet.ip.intr_queue_maxlen=10240


Конфиг loader.conf

Код:    

hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.max_interrupt_rate=32000
net.isr.defaultqlimit=4096
net.link.ifqmaxlen=10240

Железо
ProLiant DL380p Gen8

Очень нужна ваша помощь

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. ")))"  +/
Сообщение от RedD on 29-Июл-13, 13:58 
Может быть все что угодно, возможно проще попробовать использовать испытанную 8.4 чем искать причину, возможно 9.1 никто под большой нагрузкой не гонял. А кто гонял и нашел причину не поделился. А может и железо, запросто.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. ")))"  +/
Сообщение от RedD on 29-Июл-13, 14:13 
Ибо 9.1 вышла только полгода как назад, и возможны глюки, я так думаю
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. ")))"  +/
Сообщение от Om (ok) on 29-Июл-13, 14:49 
> Ибо 9.1 вышла только полгода как назад, и возможны глюки, я так
> думаю

отключил

tcp_extensions
tcp_keepalive

вроде как работает

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. ")))"  +/
Сообщение от Om (ok) on 29-Июл-13, 15:42 
>> Ибо 9.1 вышла только полгода как назад, и возможны глюки, я так
>> думаю
> отключил
> tcp_extensions
> tcp_keepalive
> вроде как работает

Не какое-то время было все нормально, теперь опять глючит

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. ")))"  +/
Сообщение от RedD on 29-Июл-13, 15:57 
Во во, ну не знаю попробуй
1) запусти ping
2) запусти tcpdump >> /dump.log

И смотри потом куды что девается
Раз в логах нет ничто

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. ")))"  +/
Сообщение от Om (ok) on 29-Июл-13, 16:06 
> Во во, ну не знаю попробуй
> 1) запусти ping
> 2) запусти tcpdump >> /dump.log
> И смотри потом куды что девается
> Раз в логах нет ничто

что там смотреть то? там такой трафик валит что тяжко смотреть будет

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. ")))"  +/
Сообщение от Om (ok) on 29-Июл-13, 16:17 
>> Во во, ну не знаю попробуй
>> 1) запусти ping
>> 2) запусти tcpdump >> /dump.log
>> И смотри потом куды что девается
>> Раз в логах нет ничто
> что там смотреть то? там такой трафик валит что тяжко смотреть будет

И к стати пинг может не прерываться на ресурс, но агент заббикса сообщает об обрыве. Рвутся ссш сессии. На Фрюхе 7.1 и другом железе этих проблем небыло.


Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. ")))"  +/
Сообщение от Om (ok) on 29-Июл-13, 16:23 
>>> Во во, ну не знаю попробуй
>>> 1) запусти ping
>>> 2) запусти tcpdump >> /dump.log
>>> И смотри потом куды что девается
>>> Раз в логах нет ничто
>> что там смотреть то? там такой трафик валит что тяжко смотреть будет
> И к стати пинг может не прерываться на ресурс, но агент заббикса
> сообщает об обрыве. Рвутся ссш сессии. На Фрюхе 7.1 и другом
> железе этих проблем небыло.

Ссш отваливается только при простое

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. ")))"  +/
Сообщение от RedD on 29-Июл-13, 16:25 
Запусти ssh сессию с ip_1
tcpdump -i eth0 | grep ip_1 >> /log

Как сессия оборвалась смотри

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. ")))"  +/
Сообщение от RedD on 29-Июл-13, 16:31 
Ну тут если при простое, то это настрой SSH server, timeout.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. ")))"  +/
Сообщение от Om (ok) on 29-Июл-13, 16:32 
> Ну тут если при простое, то это настрой SSH server, timeout.

да это все настроено, сессия просто зависает, потом обрывается, а процесс остается висеть

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. ")))"  +/
Сообщение от RedD on 29-Июл-13, 16:33 
Ну тогда смотри логи tcpdump там все должно быть,
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. ")))"  +/
Сообщение от RedD on 29-Июл-13, 16:39 
Еще как вариант попробовать включить логгирование всего и вся по максимуму, на время поиска проблемы


Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

14. ")))"  +/
Сообщение от RedD on 29-Июл-13, 16:46 
Все равно что нибудь да вылезет, чудес не бывает =)
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. ")))"  +/
Сообщение от Om (ok) on 29-Июл-13, 16:48 
>> Ну тут если при простое, то это настрой SSH server, timeout.
> да это все настроено, сессия просто зависает, потом обрывается, а процесс остается
> висеть

В общем странная фигня, сессия повисает, при нажатии на кнопки пакеты в тспдампе идут как обычно, ack seq. Через какое то время ссш вылетает а пакеты seq продолжают валиться на него

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

16. ")))"  +/
Сообщение от Om (ok) on 29-Июл-13, 17:52 
>>> Ну тут если при простое, то это настрой SSH server, timeout.
>> да это все настроено, сессия просто зависает, потом обрывается, а процесс остается
>> висеть
> В общем странная фигня, сессия повисает, при нажатии на кнопки пакеты в
> тспдампе идут как обычно, ack seq. Через какое то время ссш
> вылетает а пакеты seq продолжают валиться на него

Глючит только когда в сеть начинают ломиться порядко 400 компов, при большом трафике но с меньшим количеством компов не глючит

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. ")))"  +/
Сообщение от RedD on 29-Июл-13, 19:56 
Попробуй 8.4 она стабильнее должна быть
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. ")))"  +/
Сообщение от RedD on 29-Июл-13, 20:01 
Или пиши разработчикам


Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

19. ")))"  +/
Сообщение от RedD on 29-Июл-13, 20:14 
Или попробуй ядро пересобрать


Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

20. ")))"  +/
Сообщение от Om (ok) on 29-Июл-13, 20:30 
> Или пиши разработчикам

Bug report на freebsd.org? Честно говоря не могу сформулировать толком свою проблему, попробую кое что изменить в конфиге ядра и пересобрать

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

21. ")))"  +/
Сообщение от RedD on 29-Июл-13, 20:35 
>> Или пиши разработчикам
> Bug report на freebsd.org? Честно говоря не могу сформулировать толком свою проблему,
> попробую кое что изменить в конфиге ядра и пересобрать

Да как есть так и пиши, под нагрузкой то да се. Явно не у одного тебя такие проблемы, можь завтра вечером тебе решение пришлют =)


Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

22. ")))"  +/
Сообщение от RedD on 29-Июл-13, 20:36 
Я если честно в бсд давно завязал, не удобная она какая-то по мне лично.
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

26. ")))"  +/
Сообщение от hizel (ok) on 30-Июл-13, 11:01 
> Запусти ssh сессию с ip_1
> tcpdump -i eth0 | grep ip_1 >> /log
> Как сессия оборвалась смотри

Сжечь и изнасиловать: tcpdump -i eth0 -w ./log host ip_1

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

28. ")))"  +/
Сообщение от RedD on 30-Июл-13, 15:14 
>> Запусти ssh сессию с ip_1
>> tcpdump -i eth0 | grep ip_1 >> /log
>> Как сессия оборвалась смотри
> Сжечь и изнасиловать: tcpdump -i eth0 -w ./log host ip_1

Фу как так, горелое же будит, может наоборот ?


Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

23. ")))"  +/
Сообщение от VolanD (ok) on 29-Июл-13, 20:47 
>>> Во во, ну не знаю попробуй
>>> 1) запусти ping
>>> 2) запусти tcpdump >> /dump.log
>>> И смотри потом куды что девается
>>> Раз в логах нет ничто
>> что там смотреть то? там такой трафик валит что тяжко смотреть будет
> И к стати пинг может не прерываться на ресурс, но агент заббикса
> сообщает об обрыве. Рвутся ссш сессии. На Фрюхе 7.1 и другом
> железе этих проблем небыло.

Может серверу плохо просто. С загрузкой ЦП как?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

24. ")))"  +/
Сообщение от RedD on 30-Июл-13, 08:16 
У него ProLiant DL380p Gen8.
Процессор
Intel® Xeon® E5-2620 (6-ядерный, 2 ГГц, 15 МБ, 95 Вт).

Для шлюза это с головой должно хватить.

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

25. ")))"  +/
Сообщение от VolanD (ok) on 30-Июл-13, 08:32 
> У него ProLiant DL380p Gen8.
> Процессор
> Intel® Xeon® E5-2620 (6-ядерный, 2 ГГц, 15 МБ, 95 Вт).
> Для шлюза это с головой должно хватить.

Ну фиг знает, что там еще крутится )))

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

27. ")))"  +/
Сообщение от Om (ok) on 30-Июл-13, 11:58 
>>>> Во во, ну не знаю попробуй
>>>> 1) запусти ping
>>>> 2) запусти tcpdump >> /dump.log
>>>> И смотри потом куды что девается
>>>> Раз в логах нет ничто
>>> что там смотреть то? там такой трафик валит что тяжко смотреть будет
>> И к стати пинг может не прерываться на ресурс, но агент заббикса
>> сообщает об обрыве. Рвутся ссш сессии. На Фрюхе 7.1 и другом
>> железе этих проблем небыло.
> Может серверу плохо просто. С загрузкой ЦП как?

минимальная

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

29. "Нестабильная работа FreeBSD 9.1"  +/
Сообщение от кегна on 02-Авг-13, 17:37 
> Очень нужна ваша помощь

А натит кто? natd? Или ядерный нат?
cat /etc/rc.conf покаж )

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

30. "Нестабильная работа FreeBSD 9.1"  +/
Сообщение от Om (ok) on 05-Авг-13, 09:40 
>> Очень нужна ваша помощь
> А натит кто? natd? Или ядерный нат?
> cat /etc/rc.conf покаж )

ipnat натит нат

mapped  in      52995422        out     38188841
added   1443223 expired 1380345
no memory       0       bad nat 2102
inuse   12334
orphans 0
rules   654
wilds   0
hash efficiency 16.50%
bucket usage    99.41%
minimal length  0
maximal length  19
average length  6.061
TCP Entries per state
     0     1     2     3     4     5     6     7     8     9    10    11
     0     5     4     0  4046   131  1594     0     3     0  4718   166

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

31. "Нестабильная работа FreeBSD 9.1"  +/
Сообщение от кегна on 05-Авг-13, 11:21 
> ipnat натит нат

Ну я бы посоветовал kernel нат

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

32. "Нестабильная работа FreeBSD 9.1"  +/
Сообщение от Om (ok) on 05-Авг-13, 11:31 
>> ipnat натит нат
> Ну я бы посоветовал kernel нат

причем тут нат?

виснут TCP сессии , а не нат

то есть, обрывается подключение к эксченжу, ssh , это всё ходит не через нат

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

33. "Нестабильная работа FreeBSD 9.1"  +/
Сообщение от кегна on 05-Авг-13, 15:10 
>>> ipnat натит нат
>> Ну я бы посоветовал kernel нат
> причем тут нат?
> виснут TCP сессии , а не нат
> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
> через нат

ну рас такой умный то кури дампы тцп сессий :D

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

34. "Нестабильная работа FreeBSD 9.1"  +/
Сообщение от Om (ok) on 05-Авг-13, 16:05 
>>>> ipnat натит нат
>>> Ну я бы посоветовал kernel нат
>> причем тут нат?
>> виснут TCP сессии , а не нат
>> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
>> через нат
> ну рас такой умный то кури дампы тцп сессий :D

ниче там нету, уже смотрел

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

35. "Нестабильная работа FreeBSD 9.1"  +/
Сообщение от Om (ok) on 05-Авг-13, 16:18 
>>>>> ipnat натит нат
>>>> Ну я бы посоветовал kernel нат
>>> причем тут нат?
>>> виснут TCP сессии , а не нат
>>> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
>>> через нат
>> ну рас такой умный то кури дампы тцп сессий :D
> ниче там нету, уже смотрел

могу сказать на 99% проблемы с сетевухой, но как из решить не знаю

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

36. "Нестабильная работа FreeBSD 9.1"  +/
Сообщение от кегна on 05-Авг-13, 18:55 
>>>>>> ipnat натит нат
>>>>> Ну я бы посоветовал kernel нат
>>>> причем тут нат?
>>>> виснут TCP сессии , а не нат
>>>> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
>>>> через нат
>>> ну рас такой умный то кури дампы тцп сессий :D
>> ниче там нету, уже смотрел
> могу сказать на 99% проблемы с сетевухой, но как из решить не
> знаю

поменять? ))))))))))))

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

37. "Нестабильная работа FreeBSD 9.1"  +/
Сообщение от Om (ok) on 07-Авг-13, 10:50 
>[оверквотинг удален]
>>>>>> Ну я бы посоветовал kernel нат
>>>>> причем тут нат?
>>>>> виснут TCP сессии , а не нат
>>>>> то есть, обрывается подключение к эксченжу, ssh , это всё ходит не
>>>>> через нат
>>>> ну рас такой умный то кури дампы тцп сессий :D
>>> ниче там нету, уже смотрел
>> могу сказать на 99% проблемы с сетевухой, но как из решить не
>> знаю
> поменять? ))))))))))))

И на что?

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру