forum.opennet.ru - "Squid съедает всю память и вываливается" (24)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Squid съедает всю память и вываливается"

Форум Настройка Squid и других прокси серверов (Oops)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Squid съедает всю память и вываливается"	+/–
Сообщение от jonnyquest (ok) on 12-Ноя-10, 18:14
Здравствуйте! Имею уже полгода проблему со Squid 3.1.* (до определённого момента всё было очень даже стабильно). Squid после запуска растёт и растёт и растёт, пока не съест оперативную память и swap... Наблюдать данное начал на старом сервере: Linux gserver 2.6.27-gentoo-r8 #10 i686 Intel(R) Core(TM)2 Duo CPU E4500 @ 2.20GHz GenuineIntel GNU/Linux На борту 2 Gb оперативной памяти. Грешил сначала что может неправильно сконфигурировал сквид, но даже поставив "минимальный" конфиг, без всяких в нагрузку acl, delay_pools, авторизацией и т.д. squid всё равно съедает постепенно ВСЮ память! Ладно, стал грешить на кривые руки и неправильно собранную ОС. Собрал новый системник, накатил туда свежую ОС Gentoo, получил следующий uname -a: Linux proxy.ircoc.vrn.ru 2.6.34-gentoo-r6 #3 x86_64 Intel(R) Core(TM) i5 CPU 760 @ 2.80GHz GenuineIntel GNU/Linux На борту 4 Gb оперативной памяти. Поставил свежий Squid 3.1.8. Какое то время работало всё отлично, с авторизацией ntlm, бассейнами, списками доступа и т.д. Часть юзеров весело на старом сервере, часть на новом (в общей сложности на двух серверах 122 юзера) Но вот пришло время и в !ОДИН ДЕНЬ! и на старом сервере и на новом !ОДНОВРЕМЕННО! squid начал пожирать память как ему вздумается, и никогда её не высвобождать. Ладно, начал пересобирать squid, использовал только (поминимуму) флаги (epoll ldap pam ssl). Поставил опять минимальный конфиг (не ругайте за такой адрес локальной сети, это до меня, пока не переделал): proxy ~ # grep -v "^#" /etc/squid/squid.conf \| sed -e '/^$/d' acl manager proto cache_object acl localhost src 127.0.0.1/32 192.92.92.100 acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 acl localnet src 192.92.92.0/24 acl SSL_ports port 443 5222 5223 15100 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl Safe_ports port 901 # SWAT acl CONNECT method CONNECT http_access allow manager localhost http_access deny manager http_access deny !Safe_ports http_access deny CONNECT !SSL_ports http_access allow localnet http_access allow localhost http_access allow localhost http_access deny all http_port 192.92.92.100:3128 hierarchy_stoplist cgi-bin ? coredump_dir /var/cache/squid refresh_pattern ^ftp: &n... 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i (/cgi-bin/\|\?) 0 0% 0 refresh_pattern . 0 20% 4320 Всё равно ест и ест память... И с cache_mem уже экспериментировал, и memory_pools выключал включал, и cache_dir в NULL ставил... Вобще не пойму в чём дело! Остальные программы на данном сервере крутятся круглосуточно без проблем... Встречал похожую проблему здесь, решения там не оказалось: http://opennet.ru/openforum/vsluhforumID12/3850.html?n=Андрей Слободяник Приведу наблюдения за памятью, очень странные, посмотрите, пожалуйста: Старт сквида с нужным конфигом (acl, delay_pools, ntlm, cache_dir 10000, cache_mem 128 (аналогичные результаты и на 64, 256, 512) 2010-11-11 15:01:01 306760 KB 2010-11-11 16:01:01 1353816 KB 2010-11-11 17:01:01 1408724 KB 2010-11-11 18:01:01 2448968 KB 2010-11-11 19:01:01 2448968 KB 2010-11-11 20:01:01 2448968 KB Здесь видно что процесс перестал расти в промежутке с 17 до 18 часов, хотя пользователей стало меньше ненамного с 50 до 30 штук. Далее всю ночь процесс занимает 2448968 KB ни туда ни сюда (около 10 пользователей онлайн). Настало утро, понеслось... 2010-11-12 9:45:01 2448968 KB 2010-11-12 9:46:01 2448968 KB 2010-11-12 9:47:01 2448968 KB 2010-11-12 9:48:01 2742476 KB 2010-11-12 9:49:01 3194164 KB 2010-11-12 9:50:01 3216340 KB 2010-11-12 9:51:01 3216340 KB 2010-11-12 9:52:01 3217192 KB 2010-11-12 9:53:01 3217532 KB 2010-11-12 9:54:01 3219148 KB 2010-11-12 9:55:01 3219856 KB 2010-11-12 9:56:01 3220300 KB 2010-11-12 9:57:01 3220700 KB 2010-11-12 9:58:01 3220880 KB 2010-11-12 9:59:01 3221456 KB Всю ночь держался, а тут за 12 минут съел 700 мегабайт!!!! Пользователей на тот момент онлайн 30... В конце концов: 2010-11-12 12:50:01 3495664 KB Он залезает в swap и начинаются тормоза. Хорошо, это был конфиг мной сооружённый. Сделаем сквиду минимальный конфиг, его я приводил выше, наблюдаем за памятью: Старт сквида 2010-11-12 15:53:01 46576 KB Через час уже: 2010-11-12 17:02:01 1799352 KB И растёт растёт растёт... Пожалуйста, помогите решить проблему, замучился... Может дело в какой то атаке на прокси из локальной сети? Внешка блокируется iptables наглухо.
Ответить \| Правка \| Cообщить модератору

Оглавление

Squid съедает всю память и вываливается, ipmanyak, 18:25 , 12-Ноя-10, (1)

Squid съедает всю память и вываливается, jonnyquest, 18:33 , 12-Ноя-10, (2)

Squid съедает всю память и вываливается, jonnyquest, 18:38 , 12-Ноя-10, (4)
Squid съедает всю память и вываливается, ipmanyak, 18:55 , 12-Ноя-10, (5)

Squid съедает всю память и вываливается, jonnyquest, 18:59 , 12-Ноя-10, (6)

Squid съедает всю память и вываливается, pavel_simple, 18:36 , 12-Ноя-10, (3) +1

Squid съедает всю память и вываливается, jonnyquest, 19:01 , 12-Ноя-10, (7)

Squid съедает всю память и вываливается, ipmanyak, 19:03 , 12-Ноя-10, (8)

Squid съедает всю память и вываливается, ipmanyak, 19:07 , 12-Ноя-10, (9)

Squid съедает всю память и вываливается, pavel_simple, 19:25 , 12-Ноя-10, (10)
Squid съедает всю память и вываливается, jonnyquest, 19:38 , 12-Ноя-10, (11)

Squid съедает всю память и вываливается, ipmanyak, 07:52 , 13-Ноя-10, (12)

Squid съедает всю память и вываливается, adre, 20:30 , 16-Ноя-10, (13)

Squid съедает всю память и вываливается, adre, 20:33 , 16-Ноя-10, (14)

Squid съедает всю память и вываливается, jonnyquest, 16:06 , 17-Ноя-10, (15)

Squid съедает всю память и вываливается, jonnyquest, 12:13 , 26-Ноя-10, (16)

Squid съедает всю память и вываливается, Имя, 01:02 , 14-Дек-10, (17)

Squid съедает всю память и вываливается, jonnyquest, 18:50 , 24-Дек-10, (18)

Squid съедает всю память и вываливается, ipmanyak, 12:00 , 25-Дек-10, (19)

Squid съедает всю память и вываливается, jonnyquest, 18:02 , 26-Дек-10, (20)

Squid съедает всю память и вываливается, ipmanyak, 09:18 , 27-Дек-10, (21)

Squid съедает всю память и вываливается, Corwin, 14:14 , 30-Дек-10, (22)

Squid съедает всю память и вываливается, jonnyquest, 21:03 , 13-Янв-11, (23)
Squid съедает всю память и вываливается, Jonny Quest, 00:01 , 04-Фев-11, (24)

Сообщения по теме [Сортировка по времени | RSS]

1. "Squid съедает всю память и вываливается" +/–

Сообщение от ipmanyak (ok) on 12-Ноя-10, 18:25

вы не показали из конфига сквида ни cache_dir  ни сache_mem
и где оне?  по дефолту что ли? если по дефолту, то все равно покажите их сюда, я не знаю какие они в тройке,  но дефолтовые настройки  сразу скажу - не катят.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 12-Ноя-10, 18:33

> вы не показали из конфига сквида ни cache_dir  ни сache_mem
В том то и дело, что насильно я их не указывал, соответственно по умолчанию в конфиге сквида:
#Default:
# cache_mem 256 MB
#cache_dir ufs /var/cache/squid 100 16 256
Но экспериментировал и с ними... Результатов не дало.
В cache.log ничего особенного:
2010/11/12 17:02:56| Squid Cache (Version 3.1.8): Exiting normally.
2010/11/12 17:03:08| Creating Swap Directories
2010/11/12 17:03:08| Starting Squid Cache version 3.1.8 for x86_64-pc-linux-gnu...
2010/11/12 17:03:08| Process ID 668
2010/11/12 17:03:08| With 1024 file descriptors available
2010/11/12 17:03:08| Initializing IP Cache...
2010/11/12 17:03:08| DNS Socket created at 0.0.0.0, FD 7
2010/11/12 17:03:08| Adding nameserver 195.98.64.65 from /etc/resolv.conf
2010/11/12 17:03:08| Adding nameserver 195.98.64.66 from /etc/resolv.conf
2010/11/12 17:03:08| Adding nameserver 192.92.92.165 from /etc/resolv.conf
2010/11/12 17:03:08| User-Agent logging is disabled.
2010/11/12 17:03:08| Referer logging is disabled.
2010/11/12 17:03:08| Unlinkd pipe opened on FD 12
2010/11/12 17:03:08| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2010/11/12 17:03:08| Store logging disabled
2010/11/12 17:03:08| Swap maxSize 0 + 262144 KB, estimated 20164 objects
2010/11/12 17:03:08| Target number of buckets: 1008
2010/11/12 17:03:08| Using 8192 Store buckets
2010/11/12 17:03:08| Max Mem  size: 262144 KB
2010/11/12 17:03:08| Max Swap size: 0 KB
2010/11/12 17:03:08| Using Least Load store dir selection
2010/11/12 17:03:08| Set Current Directory to /var/cache/squid
2010/11/12 17:03:08| Loaded Icons.
2010/11/12 17:03:08| Accepting  HTTP connections at 192.92.92.100:3128, FD 13.
2010/11/12 17:03:08| HTCP Disabled.
2010/11/12 17:03:08| Squid modules loaded: 0
2010/11/12 17:03:08| Ready to serve requests.
2010/11/12 17:03:09| storeLateRelease: released 0 objects
2010/11/12 18:27:59| Reconfiguring Squid Cache (version 3.1.8)...
2010/11/12 18:27:59| FD 13 Closing HTTP connection
2010/11/12 18:27:59| Processing Configuration File: /etc/squid/squid.conf (depth 0)
2010/11/12 18:27:59| Initializing https proxy context
2010/11/12 18:27:59| Squid modules loaded: 0
2010/11/12 18:27:59| Store logging disabled
2010/11/12 18:27:59| User-Agent logging is disabled.
2010/11/12 18:27:59| Referer logging is disabled.
2010/11/12 18:27:59| DNS Socket created at 0.0.0.0, FD 8
2010/11/12 18:27:59| Adding nameserver 195.98.64.65 from /etc/resolv.conf
2010/11/12 18:27:59| Adding nameserver 195.98.64.66 from /etc/resolv.conf
2010/11/12 18:27:59| Adding nameserver 192.92.92.165 from /etc/resolv.conf
2010/11/12 18:27:59| Accepting  HTTP connections at 192.92.92.100:3128, FD 13.
2010/11/12 18:27:59| HTCP Disabled.
2010/11/12 18:27:59| Loaded Icons.
2010/11/12 18:27:59| Ready to serve requests.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 12-Ноя-10, 18:38

ещё одно наблюдение вот только что
2010-11-12 18:31:01 355200 KB
2010-11-12 18:32:01 1222068 KB

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Squid съедает всю память и вываливается" +/–

Сообщение от ipmanyak (ok) on 12-Ноя-10, 18:55

>> вы не показали из конфига сквида ни cache_dir  ни сache_mem
> В том то и дело, что насильно я их не указывал, соответственно
> по умолчанию в конфиге сквида:
> #Default:
> # cache_mem 256 MB
> #cache_dir ufs /var/cache/squid 100 16 256
100 мег кэш на диске - вот это и трабла,  сделайте больше.
Мой совет cache_mem на ваше усмотрение - пусть будет 256 мег, но на диске нужно больше, сделайте полгига или гиг или два, больше 2 гигов смысла нету делать, эффектвиность небольшая. если юзеры ходят на разные сайты и  будут накладные  расходы на поиски в индексах и на память в ОЗУ.
Сколько памяти нужно сквиду в ОЗУ
10 мег на каждый гиг КЭШа + cache_mem + 10-20MB

мои настройки для хилой тачки на проце 667 Мгц и винт на 10 гиг и ОЗУ 128 мег
сквид версии 2.4
cache_mem 24 MB
cache_dir ufs /usr/local/squid/cache 640 16 256
p.s.
коллега жаловался, что у него сквид ваще падал на фребсд, спросил эти же настройки - кэш на диск по дефолту, а кэш памяти типа как у тебя,  кады кэш на диске увеличили, усе устаканилось! так что увеличивай кэш на винте или ваще его отруби, ну и грохнуть каталог сквида  и затем squid -z

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 12-Ноя-10, 18:59

Спасибо за информацию :)
Но, если честно, то пробовал cache_mem разные с разным cache_dir
Например было cache_mem 256 и cache_dir 12000 и всё равно память летела и летела.
Больше склоняюсь к DoS атаке из локалки, так как сжирание памяти связано с рабочим графиком фирмы.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

3. "Squid съедает всю память и вываливается" +1 +/–

Сообщение от pavel_simple (ok) on 12-Ноя-10, 18:36

> Пожалуйста, помогите решить проблему, замучился...
> Может дело в какой то атаке на прокси из локальной сети? Внешка
> блокируется iptables наглухо.
iptables? наглухо -- этj когда -P DROP и не одного правила, а учитывая то, что машина робит с тырнетом -- это не наглухо.
1. проверить правила netfilter/iptables
2. поставить любой подходящий под нагрузку netflow-коллектор, настроить, протестировать и в дальнейшем видеть графики
учитывая то, что назрузка одинаково растёт на обоих серверах это может быть и нехорошие движения внутри сети (вирус, очередной скрипткидди, или просто неверно настроенное ПО), поэтому нетфло должен видеть и эту часть сети.
P.S. скорее всего DOS из локалки, может стоит обновить squid (учитывая что у вас gentoo) и вот это
http://www.squid-cache.org/Versions/v3/3.1/squid-3.1.9.patch

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 12-Ноя-10, 19:01

Ваше предположение про DoS скорее всего верно. Wireshark'ом увидел два компа гадящих в сеть. После их очистки от:
Backdoor.tdss.4631
Trojan.hosts.2087
Сквид перестал кушать. Может совпадение, но не уверен.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

8. "Squid съедает всю память и вываливается" +/–

Сообщение от ipmanyak (ok) on 12-Ноя-10, 19:03

вроде  дал ответ, но не вижу своего ответа. в кратце
кэш на винте увеличь, сделай полгига или гиг, более 2 гиг делать ваще смысла нет. но отдельный разговор
cache_mem или уменьши до 128 мег, но мона оставить и 256 мег. а вот
memory_pools   сделай  off
тогда сквид память запрошенную свыше твоих 256 будет освобождать, в противном случае она остается распределенной для сквида.
memory_pools off

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Squid съедает всю память и вываливается" +/–

Сообщение от ipmanyak (ok) on 12-Ноя-10, 19:07

да нету никакой дос атаки из локали имхо. кэш на винте нужно увеличить  и сделать memory pool  off

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Squid съедает всю память и вываливается" +/–

Сообщение от pavel_simple (ok) on 12-Ноя-10, 19:25

> да нету никакой дос атаки из локали имхо. кэш на винте нужно
> увеличить  и сделать memory pool  off
наши имхи не совпадают -- но а как оно на самом деле -- ктож его знает.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 12-Ноя-10, 19:38

Я писал в первом посте, что и так и эдак подгонял параметры. Мемори пулс в офф вгонял. Опять же съедание памяти рандомное, может жрать может нет, от нагрузки не особо зависит.
Мужики, честное слово, уже давно с этим гемороем непонятным вожусь, конфиг вдоль поперёк перепробовал, на разные сочетания, прорыл много форумов и мануалов...

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

12. "Squid съедает всю память и вываливается" +/–

Сообщение от ipmanyak (ok) on 13-Ноя-10, 07:52

> Я писал в первом посте, что и так и эдак подгонял параметры.
> Мемори пулс в офф вгонял. Опять же съедание памяти рандомное, может
> жрать может нет, от нагрузки не особо зависит.
> Мужики, честное слово, уже давно с этим гемороем непонятным вожусь, конфиг вдоль
> поперёк перепробовал, на разные сочетания, прорыл много форумов и мануалов...
Почитай тут http://wiki.squid-cache.org/SquidFaq/SquidMemory  и тут
http://www.comfsm.fm/computing/squid/FAQ-8.html
особенно главу - What can I do to reduce Squid's memory usage?
Рекомендации
- уменьшить cache_mem, напримр до 32 мег
- уменьшить cache_swap
- использовать alternate malloc library.
- Обновить squid до 3.1.9
- ядро системы поставить посвежее.
access.log смотрел/анализировал?  ничего экзотического не замечал?
>Но вот пришло время и в !ОДИН ДЕНЬ! и на старом сервере и на новом !ОДНОВРЕМЕННО! squid начал пожирать память
эту фразу я ранее как-то пропустил, а она да, наводит на мысли, что в локалке какая-нить гадость гуляет.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Squid съедает всю память и вываливается" +/–

Сообщение от adre on 16-Ноя-10, 20:30

> Здравствуйте!
> Имею уже полгода проблему со Squid 3.1.* (до определённого момента всё было
> очень даже стабильно).
> Squid после запуска растёт и растёт и растёт, пока не съест оперативную
> память и swap...
1 - каков при этом размер файла swap.state?
2 - скорее всего у вас большой кэш и была не корректно завершена работа squid, (свет внезапно с безперебойника пропал, была команда немедленного прерывания работы). Короче сквид переиндексирует  свой кеш - а это очень ресурсоёмкий процесс.
Вывод: очистите кеш: остановите сквид, удалите папки с файлами кэша, swap.state, далее squid -z и сквид опять будет воркать нормальна не пожирая память.
-пусть у него ведутся логи на такой случай, чтоб смотреть потом в чём глюк. (store.log,cache.log), применяйте squid -k rotate хотя бы раз в неделю
-перестройка кеша в 10гб заняла внезапно 6 суток.
cache_dir /path 10240 16 256

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Squid съедает всю память и вываливается" +/–

Сообщение от adre on 16-Ноя-10, 20:33

>[оверквотинг удален]
> завершена работа squid, (свет внезапно с безперебойника пропал, была команда немедленного
> прерывания работы). Короче сквид переиндексирует  свой кеш - а это
> очень ресурсоёмкий процесс.
> Вывод: очистите кеш: остановите сквид, удалите папки с файлами кэша, swap.state, далее
> squid -z и сквид опять будет воркать нормальна не пожирая память.
> -пусть у него ведутся логи на такой случай, чтоб смотреть потом в
> чём глюк. (store.log,cache.log), применяйте squid -k rotate хотя бы раз в
> неделю
> -перестройка кеша в 10гб заняла внезапно 6 суток.
> cache_dir /path 10240 16 256
да кэш надо больше вам сделать т.к. 100мб - слишком мало для хранилища, и почистите логи.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 17-Ноя-10, 16:06

>[оверквотинг удален]
>> очень ресурсоёмкий процесс.
>> Вывод: очистите кеш: остановите сквид, удалите папки с файлами кэша, swap.state, далее
>> squid -z и сквид опять будет воркать нормальна не пожирая память.
>> -пусть у него ведутся логи на такой случай, чтоб смотреть потом в
>> чём глюк. (store.log,cache.log), применяйте squid -k rotate хотя бы раз в
>> неделю
>> -перестройка кеша в 10гб заняла внезапно 6 суток.
>> cache_dir /path 10240 16 256
> да кэш надо больше вам сделать т.к. 100мб - слишком мало для
> хранилища, и почистите логи.
squid -k rotate делается каждые сутки
swap.state 5Мегабайт.
Даже если не использовать кэш, cache_dir null /dev/null то всё равно поедает адски оперативку.
Причём, вчера хорошо работал - съел 3Гб, не вываливался ни разу. Сегодня за 10 минут съедал 4Гб!!!!
Конфиг следующий:
acl manager proto cache_object
acl localhost src 127.0.0.1/32 192.92.92.100
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32
acl localnet src 192.92.92.0/24
acl SSL_ports port 443
acl Jabber_ports port 5222 5223
acl Bussiness port 15100
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl Safe_ports port 901         # SWAT
acl CONNECT method CONNECT
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports !Jabber_ports !Bussiness
http_access allow manager localhost
http_access allow localnet
http_access deny all
http_port 192.92.92.100:3128
hierarchy_stoplist cgi-bin ?
cache_mem 64 MB
cache_dir ufs /mnt/cache/squid1g 1024 16 256
maximum_object_size 10240 KB
coredump_dir /var/cache/squid
refresh_pattern ^ftp:         &n... 1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320
ignore_expect_100 on
memory_pools off
В cache.log повышу детализацию и посмотрю.
У Вас cache_mem сколько выставлено? И, если можно, то какие фишечки ещё в конфиге настраивались? Клиентов много?

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

16. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 26-Ноя-10, 12:13

Здравствуйте всем ещё раз :)
Грешил на кривые руки мои в настройке Gentoo.
Установил Ubuntu Server на Atom 330 с 1Gb оперативной памяти, и на "чистую" ОС Squid 3.1.9
Расти процесс стал не скачкообразно, а плавно, но всё равно съедает всю оперативную память и кэш. Пожалуйста, посмотрите мой cachemgr и конфиг. Где что я не правильно делаю?
Зараза в сети нашлась, не один десяток, но чистка не помогла, да и в сеть особо не гадила. Пакеты tcpdump`ом анализировал, ничего криминального...
Конфиг (memory_pools off выставлено):
auth_param ntlm program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp
auth_param ntlm children 90
auth_param basic program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-basic
auth_param basic children 50
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32
external_acl_type nt_group ttl=0 children=30 %LOGIN /lib/squid3/wbinfo_group.pl
acl inet_full external nt_group inetfull
acl inet_none external nt_group inetnone
acl IRCOC proxy_auth REQUIRED
acl localnet src 192.92.92.0/24
acl SSL_ports port 443 15100 5222 5223 3900
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT

cache_mem 256 MB
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny inet_none
http_access allow IRCOC
http_access deny all
delay_pools 1
delay_class 1 1
delay_parameters 1 300000/300000
delay_access 1 allow !inet_full !localhost
delay_access 1 deny all
http_access deny all
http_port 3128
hierarchy_stoplist cgi-bin ?
cache_dir ufs /var/cache/squid 1024 16 256
coredump_dir /var/cache
refresh_pattern ^ftp:         &n... 1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320
dns_nameservers 195.98.64.65 195.98.64.66
memory_pools off
Кэшменеджер:
Squid Object Cache: Version 3.1.9
Start Time:    Thu, 25 Nov 2010 08:25:55 GMT
Current Time:    Fri, 26 Nov 2010 09:07:21 GMT
Connection information for squid:
    Number of clients accessing cache:    88
    Number of HTTP requests received:    810059
    Number of ICP messages received:    0
    Number of ICP messages sent:    0
    Number of queued ICP replies:    0
    Number of HTCP messages received:    0
    Number of HTCP messages sent:    0
    Request failure ratio:     0.00
    Average HTTP requests per minute since start:    546.8
    Average ICP messages per minute since start:    0.0
    Select loop called: 19706281 times, 4.511 ms avg
Cache information for squid:
    Hits as % of all requests:    5min: 18.6%, 60min: 10.6%
    Hits as % of bytes sent:    5min: 35.7%, 60min: 23.6%
    Memory hits as % of hit requests:    5min: 13.2%, 60min: 16.0%
    Disk hits as % of hit requests:    5min: 44.6%, 60min: 46.1%
    Storage Swap size:    943716 KB
    Storage Swap capacity:    90.0% used, 10.0% free
    Storage Mem size:    259652 KB
    Storage Mem capacity:    100.0% used,  0.0% free
    Mean Object Size:    16.16 KB
    Requests given to unlinkd:    142547
Median Service Times (seconds)  5 min    60 min:
    HTTP Requests (All):   0.02451  0.03241
    Cache Misses:          0.11465  0.13498
    Cache Hits:            0.01164  0.02317
    Near Hits:             0.13498  0.14252
    Not-Modified Replies:  0.01648  0.01648
    DNS Lookups:           0.00295  0.01046
    ICP Queries:           0.00000  0.00000
Resource usage for squid:
    UP Time:    88886.322 seconds
    CPU Time:    2613.920 seconds
    CPU Usage:    2.94%
    CPU Usage, 5 minute avg:    5.24%
    CPU Usage, 60 minute avg:    5.95%
    Process Data Segment Size via sbrk(): 802164 KB
    Maximum Resident Size: 2796864 KB
    Page faults with physical i/o: 2
Memory usage for squid via mallinfo():
    Total space in arena:  802296 KB
    Ordinary blocks:       740639 KB  95517 blks
    Small blocks:               0 KB      0 blks
    Holding blocks:         34840 KB      8 blks
    Free Small blocks:          0 KB
    Free Ordinary blocks:   61656 KB
    Total in use:          775479 KB 93%
    Total free:             61656 KB 7%
    Total size:            837136 KB
Memory accounted for:
    Total accounted:       306875 KB  37%
    memPool accounted:     306875 KB  37%
    memPool unaccounted:   530260 KB  63%
    memPoolAlloc calls:         0
    memPoolFree calls:  174041467
File descriptor usage for squid:
    Maximum number of file descriptors:   65535
    Largest file desc currently in use:    832
    Number of file desc currently in use:  455
    Files queued for open:                   0
    Available number of file descriptors: 65080
    Reserved number of file descriptors:   100
    Store Disk files open:                   0
Internal Data Structures:
     58431 StoreEntries
     17293 StoreEntries with MemObjects
     17287 Hot Object Cache Items
     58399 on-disk objects
Если внимательно присмотреться, то Storage Mem size: 259652 KB - всё верно, ведь cache_mem 256 MB выставлено.
А вот следующие данные имхо странные:
Memory accounted for:
    Total accounted:       306875 KB  37%
    memPool accounted:     306875 KB  37%
    memPool unaccounted:   530260 KB  63%
Что за     memPool unaccounted: 530260 KB ??? И вобще memory_pools off
Что за неучтённая memPool... Не этот ли параметр съедает всё подряд...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Squid съедает всю память и вываливается" +/–

Сообщение от Имя on 14-Дек-10, 01:02

memory_pools on
memory_pools_limit 1970 MB
(в вашем случае)

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 24-Дек-10, 18:50

> memory_pools on
> memory_pools_limit 1970 MB
> (в вашем случае)
Не помогло, так же ест память, приходится рестартовать сквид раз в сутки, иногда чаще...

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

19. "Squid съедает всю память и вываливается" +/–

Сообщение от ipmanyak (ok) on 25-Дек-10, 12:00

>> memory_pools on
>> memory_pools_limit 1970 MB
>> (в вашем случае)
> Не помогло, так же ест память, приходится рестартовать сквид раз в сутки,
> иногда чаще...
использовать alternate malloc library. Это пробовал?

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

20. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 26-Дек-10, 18:02

>>> memory_pools on
>>> memory_pools_limit 1970 MB
>>> (в вашем случае)
>> Не помогло, так же ест память, приходится рестартовать сквид раз в сутки,
>> иногда чаще...
> использовать alternate malloc library. Это пробовал?
Не нашёл откуда скачать, буду очень признателен, если дашь ссылку

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

21. "Squid съедает всю память и вываливается" +/–

Сообщение от ipmanyak (ok) on 27-Дек-10, 09:18

>>>> memory_pools on
>>>> memory_pools_limit 1970 MB
>>>> (в вашем случае)
>>> Не помогло, так же ест память, приходится рестартовать сквид раз в сутки,
>>> иногда чаще...
>> использовать alternate malloc library. Это пробовал?
> Не нашёл откуда скачать, буду очень признателен, если дашь ссылку
гуглишь на имя malloc.tar.gz
ftp://ftp.lip6.fr/pub/unix/threads/part/malloc.tar.gz
или ищешь это в паккаджах твой ОС  или на дисках с доп пакетами.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

22. "Squid съедает всю память и вываливается" +/–

Сообщение от Corwin (??) on 30-Дек-10, 14:14

> memory_pools on
> memory_pools_limit 1970 MB
> (в вашем случае)
У меня на аналогичной версии и настройках тоже съедает память в течение дня.
Но если начинаешь качать большие файлы >500 Мб, выедает всю память моментально... :(

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

23. "Squid съедает всю память и вываливается" +/–

Сообщение от jonnyquest (ok) on 13-Янв-11, 21:03

Что будем делать? :) GNU malloc не помог

Судя отсюда, я стопроцентно страдаю кривостью рук
http://meta.wikimedia.org/wiki/Wikimedia_servers
Цитата оттуда же:
For HTML we use Squid caching proxy servers in front of Apache. For image files, we use Squid in front of Sun Java System Web Server
А там у них 411 миллионов уникальных пользователей в месяц, 14 биллионов запросов страниц  в месяц.
Но я не знаю что делать уже и куда копать.
Я уже и убунту (изначально всё на "собственно собранных" Gentoo держу, всё великолепно от домена, шлюза ... до БД) ставил, с её автоматическим установщиком и установкой самого сквида из репозиториев, с настройкой его по минимуму и всё равно сжирает память! И железо полностью менял. Причём ему пофиг 2 или 1 гигабайт ОЗУ, он их съедает как то почему то за одно и тоже время... Что делаю не так - без понятия. Тонны мануалов прочёл, по всем параметрам конфига ориентируюсь вполне уверенно.
Был бы очень признателен, если бы человек, который держит сервер со сквидом на добрую сотню человек и не имеет с ним проблем, помог хотя бы небольшим советом.

P.S. (лог использования памяти одного из двух серверов со сквидом)
Мне реально плакать хочется, фирма ушла в отпуск 30 декабря, правда потом 5-6 клиентов постоянно онлайн до 9 числа, и 10-го фирма вышла на работу, но не все сотрудники (процентов 50 из 170 человек), и как видно:
2010-12-30 17:27:01 Process Data Segment Size via sbrk(): 979664 KB
2011-01-13 21:37:01 Process Data Segment Size via sbrk(): 979664 KB
Толи этот кто то ещё не вышел на работу, толи кто его знает.
А ещё интересует факт о том что сквид (с одинаковыми конфигами) под убунту кушает память неспеша и продолжительно, а на gentoo скачкообразно немереными порциями...

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Squid съедает всю память и вываливается" +/–

Сообщение от Jonny Quest on 04-Фев-11, 00:01

http://www.gentoo.ru/node/21866

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Squid съедает всю память и вываливается"	+/–
Сообщение от ipmanyak (ok) on 12-Ноя-10, 18:25
вы не показали из конфига сквида ни cache_dir ни сache_mem и где оне? по дефолту что ли? если по дефолту, то все равно покажите их сюда, я не знаю какие они в тройке, но дефолтовые настройки сразу скажу - не катят.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "Squid съедает всю память и вываливается"	+/–
	Сообщение от jonnyquest (ok) on 12-Ноя-10, 18:33
	> вы не показали из конфига сквида ни cache_dir ни сache_mem В том то и дело, что насильно я их не указывал, соответственно по умолчанию в конфиге сквида: #Default: # cache_mem 256 MB #cache_dir ufs /var/cache/squid 100 16 256 Но экспериментировал и с ними... Результатов не дало. В cache.log ничего особенного: 2010/11/12 17:02:56\| Squid Cache (Version 3.1.8): Exiting normally. 2010/11/12 17:03:08\| Creating Swap Directories 2010/11/12 17:03:08\| Starting Squid Cache version 3.1.8 for x86_64-pc-linux-gnu... 2010/11/12 17:03:08\| Process ID 668 2010/11/12 17:03:08\| With 1024 file descriptors available 2010/11/12 17:03:08\| Initializing IP Cache... 2010/11/12 17:03:08\| DNS Socket created at 0.0.0.0, FD 7 2010/11/12 17:03:08\| Adding nameserver 195.98.64.65 from /etc/resolv.conf 2010/11/12 17:03:08\| Adding nameserver 195.98.64.66 from /etc/resolv.conf 2010/11/12 17:03:08\| Adding nameserver 192.92.92.165 from /etc/resolv.conf 2010/11/12 17:03:08\| User-Agent logging is disabled. 2010/11/12 17:03:08\| Referer logging is disabled. 2010/11/12 17:03:08\| Unlinkd pipe opened on FD 12 2010/11/12 17:03:08\| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec 2010/11/12 17:03:08\| Store logging disabled 2010/11/12 17:03:08\| Swap maxSize 0 + 262144 KB, estimated 20164 objects 2010/11/12 17:03:08\| Target number of buckets: 1008 2010/11/12 17:03:08\| Using 8192 Store buckets 2010/11/12 17:03:08\| Max Mem size: 262144 KB 2010/11/12 17:03:08\| Max Swap size: 0 KB 2010/11/12 17:03:08\| Using Least Load store dir selection 2010/11/12 17:03:08\| Set Current Directory to /var/cache/squid 2010/11/12 17:03:08\| Loaded Icons. 2010/11/12 17:03:08\| Accepting HTTP connections at 192.92.92.100:3128, FD 13. 2010/11/12 17:03:08\| HTCP Disabled. 2010/11/12 17:03:08\| Squid modules loaded: 0 2010/11/12 17:03:08\| Ready to serve requests. 2010/11/12 17:03:09\| storeLateRelease: released 0 objects 2010/11/12 18:27:59\| Reconfiguring Squid Cache (version 3.1.8)... 2010/11/12 18:27:59\| FD 13 Closing HTTP connection 2010/11/12 18:27:59\| Processing Configuration File: /etc/squid/squid.conf (depth 0) 2010/11/12 18:27:59\| Initializing https proxy context 2010/11/12 18:27:59\| Squid modules loaded: 0 2010/11/12 18:27:59\| Store logging disabled 2010/11/12 18:27:59\| User-Agent logging is disabled. 2010/11/12 18:27:59\| Referer logging is disabled. 2010/11/12 18:27:59\| DNS Socket created at 0.0.0.0, FD 8 2010/11/12 18:27:59\| Adding nameserver 195.98.64.65 from /etc/resolv.conf 2010/11/12 18:27:59\| Adding nameserver 195.98.64.66 from /etc/resolv.conf 2010/11/12 18:27:59\| Adding nameserver 192.92.92.165 from /etc/resolv.conf 2010/11/12 18:27:59\| Accepting HTTP connections at 192.92.92.100:3128, FD 13. 2010/11/12 18:27:59\| HTCP Disabled. 2010/11/12 18:27:59\| Loaded Icons. 2010/11/12 18:27:59\| Ready to serve requests.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	4. "Squid съедает всю память и вываливается"	+/–
	Сообщение от jonnyquest (ok) on 12-Ноя-10, 18:38
	ещё одно наблюдение вот только что 2010-11-12 18:31:01 355200 KB 2010-11-12 18:32:01 1222068 KB
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	5. "Squid съедает всю память и вываливается"	+/–
	Сообщение от ipmanyak (ok) on 12-Ноя-10, 18:55
	>> вы не показали из конфига сквида ни cache_dir ни сache_mem > В том то и дело, что насильно я их не указывал, соответственно > по умолчанию в конфиге сквида: > #Default: > # cache_mem 256 MB > #cache_dir ufs /var/cache/squid 100 16 256 100 мег кэш на диске - вот это и трабла, сделайте больше. Мой совет cache_mem на ваше усмотрение - пусть будет 256 мег, но на диске нужно больше, сделайте полгига или гиг или два, больше 2 гигов смысла нету делать, эффектвиность небольшая. если юзеры ходят на разные сайты и будут накладные расходы на поиски в индексах и на память в ОЗУ. Сколько памяти нужно сквиду в ОЗУ 10 мег на каждый гиг КЭШа + cache_mem + 10-20MB мои настройки для хилой тачки на проце 667 Мгц и винт на 10 гиг и ОЗУ 128 мег сквид версии 2.4 cache_mem 24 MB cache_dir ufs /usr/local/squid/cache 640 16 256 p.s. коллега жаловался, что у него сквид ваще падал на фребсд, спросил эти же настройки - кэш на диск по дефолту, а кэш памяти типа как у тебя, кады кэш на диске увеличили, усе устаканилось! так что увеличивай кэш на винте или ваще его отруби, ну и грохнуть каталог сквида и затем squid -z
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	6. "Squid съедает всю память и вываливается"	+/–
	Сообщение от jonnyquest (ok) on 12-Ноя-10, 18:59
	Спасибо за информацию :) Но, если честно, то пробовал cache_mem разные с разным cache_dir Например было cache_mem 256 и cache_dir 12000 и всё равно память летела и летела. Больше склоняюсь к DoS атаке из локалки, так как сжирание памяти связано с рабочим графиком фирмы.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору

3. "Squid съедает всю память и вываливается"	+1 +/–
Сообщение от pavel_simple (ok) on 12-Ноя-10, 18:36
> Пожалуйста, помогите решить проблему, замучился... > Может дело в какой то атаке на прокси из локальной сети? Внешка > блокируется iptables наглухо. iptables? наглухо -- этj когда -P DROP и не одного правила, а учитывая то, что машина робит с тырнетом -- это не наглухо. 1. проверить правила netfilter/iptables 2. поставить любой подходящий под нагрузку netflow-коллектор, настроить, протестировать и в дальнейшем видеть графики учитывая то, что назрузка одинаково растёт на обоих серверах это может быть и нехорошие движения внутри сети (вирус, очередной скрипткидди, или просто неверно настроенное ПО), поэтому нетфло должен видеть и эту часть сети. P.S. скорее всего DOS из локалки, может стоит обновить squid (учитывая что у вас gentoo) и вот это http://www.squid-cache.org/Versions/v3/3.1/squid-3.1.9.patch
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	7. "Squid съедает всю память и вываливается"	+/–
	Сообщение от jonnyquest (ok) on 12-Ноя-10, 19:01
	Ваше предположение про DoS скорее всего верно. Wireshark'ом увидел два компа гадящих в сеть. После их очистки от: Backdoor.tdss.4631 Trojan.hosts.2087 Сквид перестал кушать. Может совпадение, но не уверен.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору

8. "Squid съедает всю память и вываливается"	+/–
Сообщение от ipmanyak (ok) on 12-Ноя-10, 19:03
вроде дал ответ, но не вижу своего ответа. в кратце кэш на винте увеличь, сделай полгига или гиг, более 2 гиг делать ваще смысла нет. но отдельный разговор cache_mem или уменьши до 128 мег, но мона оставить и 256 мег. а вот memory_pools сделай off тогда сквид память запрошенную свыше твоих 256 будет освобождать, в противном случае она остается распределенной для сквида. memory_pools off
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	9. "Squid съедает всю память и вываливается"	+/–
	Сообщение от ipmanyak (ok) on 12-Ноя-10, 19:07
	да нету никакой дос атаки из локали имхо. кэш на винте нужно увеличить и сделать memory pool off
	Ответить \| Правка \| ^ к родителю #8 \| Наверх \| Cообщить модератору


	10. "Squid съедает всю память и вываливается"	+/–
	Сообщение от pavel_simple (ok) on 12-Ноя-10, 19:25
	> да нету никакой дос атаки из локали имхо. кэш на винте нужно > увеличить и сделать memory pool off наши имхи не совпадают -- но а как оно на самом деле -- ктож его знает.
	Ответить \| Правка \| ^ к родителю #9 \| Наверх \| Cообщить модератору


	11. "Squid съедает всю память и вываливается"	+/–
	Сообщение от jonnyquest (ok) on 12-Ноя-10, 19:38
	Я писал в первом посте, что и так и эдак подгонял параметры. Мемори пулс в офф вгонял. Опять же съедание памяти рандомное, может жрать может нет, от нагрузки не особо зависит. Мужики, честное слово, уже давно с этим гемороем непонятным вожусь, конфиг вдоль поперёк перепробовал, на разные сочетания, прорыл много форумов и мануалов...
	Ответить \| Правка \| ^ к родителю #9 \| Наверх \| Cообщить модератору


	12. "Squid съедает всю память и вываливается"	+/–
	Сообщение от ipmanyak (ok) on 13-Ноя-10, 07:52
	> Я писал в первом посте, что и так и эдак подгонял параметры. > Мемори пулс в офф вгонял. Опять же съедание памяти рандомное, может > жрать может нет, от нагрузки не особо зависит. > Мужики, честное слово, уже давно с этим гемороем непонятным вожусь, конфиг вдоль > поперёк перепробовал, на разные сочетания, прорыл много форумов и мануалов... Почитай тут http://wiki.squid-cache.org/SquidFaq/SquidMemory и тут http://www.comfsm.fm/computing/squid/FAQ-8.html особенно главу - What can I do to reduce Squid's memory usage? Рекомендации - уменьшить cache_mem, напримр до 32 мег - уменьшить cache_swap - использовать alternate malloc library. - Обновить squid до 3.1.9 - ядро системы поставить посвежее. access.log смотрел/анализировал? ничего экзотического не замечал? >Но вот пришло время и в !ОДИН ДЕНЬ! и на старом сервере и на новом !ОДНОВРЕМЕННО! squid начал пожирать память эту фразу я ранее как-то пропустил, а она да, наводит на мысли, что в локалке какая-нить гадость гуляет.
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору

13. "Squid съедает всю память и вываливается"	+/–
Сообщение от adre on 16-Ноя-10, 20:30
> Здравствуйте! > Имею уже полгода проблему со Squid 3.1.* (до определённого момента всё было > очень даже стабильно). > Squid после запуска растёт и растёт и растёт, пока не съест оперативную > память и swap... 1 - каков при этом размер файла swap.state? 2 - скорее всего у вас большой кэш и была не корректно завершена работа squid, (свет внезапно с безперебойника пропал, была команда немедленного прерывания работы). Короче сквид переиндексирует свой кеш - а это очень ресурсоёмкий процесс. Вывод: очистите кеш: остановите сквид, удалите папки с файлами кэша, swap.state, далее squid -z и сквид опять будет воркать нормальна не пожирая память. -пусть у него ведутся логи на такой случай, чтоб смотреть потом в чём глюк. (store.log,cache.log), применяйте squid -k rotate хотя бы раз в неделю -перестройка кеша в 10гб заняла внезапно 6 суток. cache_dir /path 10240 16 256
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	14. "Squid съедает всю память и вываливается"	+/–
	Сообщение от adre on 16-Ноя-10, 20:33
	>[оверквотинг удален] > завершена работа squid, (свет внезапно с безперебойника пропал, была команда немедленного > прерывания работы). Короче сквид переиндексирует свой кеш - а это > очень ресурсоёмкий процесс. > Вывод: очистите кеш: остановите сквид, удалите папки с файлами кэша, swap.state, далее > squid -z и сквид опять будет воркать нормальна не пожирая память. > -пусть у него ведутся логи на такой случай, чтоб смотреть потом в > чём глюк. (store.log,cache.log), применяйте squid -k rotate хотя бы раз в > неделю > -перестройка кеша в 10гб заняла внезапно 6 суток. > cache_dir /path 10240 16 256 да кэш надо больше вам сделать т.к. 100мб - слишком мало для хранилища, и почистите логи.
	Ответить \| Правка \| ^ к родителю #13 \| Наверх \| Cообщить модератору


	15. "Squid съедает всю память и вываливается"	+/–
	Сообщение от jonnyquest (ok) on 17-Ноя-10, 16:06
	>[оверквотинг удален] >> очень ресурсоёмкий процесс. >> Вывод: очистите кеш: остановите сквид, удалите папки с файлами кэша, swap.state, далее >> squid -z и сквид опять будет воркать нормальна не пожирая память. >> -пусть у него ведутся логи на такой случай, чтоб смотреть потом в >> чём глюк. (store.log,cache.log), применяйте squid -k rotate хотя бы раз в >> неделю >> -перестройка кеша в 10гб заняла внезапно 6 суток. >> cache_dir /path 10240 16 256 > да кэш надо больше вам сделать т.к. 100мб - слишком мало для > хранилища, и почистите логи. squid -k rotate делается каждые сутки swap.state 5Мегабайт. Даже если не использовать кэш, cache_dir null /dev/null то всё равно поедает адски оперативку. Причём, вчера хорошо работал - съел 3Гб, не вываливался ни разу. Сегодня за 10 минут съедал 4Гб!!!! Конфиг следующий: acl manager proto cache_object acl localhost src 127.0.0.1/32 192.92.92.100 acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 acl localnet src 192.92.92.0/24 acl SSL_ports port 443 acl Jabber_ports port 5222 5223 acl Bussiness port 15100 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl Safe_ports port 901 # SWAT acl CONNECT method CONNECT http_access deny !Safe_ports http_access deny CONNECT !SSL_ports !Jabber_ports !Bussiness http_access allow manager localhost http_access allow localnet http_access deny all http_port 192.92.92.100:3128 hierarchy_stoplist cgi-bin ? cache_mem 64 MB cache_dir ufs /mnt/cache/squid1g 1024 16 256 maximum_object_size 10240 KB coredump_dir /var/cache/squid refresh_pattern ^ftp: &n... 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i (/cgi-bin/\|\?) 0 0% 0 refresh_pattern . 0 20% 4320 ignore_expect_100 on memory_pools off В cache.log повышу детализацию и посмотрю. У Вас cache_mem сколько выставлено? И, если можно, то какие фишечки ещё в конфиге настраивались? Клиентов много?
	Ответить \| Правка \| ^ к родителю #14 \| Наверх \| Cообщить модератору

16. "Squid съедает всю память и вываливается"	+/–
Сообщение от jonnyquest (ok) on 26-Ноя-10, 12:13
Здравствуйте всем ещё раз :) Грешил на кривые руки мои в настройке Gentoo. Установил Ubuntu Server на Atom 330 с 1Gb оперативной памяти, и на "чистую" ОС Squid 3.1.9 Расти процесс стал не скачкообразно, а плавно, но всё равно съедает всю оперативную память и кэш. Пожалуйста, посмотрите мой cachemgr и конфиг. Где что я не правильно делаю? Зараза в сети нашлась, не один десяток, но чистка не помогла, да и в сеть особо не гадила. Пакеты tcpdump`ом анализировал, ничего криминального... Конфиг (memory_pools off выставлено): auth_param ntlm program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-ntlmssp auth_param ntlm children 90 auth_param basic program /usr/bin/ntlm_auth --helper-protocol=squid-2.5-basic auth_param basic children 50 auth_param basic realm Squid proxy-caching web server auth_param basic credentialsttl 2 hours auth_param basic casesensitive off acl manager proto cache_object acl localhost src 127.0.0.1/32 acl to_localhost dst 127.0.0.0/8 0.0.0.0/32 external_acl_type nt_group ttl=0 children=30 %LOGIN /lib/squid3/wbinfo_group.pl acl inet_full external nt_group inetfull acl inet_none external nt_group inetnone acl IRCOC proxy_auth REQUIRED acl localnet src 192.92.92.0/24 acl SSL_ports port 443 15100 5222 5223 3900 acl Safe_ports port 80 # http acl Safe_ports port 21 # ftp acl Safe_ports port 443 # https acl Safe_ports port 70 # gopher acl Safe_ports port 210 # wais acl Safe_ports port 1025-65535 # unregistered ports acl Safe_ports port 280 # http-mgmt acl Safe_ports port 488 # gss-http acl Safe_ports port 591 # filemaker acl Safe_ports port 777 # multiling http acl CONNECT method CONNECT cache_mem 256 MB http_access allow manager localhost http_access deny manager http_access deny !Safe_ports http_access deny CONNECT !SSL_ports http_access allow localhost http_access deny inet_none http_access allow IRCOC http_access deny all delay_pools 1 delay_class 1 1 delay_parameters 1 300000/300000 delay_access 1 allow !inet_full !localhost delay_access 1 deny all http_access deny all http_port 3128 hierarchy_stoplist cgi-bin ? cache_dir ufs /var/cache/squid 1024 16 256 coredump_dir /var/cache refresh_pattern ^ftp: &n... 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern -i (/cgi-bin/\|\?) 0 0% 0 refresh_pattern . 0 20% 4320 dns_nameservers 195.98.64.65 195.98.64.66 memory_pools off Кэшменеджер: Squid Object Cache: Version 3.1.9 Start Time: Thu, 25 Nov 2010 08:25:55 GMT Current Time: Fri, 26 Nov 2010 09:07:21 GMT Connection information for squid: Number of clients accessing cache: 88 Number of HTTP requests received: 810059 Number of ICP messages received: 0 Number of ICP messages sent: 0 Number of queued ICP replies: 0 Number of HTCP messages received: 0 Number of HTCP messages sent: 0 Request failure ratio: 0.00 Average HTTP requests per minute since start: 546.8 Average ICP messages per minute since start: 0.0 Select loop called: 19706281 times, 4.511 ms avg Cache information for squid: Hits as % of all requests: 5min: 18.6%, 60min: 10.6% Hits as % of bytes sent: 5min: 35.7%, 60min: 23.6% Memory hits as % of hit requests: 5min: 13.2%, 60min: 16.0% Disk hits as % of hit requests: 5min: 44.6%, 60min: 46.1% Storage Swap size: 943716 KB Storage Swap capacity: 90.0% used, 10.0% free Storage Mem size: 259652 KB Storage Mem capacity: 100.0% used, 0.0% free Mean Object Size: 16.16 KB Requests given to unlinkd: 142547 Median Service Times (seconds) 5 min 60 min: HTTP Requests (All): 0.02451 0.03241 Cache Misses: 0.11465 0.13498 Cache Hits: 0.01164 0.02317 Near Hits: 0.13498 0.14252 Not-Modified Replies: 0.01648 0.01648 DNS Lookups: 0.00295 0.01046 ICP Queries: 0.00000 0.00000 Resource usage for squid: UP Time: 88886.322 seconds CPU Time: 2613.920 seconds CPU Usage: 2.94% CPU Usage, 5 minute avg: 5.24% CPU Usage, 60 minute avg: 5.95% Process Data Segment Size via sbrk(): 802164 KB Maximum Resident Size: 2796864 KB Page faults with physical i/o: 2 Memory usage for squid via mallinfo(): Total space in arena: 802296 KB Ordinary blocks: 740639 KB 95517 blks Small blocks: 0 KB 0 blks Holding blocks: 34840 KB 8 blks Free Small blocks: 0 KB Free Ordinary blocks: 61656 KB Total in use: 775479 KB 93% Total free: 61656 KB 7% Total size: 837136 KB Memory accounted for: Total accounted: 306875 KB 37% memPool accounted: 306875 KB 37% memPool unaccounted: 530260 KB 63% memPoolAlloc calls: 0 memPoolFree calls: 174041467 File descriptor usage for squid: Maximum number of file descriptors: 65535 Largest file desc currently in use: 832 Number of file desc currently in use: 455 Files queued for open: 0 Available number of file descriptors: 65080 Reserved number of file descriptors: 100 Store Disk files open: 0 Internal Data Structures: 58431 StoreEntries 17293 StoreEntries with MemObjects 17287 Hot Object Cache Items 58399 on-disk objects Если внимательно присмотреться, то Storage Mem size: 259652 KB - всё верно, ведь cache_mem 256 MB выставлено. А вот следующие данные имхо странные: Memory accounted for: Total accounted: 306875 KB 37% memPool accounted: 306875 KB 37% memPool unaccounted: 530260 KB 63% Что за memPool unaccounted: 530260 KB ??? И вобще memory_pools off Что за неучтённая memPool... Не этот ли параметр съедает всё подряд...
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	17. "Squid съедает всю память и вываливается"	+/–
	Сообщение от Имя on 14-Дек-10, 01:02
	memory_pools on memory_pools_limit 1970 MB (в вашем случае)
	Ответить \| Правка \| ^ к родителю #16 \| Наверх \| Cообщить модератору


	18. "Squid съедает всю память и вываливается"	+/–
	Сообщение от jonnyquest (ok) on 24-Дек-10, 18:50
	> memory_pools on > memory_pools_limit 1970 MB > (в вашем случае) Не помогло, так же ест память, приходится рестартовать сквид раз в сутки, иногда чаще...
	Ответить \| Правка \| ^ к родителю #17 \| Наверх \| Cообщить модератору


	19. "Squid съедает всю память и вываливается"	+/–
	Сообщение от ipmanyak (ok) on 25-Дек-10, 12:00
	>> memory_pools on >> memory_pools_limit 1970 MB >> (в вашем случае) > Не помогло, так же ест память, приходится рестартовать сквид раз в сутки, > иногда чаще... использовать alternate malloc library. Это пробовал?
	Ответить \| Правка \| ^ к родителю #18 \| Наверх \| Cообщить модератору


	20. "Squid съедает всю память и вываливается"	+/–
	Сообщение от jonnyquest (ok) on 26-Дек-10, 18:02
	>>> memory_pools on >>> memory_pools_limit 1970 MB >>> (в вашем случае) >> Не помогло, так же ест память, приходится рестартовать сквид раз в сутки, >> иногда чаще... > использовать alternate malloc library. Это пробовал? Не нашёл откуда скачать, буду очень признателен, если дашь ссылку
	Ответить \| Правка \| ^ к родителю #19 \| Наверх \| Cообщить модератору


	21. "Squid съедает всю память и вываливается"	+/–
	Сообщение от ipmanyak (ok) on 27-Дек-10, 09:18
	>>>> memory_pools on >>>> memory_pools_limit 1970 MB >>>> (в вашем случае) >>> Не помогло, так же ест память, приходится рестартовать сквид раз в сутки, >>> иногда чаще... >> использовать alternate malloc library. Это пробовал? > Не нашёл откуда скачать, буду очень признателен, если дашь ссылку гуглишь на имя malloc.tar.gz ftp://ftp.lip6.fr/pub/unix/threads/part/malloc.tar.gz или ищешь это в паккаджах твой ОС или на дисках с доп пакетами.
	Ответить \| Правка \| ^ к родителю #20 \| Наверх \| Cообщить модератору


	22. "Squid съедает всю память и вываливается"	+/–
	Сообщение от Corwin (??) on 30-Дек-10, 14:14
	> memory_pools on > memory_pools_limit 1970 MB > (в вашем случае) У меня на аналогичной версии и настройках тоже съедает память в течение дня. Но если начинаешь качать большие файлы >500 Мб, выедает всю память моментально... :(
	Ответить \| Правка \| ^ к родителю #17 \| Наверх \| Cообщить модератору


	23. "Squid съедает всю память и вываливается"	+/–
	Сообщение от jonnyquest (ok) on 13-Янв-11, 21:03
	Что будем делать? :) GNU malloc не помог Судя отсюда, я стопроцентно страдаю кривостью рук http://meta.wikimedia.org/wiki/Wikimedia_servers Цитата оттуда же: For HTML we use Squid caching proxy servers in front of Apache. For image files, we use Squid in front of Sun Java System Web Server А там у них 411 миллионов уникальных пользователей в месяц, 14 биллионов запросов страниц в месяц. Но я не знаю что делать уже и куда копать. Я уже и убунту (изначально всё на "собственно собранных" Gentoo держу, всё великолепно от домена, шлюза ... до БД) ставил, с её автоматическим установщиком и установкой самого сквида из репозиториев, с настройкой его по минимуму и всё равно сжирает память! И железо полностью менял. Причём ему пофиг 2 или 1 гигабайт ОЗУ, он их съедает как то почему то за одно и тоже время... Что делаю не так - без понятия. Тонны мануалов прочёл, по всем параметрам конфига ориентируюсь вполне уверенно. Был бы очень признателен, если бы человек, который держит сервер со сквидом на добрую сотню человек и не имеет с ним проблем, помог хотя бы небольшим советом. P.S. (лог использования памяти одного из двух серверов со сквидом) Мне реально плакать хочется, фирма ушла в отпуск 30 декабря, правда потом 5-6 клиентов постоянно онлайн до 9 числа, и 10-го фирма вышла на работу, но не все сотрудники (процентов 50 из 170 человек), и как видно: 2010-12-30 17:27:01 Process Data Segment Size via sbrk(): 979664 KB 2011-01-13 21:37:01 Process Data Segment Size via sbrk(): 979664 KB Толи этот кто то ещё не вышел на работу, толи кто его знает. А ещё интересует факт о том что сквид (с одинаковыми конфигами) под убунту кушает память неспеша и продолжительно, а на gentoo скачкообразно немереными порциями...
	Ответить \| Правка \| ^ к родителю #22 \| Наверх \| Cообщить модератору


	24. "Squid съедает всю память и вываливается"	+/–
	Сообщение от Jonny Quest on 04-Фев-11, 00:01
	http://www.gentoo.ru/node/21866
	Ответить \| Правка \| ^ к родителю #22 \| Наверх \| Cообщить модератору