https://89.19.215.112/openforum/vsluhforumID12/7419.html Имеется мобильный оператор, крайне не любящий высокий PPS, packet-per-second.<br>При этом порядка 90% траффика, который на данный момент роутится через openvpn/udp состоит из пакетов 64-128 байт.<br><br>Есть ли какие-либо варианты аггрегации мелких пакетов по достижению заданного размера или по таймауту?<br><br>По мотивам темы 10-летней давности https://www.linux.org.ru/forum/admin/10120422<br><br>Спустя 10 лет, что-то появилось, или отправят писать свой протокол?<br> https://89.19.215.112/openforum/vsluhforumID12/7419.html#15 Sun, 07 Apr 2024 17:32:11 GMT <br>&gt; Так у меня изначальный вопрос был, есть ли возможность объединить в канале, <br>&gt; например, openvpn мелкие пакеты, снизив внешний pps?<br><br>вот набор ссылок по теме. спрашивайте.<br><br>тут только не надо читать умняк насчет полностью эмулировать tcp, ничего мы эмулировать не будем, у нас два сокета будет занято (один туда, второй сюда), мы их НЕ будем дивертить а всё остальное будем:<br>https://www.opennet.ru/base/net/fire.txt.html<br><br>https://forum.lissyara.su/freebsd-f8/ipfw-divert-t5511.html<br>https://man.freebsd.org/cgi/man.cgi?query=divert&sektion=4&apropos=0&manpath=FreeBSD+9.0-RELEASE+and+Ports<br>https://man.freebsd.org/cgi/man.cgi?query=Net::Divert&sektion=3&apropos=0&manpath=FreeBSD%209.0-RELEASE%20and%20Ports<br> https://89.19.215.112/openforum/vsluhforumID12/7419.html#14 Sun, 07 Apr 2024 17:11:29 GMT <br>&gt; Так у меня изначальный вопрос был, есть ли возможность объединить в канале, <br>&gt; например, openvpn мелкие пакеты, снизив внешний pps?<br><br>PS кстати, простой скрипт на перле, думаю до тысяч 50 пакетов на современной машинке потянет, ну точно заметно больше 1500.<br> https://89.19.215.112/openforum/vsluhforumID12/7419.html#13 Sun, 07 Apr 2024 17:09:40 GMT &gt;[оверквотинг удален]<br>&gt; ipfw add 10 pipe 1 udp from 10.11.9.21 to 10.11.9.1 out <br>&gt; ipfw pipe 1 config bw 2Mbit/s queue 4KBytes <br>&gt; # лимит выше 1Мбит (-b 1M), условно, без лимита <br>&gt; iperf3 -u -c 10.11.9.1 -b 1M -t -2 -l 64 <br>&gt; То есть, я просто получю шейпер.<br>&gt; При разных вариантах очереди, таймаута, полосы, получается шейпер.<br>&gt; Всё работает логично и правильно, и тут не должно быть никаких объединений <br>&gt; нескольких мелких пакетов в один mtu.<br>&gt; Так у меня изначальный вопрос был, есть ли возможность объединить в канале, <br>&gt; например, openvpn мелкие пакеты, снизив внешний pps?<br><br>Всё логично, это императивный подход, теперь надо в явном виде завернуть пакеты в диверт сокет и пару программ, одна будет клиент, вторая сервер, одна будет пакеты из диверта отправлять в tcp сокет, а вторая получать со своей стороны и в свой диверт вкладывать.<br> https://89.19.215.112/openforum/vsluhforumID12/7419.html#12 Sun, 07 Apr 2024 11:52:43 GMT Локальная kvm freebsd, openvpn<br>ipfw add 10 pipe 1 udp from 10.11.9.21 to 10.11.9.1 out<br>ipfw pipe 1 config bw 2Mbit/s queue 4KBytes # лимит выше 1Мбит (-b 1M), условно, без лимита<br>iperf3 -u -c 10.11.9.1 -b 1M -t -2 -l 64<br><br>[ ID] Interval Transfer Bitrate Total Datagrams<br>[ 5] 0.00-1.00 sec 122 KBytes 999 Kbits/sec 1952 <br>[ 5] 1.00-2.00 sec 122 KBytes 1000 Kbits/sec 1953 <br>[ 5] 2.00-3.00 sec 122 KBytes 1000 Kbits/sec 1953 <br>[ 5] 3.00-4.00 sec 122 KBytes 1000 Kbits/sec 1953 <br>[ 5] 4.00-5.00 sec 122 KBytes 1000 Kbits/sec 1953 <br>[ 5] 5.00-6.00 sec 122 KBytes 1000 Kbits/sec 1953<br><br>Хост debian, проверял pps как для vnet30, так и для wlan0<br>Количество пакетов в секунду одинаковое<br><br>tx 1 rx 1966 / pps on vnet30<br>tx 1 rx 1962 / pps on vnet30<br>tx 1 rx 1955 / pps on vnet30<br>tx 1 rx 1962 / pps on vnet30<br>tx 1 rx 1961 / pps on vnet30<br><br>tx 1958 rx 2 / pps on wlan0<br>tx 1961 rx 2 / pps on wlan0<br>tx 1955 rx 3 / pps on wlan0<br>tx 1964 rx https://89.19.215.112/openforum/vsluhforumID12/7419.html#11 Sat, 06 Apr 2024 22:32:09 GMT &gt; Спасибо ещё раз.<br>&gt; Читаю мануал ipfw и dummynet и складывается понимание, что queue используется именно <br>&gt; как некий буффер чтения, при заполненной полосе bw, <br>&gt; при переполнении которого пакеты просто отбрасываются, если не успевают проходить в bw, <br>&gt; НО не как буффер для накопления перед отправкой, <br>&gt; который опустошается (в канал с учётом bw) при заполнении или по delay. <br><br>Это КОРЗИНА, которая заполняется пришедшими пакетами со скоростью ограниченной bw, то есть если будет приходить больше, будут отбрасываться сразу.<br>Далее, если суммарный размер пакетов находящихся в корзине с новым больше отконфигуренного размера, или если в корзине максимальное количество пакетов, новый пакет НЕ добавляется а отбрасывается.<br>Далее, если пакет таки попал в корзину, включается таймер и он там сидит до тех пор пока не закончится delay, как закончится delay отправляется дальше по ipfw и удаляется из корзины (освобождает место в корзине).<br>Проверка производится не в абстрактные моменты времени, а строго по тикам тайм https://89.19.215.112/openforum/vsluhforumID12/7419.html#10 Sat, 06 Apr 2024 19:03:26 GMT Спасибо ещё раз.<br>Читаю мануал ipfw и dummynet и складывается понимание, что queue используется именно как некий буффер чтения, при заполненной полосе bw, <br>при переполнении которого пакеты просто отбрасываются, если не успевают проходить в bw, НО не как буффер для накопления перед отправкой, <br>который опустошается (в канал с учётом bw) при заполнении или по delay.<br>Или delay здесь не нужен так как он будет просто тормозить все пакеты и не связан с queue?<br><br>&gt; The queue option sets the maximum amount of excess data (in packets or KBytes) that will be accepted before additional packets are refused.<br><br>Собственно, как именно это будет интерпретироваться, по сути мне только это и надо, <br>10.1.1.111 - tun0 в клиенте локальной freebsd, 10.1.1.1 - tun0 - внешнего сервера, тоже на freebsd.<br><br>ipfw add pipe 1 ip from 10.1.1.111/32 to 10.1.1.1/32 out<br>ipfw pipe 1 config bw 10Mbit/s queue 4KBytes delay 24ms<br><br>Если я правильно понял, то "queue 4KBytes delay 24ms" это (4096&#215;8)&#215;(1000÷24) = канал 1.3Мбит/с, что с https://89.19.215.112/openforum/vsluhforumID12/7419.html#8 Wed, 03 Apr 2024 23:00:48 GMT &gt; Читаю handbook и мануал по ipwf и не нахожу ничего похожего на <br>&gt; корзину, только delay применяемый для каждого отдельного пакета.<br><br>ipfw pipe<br>Там в настройках конкретной трубы можно указать:<br>bw bandwidth<br>delay ms-delay<br>queue {slots &#124; sizeKbytes}<br><br>я просто назвал корзиной буфер (тут он очередь).<br><br>&gt; Можешь ткнуть конкретно или привести некоторые правила от которых можно оттолкнуться?<br>&gt; А то чувствую себя хлебушком в freebsd, после 15 лет на debian. <br><br>Тут есть небольшая проблема, у меня сгорели все компы где еще был АТА а оно на старом диске. Но по памяти я нашел в интернетах пример (и чуток подправил для лучшей наглядности):<br><br>sudo ipfw pipe 1 config bw 15KByte/s<br># creates a pipe that only allows up to 15KB/s to go through. <br># Then:<br>sudo ipfw add 10 pipe 1 src-port 80<br># will attach that pipe to the outgoing traffic on port 80, effectively limiting the outgoing traffic of the web server.<br>sudo ipfw delete 10<br># will remove the pipe from the port. <br><br>https://gist.github.com/olegokunevych/ https://89.19.215.112/openforum/vsluhforumID12/7419.html#7 Wed, 03 Apr 2024 06:58:39 GMT &gt;&gt; Есть ли какие-либо варианты аггрегации мелких пакетов по достижению заданного размера или <br>&gt;&gt; по таймауту?<br>&gt; Вообще буквально так работает FreeBSD ipfw pipe, там буквально есть корзина, которая <br>&gt; заполняется пакетами и освобождается, либо когда пакет задержан на сколько заказано, <br>&gt; либо когда корзина переполнилась.<br><br>Это уже интересно, спасибо!<br>Читаю handbook и мануал по ipwf и не нахожу ничего похожего на корзину, только delay применяемый для каждого отдельного пакета.<br><br>Можешь ткнуть конкретно или привести некоторые правила от которых можно оттолкнуться?<br>А то чувствую себя хлебушком в freebsd, после 15 лет на debian.<br><br>Я правильно понимаю, что чтоб с обратной стороны не получать отдельные пакеты ответов, то надо с обоих сторон [freebsd&gt;openvp] &lt;канал&gt; [openvpn&lt;freebsd]<br><br> https://89.19.215.112/openforum/vsluhforumID12/7419.html#6 Tue, 02 Apr 2024 04:57:37 GMT &gt; Есть ли какие-либо варианты аггрегации мелких пакетов по достижению заданного размера или <br>&gt; по таймауту?<br><br>Вообще буквально так работает FreeBSD ipfw pipe, там буквально есть корзина, которая заполняется пакетами и освобождается, либо когда пакет задержан на сколько заказано, либо когда корзина переполнилась.<br><br>На практике, надо померять распределение траффика, посчитать сколько пакетов в секунду проходит сейчас и поделить на сколько хочется иметь и получится 1/(задержка в секундах).<br><br>Дальше это уже вопрос настройки VPN, который будет просто отправлять сразу блоком - главное что этими пайпами оно будет получать сразу вот этот блок.<br>В Линуксе это вобщем тоже можно сделать, но сильно менее удобно.<br><br>Я экспериментировал с этой штукой, но траффик через диверт вытаскивал в скрипт и там в скрипте делал нужные мне манипуляции, это делается через юсерспейс, поэтому небыстрая штука получилась, но так точно работает, это факт.<br>В принципе можно переписать на С++, а также там есть ebpf кажется расширение чтобы