forum.opennet.ru - "Пропускная способность сети" (13)

"Пропускная способность сети"

Форум Открытые системы на сервере (Сеть. проблемы, диагностика / FreeBSD)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Пропускная способность сети"	–1 +/–
Сообщение от nops (ok) on 22-Мрт-18, 08:33
Доброго всем здравия. Господа, помогите разобраться. Имеем: # uname -a FreeBSD backup 10.3-RELEASE-p11 FreeBSD 10.3-RELEASE-p11 #0: Mon Oct 24 18:49:24 UTC 2016 root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC amd64 Сюда складываются бекапы акронисом с двух виндовый серверов, первый по самбе, второй по FTP. Сделал так, чтобы посмотреть и сравнить нагрузку и скорость. Так же на этом сервере стоит zabbix и следит за собой в том числе. Что мы имеем. Сначала запускается акронис на первом сервере и копирует бекап по самбе. Потом запускается акронис на втором сервере и копирует по FTP. Вот такой получаем график: 1 - загрузка сетевого интерфейса: http://yapx.ru/v/BHUSU 2 - загрузка процессора: http://yapx.ru/v/BHUSZ и http://yapx.ru/v/BHUSc Видим загрузки сети только на 250 Мбит в максимуме. Когда просто копируешь файл и смотришь на нагрузку, скорость скачет от 200 до 250 Мбит/сек. Сначала я подумал что не тянет сеть и нужно подтюнить, но вовремя вспомнил про iperf, и вот такие результаты: # iperf -c 10.10.10.9 -p 5201 ------------------------------------------------------------ Client connecting to 10.10.10.9, TCP port 5201 TCP window size: 32.5 KByte (default) ------------------------------------------------------------ [ 3] local 10.10.10.12 port 43493 connected with 10.10.10.9 port 5201 write failed: Broken pipe [ ID] Interval Transfer Bandwidth [ 3] 0.0- 8.5 sec 884 MBytes 875 Mbits/sec Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости. Кстати, с NFS та же история, скорость режется.
Ответить \| Правка \| Cообщить модератору

Оглавление

Пропускная способность сети, Pahanivo, 09:17 , 22-Мрт-18, (1)

Пропускная способность сети, nops, 10:08 , 22-Мрт-18, (2)

Пропускная способность сети, nops, 12:11 , 22-Мрт-18, (3)

Пропускная способность сети, AF, 12:35 , 22-Мрт-18, (4)

Пропускная способность сети, nops, 12:37 , 22-Мрт-18, (5)

Пропускная способность сети, Pahanivo, 13:12 , 22-Мрт-18, (6)

Пропускная способность сети, nops, 13:16 , 22-Мрт-18, (7)

Пропускная способность сети, Аноним, 16:32 , 22-Мрт-18, (9)

Пропускная способность сети, nops, 18:09 , 22-Мрт-18, (10)

Пропускная способность сети, Аноним, 14:11 , 22-Мрт-18, (8) +1

Пропускная способность сети, nops, 18:12 , 22-Мрт-18, (11)

Пропускная способность сети, Сергей, 19:50 , 22-Мрт-18, (12)

Пропускная способность сети, a, 14:58 , 26-Мрт-18, (13)

Сообщения по теме [Сортировка по времени | RSS]

1. "Пропускная способность сети" +/–

Сообщение от Pahanivo (ok) on 22-Мрт-18, 09:17

> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
> Кстати, с NFS та же история, скорость режется.
Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический /dev/null ...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Пропускная способность сети" +/–

Сообщение от nops (ok) on 22-Мрт-18, 10:08

>> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
>> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
>> Кстати, с NFS та же история, скорость режется.
> Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический
> /dev/null ...
Ок.
Допустим. Я допускаю что я могу и ошибаться, посему поясните мне пожалуйста.
# dd if=/dev/zero of=file.txt count=1024 bs=1m
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 7.043192 secs (152451025 bytes/sec)
Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)
Но это синтетика, физическая скорость будет меньше, тут я просто делаю: time cp fiтle.txt file
# time cp file.txt file
0.000u 0.554s 0:06.56 8.3%    20+165k 756+0io 0pf+0w
Если я правильно понимаю, то затратил на выполнение команды 6,56 секунды. Давай посчитаем.
Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек. Что равняется 1248 Мбит/сек.
Диски WD WD20EFRX? собраны в RAIDZ:
  pool: zstore
state: ONLINE
  scan: resilvered 24K in 0h0m with 0 errors on Fri Dec  8 16:02:30 2017
config:
    NAME             STATE     READ WRITE CKSUM
    zstore           ONLINE       0     0     0
      raidz1-0       ONLINE       0     0     0
        gpt/backup0  ONLINE       0     0     0
        gpt/backup1  ONLINE       0     0     0
        gpt/backup2  ONLINE       0     0     0
        gpt/backup3  ONLINE       0     0     0
errors: No known data errors
Это конечно последовательная запись, но все же. Мне все кажется, что тут есть какое-то где-то логическое ограничение.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Пропускная способность сети" +/–

Сообщение от nops (ok) on 22-Мрт-18, 12:11

Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.
По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
Старт быть вообще на 700 МБ/с, но это не реально, мы все понимаем, это скорее кеш, но вот после скорость встала на 120-127 МБ/с, и так держится... что полностью соответствует подключению.
Кстати, iscsi находится на этом же сервере под управлением FreeBSD

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Пропускная способность сети" +/–

Сообщение от AF on 22-Мрт-18, 12:35

> Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.
> По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
> Старт быть вообще на 700 МБ/с, но это не реально, мы все
> понимаем, это скорее кеш, но вот после скорость встала на 120-127
> МБ/с, и так держится... что полностью соответствует подключению.
> Кстати, iscsi находится на этом же сервере под управлением FreeBSD
А hdparm -tT на FreeBSD есть?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Пропускная способность сети" +/–

Сообщение от nops (ok) on 22-Мрт-18, 12:37

>> Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.
>> По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
>> Старт быть вообще на 700 МБ/с, но это не реально, мы все
>> понимаем, это скорее кеш, но вот после скорость встала на 120-127
>> МБ/с, и так держится... что полностью соответствует подключению.
>> Кстати, iscsi находится на этом же сервере под управлением FreeBSD
>  А hdparm -tT на FreeBSD есть?
Вроде как нет.
Ни в системе, ни в портах, ни в пекаджах

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Пропускная способность сети" +/–

Сообщение от Pahanivo (ok) on 22-Мрт-18, 13:12

Если ты видишь что скорость на сети и скорость записи на диск норм, но при этом разные протоколы дают разный результат то вывод напрашивается сам собой - тюнить конкретный протокол.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

7. "Пропускная способность сети" +/–

Сообщение от nops (ok) on 22-Мрт-18, 13:16

> Если ты видишь что скорость на сети и скорость записи на диск
> норм, но при этом разные протоколы дают разный результат то вывод
> напрашивается сам собой - тюнить конкретный протокол.
Так это я понимаю, логически, но не понимаю что именно не так. Самба, как ни странно, дает большую скорость в пике, ФТП дает более стабильную скорость, НФС самую низкую.
Вот и прошу помощи, где и что искать и тюнить

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

9. "Пропускная способность сети" +/–

Сообщение от Аноним (??) on 22-Мрт-18, 16:32

> Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)
> Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек.
> Что равняется 1248 Мбит/сек.
вот только все эти ваши гигабиты на одном смешном гигабайтном фале - это все отлично летит в кеш/буфферы. Тот же DD попробуйте с fsync и с размером блока в 8к (или сколько там у вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync, как это делают протоколы работы поверх сети.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

10. "Пропускная способность сети" +/–

Сообщение от nops (ok) on 22-Мрт-18, 18:09

>> Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)
>> Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек.
>> Что равняется 1248 Мбит/сек.
> вот только все эти ваши гигабиты на одном смешном гигабайтном фале -
> это все отлично летит в кеш/буфферы. Тот же DD попробуйте с
> fsync и с размером блока в 8к (или сколько там у
> вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync,
> как это делают протоколы работы поверх сети.
Я могу вас понят и вашу иронию тоже, но я беру эти цифры не с потолка. Такие же диски я эксплуатирую далеко не первый год и не на одном сервере, как на Windows, так и на FreeBSD.
Что касается кеша, то могу однозначно сказать и из опыта, что при работе с кешем, скорость записи достигается 1200МБайт/сек.: http://yapx.ru/v/BHZJO
Вот именно это работа кеша и памяти, но стоит загнать файл скажем в 10Гб или больше, как скорость падает примерно до 180.
Я же тут лишь спрашиваю, что с этим можно сделать и почему такое происходит. Лично я работаю, и уже очень давно, с дисками WD, серией Black, Red, REx, сейчас появились Gold. Может у меня предвзятое отношение к другим производителям, но имею опыт, когда Seagate Constellation рассыпаются чуть ли не на лету...

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

8. "Пропускная способность сети" +1 +/–

Сообщение от Аноним (??) on 22-Мрт-18, 14:11

Читали?
http://www.opennet.dev/tips/info/2051.shtml

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Пропускная способность сети" +/–

Сообщение от nops (ok) on 22-Мрт-18, 18:12

> Читали?
> https://www.opennet.dev/tips/info/2051.shtml
Почитал, даже попробовал, эффекта ноль.
К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а у меня 1Гбит/с.
Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще никак не поменялась.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Пропускная способность сети" +/–

Сообщение от Сергей (??) on 22-Мрт-18, 19:50

>> Читали?
>> https://www.opennet.dev/tips/info/2051.shtml
> Почитал, даже попробовал, эффекта ноль.
> К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а
> у меня 1Гбит/с.
> Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще
> никак не поменялась.
про фтп и нфс ничего не скажу, а вот самба у меня при одних и тех же настройках скорость менялась в хависимости от версии...

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Пропускная способность сети" +/–

Сообщение от a (??) on 26-Мрт-18, 14:58

>[оверквотинг удален]
> ------------------------------------------------------------
> [  3] local 10.10.10.12 port 43493 connected with 10.10.10.9 port 5201
> write failed: Broken pipe
> [ ID] Interval       Transfer
>   Bandwidth
> [  3]  0.0- 8.5 sec   884 MBytes
>  875 Mbits/sec
> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
> Кстати, с NFS та же история, скорость режется.
zfs set sync=disabled

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Пропускная способность сети"	+/–
Сообщение от Pahanivo (ok) on 22-Мрт-18, 09:17
> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а > при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости. > Кстати, с NFS та же история, скорость режется. Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический /dev/null ...
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "Пропускная способность сети"	+/–
	Сообщение от nops (ok) on 22-Мрт-18, 10:08
	>> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а >> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости. >> Кстати, с NFS та же история, скорость режется. > Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический > /dev/null ... Ок. Допустим. Я допускаю что я могу и ошибаться, посему поясните мне пожалуйста. # dd if=/dev/zero of=file.txt count=1024 bs=1m 1024+0 records in 1024+0 records out 1073741824 bytes transferred in 7.043192 secs (152451025 bytes/sec) Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек) Но это синтетика, физическая скорость будет меньше, тут я просто делаю: time cp fiтle.txt file # time cp file.txt file 0.000u 0.554s 0:06.56 8.3% 20+165k 756+0io 0pf+0w Если я правильно понимаю, то затратил на выполнение команды 6,56 секунды. Давай посчитаем. Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек. Что равняется 1248 Мбит/сек. Диски WD WD20EFRX? собраны в RAIDZ: pool: zstore state: ONLINE scan: resilvered 24K in 0h0m with 0 errors on Fri Dec 8 16:02:30 2017 config: NAME STATE READ WRITE CKSUM zstore ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 gpt/backup0 ONLINE 0 0 0 gpt/backup1 ONLINE 0 0 0 gpt/backup2 ONLINE 0 0 0 gpt/backup3 ONLINE 0 0 0 errors: No known data errors Это конечно последовательная запись, но все же. Мне все кажется, что тут есть какое-то где-то логическое ограничение.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	3. "Пропускная способность сети"	+/–
	Сообщение от nops (ok) on 22-Мрт-18, 12:11
	Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек. По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz Старт быть вообще на 700 МБ/с, но это не реально, мы все понимаем, это скорее кеш, но вот после скорость встала на 120-127 МБ/с, и так держится... что полностью соответствует подключению. Кстати, iscsi находится на этом же сервере под управлением FreeBSD
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	4. "Пропускная способность сети"	+/–
	Сообщение от AF on 22-Мрт-18, 12:35
	> Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек. > По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz > Старт быть вообще на 700 МБ/с, но это не реально, мы все > понимаем, это скорее кеш, но вот после скорость встала на 120-127 > МБ/с, и так держится... что полностью соответствует подключению. > Кстати, iscsi находится на этом же сервере под управлением FreeBSD А hdparm -tT на FreeBSD есть?
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	5. "Пропускная способность сети"	+/–
	Сообщение от nops (ok) on 22-Мрт-18, 12:37
	>> Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек. >> По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz >> Старт быть вообще на 700 МБ/с, но это не реально, мы все >> понимаем, это скорее кеш, но вот после скорость встала на 120-127 >> МБ/с, и так держится... что полностью соответствует подключению. >> Кстати, iscsi находится на этом же сервере под управлением FreeBSD > А hdparm -tT на FreeBSD есть? Вроде как нет. Ни в системе, ни в портах, ни в пекаджах
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	6. "Пропускная способность сети"	+/–
	Сообщение от Pahanivo (ok) on 22-Мрт-18, 13:12
	Если ты видишь что скорость на сети и скорость записи на диск норм, но при этом разные протоколы дают разный результат то вывод напрашивается сам собой - тюнить конкретный протокол.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	7. "Пропускная способность сети"	+/–
	Сообщение от nops (ok) on 22-Мрт-18, 13:16
	> Если ты видишь что скорость на сети и скорость записи на диск > норм, но при этом разные протоколы дают разный результат то вывод > напрашивается сам собой - тюнить конкретный протокол. Так это я понимаю, логически, но не понимаю что именно не так. Самба, как ни странно, дает большую скорость в пике, ФТП дает более стабильную скорость, НФС самую низкую. Вот и прошу помощи, где и что искать и тюнить
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	9. "Пропускная способность сети"	+/–
	Сообщение от Аноним (??) on 22-Мрт-18, 16:32
	> Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек) > Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек. > Что равняется 1248 Мбит/сек. вот только все эти ваши гигабиты на одном смешном гигабайтном фале - это все отлично летит в кеш/буфферы. Тот же DD попробуйте с fsync и с размером блока в 8к (или сколько там у вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync, как это делают протоколы работы поверх сети.
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	10. "Пропускная способность сети"	+/–
	Сообщение от nops (ok) on 22-Мрт-18, 18:09
	>> Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек) >> Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек. >> Что равняется 1248 Мбит/сек. > вот только все эти ваши гигабиты на одном смешном гигабайтном фале - > это все отлично летит в кеш/буфферы. Тот же DD попробуйте с > fsync и с размером блока в 8к (или сколько там у > вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync, > как это делают протоколы работы поверх сети. Я могу вас понят и вашу иронию тоже, но я беру эти цифры не с потолка. Такие же диски я эксплуатирую далеко не первый год и не на одном сервере, как на Windows, так и на FreeBSD. Что касается кеша, то могу однозначно сказать и из опыта, что при работе с кешем, скорость записи достигается 1200МБайт/сек.: http://yapx.ru/v/BHZJO Вот именно это работа кеша и памяти, но стоит загнать файл скажем в 10Гб или больше, как скорость падает примерно до 180. Я же тут лишь спрашиваю, что с этим можно сделать и почему такое происходит. Лично я работаю, и уже очень давно, с дисками WD, серией Black, Red, REx, сейчас появились Gold. Может у меня предвзятое отношение к другим производителям, но имею опыт, когда Seagate Constellation рассыпаются чуть ли не на лету...
	Ответить \| Правка \| ^ к родителю #9 \| Наверх \| Cообщить модератору

8. "Пропускная способность сети"	+1 +/–
Сообщение от Аноним (??) on 22-Мрт-18, 14:11
Читали? http://www.opennet.dev/tips/info/2051.shtml
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	11. "Пропускная способность сети"	+/–
	Сообщение от nops (ok) on 22-Мрт-18, 18:12
	> Читали? > https://www.opennet.dev/tips/info/2051.shtml Почитал, даже попробовал, эффекта ноль. К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а у меня 1Гбит/с. Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще никак не поменялась.
	Ответить \| Правка \| ^ к родителю #8 \| Наверх \| Cообщить модератору


	12. "Пропускная способность сети"	+/–
	Сообщение от Сергей (??) on 22-Мрт-18, 19:50
	>> Читали? >> https://www.opennet.dev/tips/info/2051.shtml > Почитал, даже попробовал, эффекта ноль. > К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а > у меня 1Гбит/с. > Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще > никак не поменялась. про фтп и нфс ничего не скажу, а вот самба у меня при одних и тех же настройках скорость менялась в хависимости от версии...
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору

13. "Пропускная способность сети"	+/–
Сообщение от a (??) on 26-Мрт-18, 14:58
>[оверквотинг удален] > ------------------------------------------------------------ > [ 3] local 10.10.10.12 port 43493 connected with 10.10.10.9 port 5201 > write failed: Broken pipe > [ ID] Interval Transfer > Bandwidth > [ 3] 0.0- 8.5 sec 884 MBytes > 875 Mbits/sec > Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а > при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости. > Кстати, с NFS та же история, скорость режется. zfs set sync=disabled
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору