Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Эксперимент по повышению эффективности работы утилиты cat, opennews (?), 18-Июл-22, (0) [смотреть все] Не мучайте кошку , zram (?), 20:49 , 18-Июл-22, (1) +25 // Тут история скорее про лоток, Иисус (?), 20:50 , 18-Июл-22, (2) +5 // Скорее, про то что кошку оказывается можно напоить пургеном , Аноним (60), 09:49 , 19-Июл-22, (60) +6 Ага, как будто нечем заняться Был бы котом, наверное, слизал бы себе яйца до та, Аноним (5), 20:54 , 18-Июл-22, (5) +1 // Сat в скриптах же активно используется, а не просмотра файлов, и её оптимизация , _kp (ok), 02:18 , 20-Июл-22, (111) // То есть выводит всего пару строк текста, но часто, и на каждый такой чих инициал, n00by (ok), 05:54 , 20-Июл-22, (117) –1 ага скриптописателей много еще не умерло, которые проповедуют UUOC, а хипстор, тигар.логиниться.лень (?), 12:56 , 20-Июл-22, (121) В скриптах с cat-ом не перемывают гигабайты Оптимизация для скриптов это снижен, all_glory_to_the_hypnotoad (ok), 15:16 , 20-Июл-22, (125) +3 Странные тенденции Замечено, что некоторые из узкоспециальных coreutils работают, ммнюмнюмус (?), 15:40 , 28-Июл-22, (137) Ей же яйца лижут , Аноним (24), 23:46 , 18-Июл-22, (24) // Похоже что онаНу вот, уже почти кошка Осталось только начать свои лизать а не ч, Бывалый смузихлёб (?), 06:30 , 19-Июл-22, (44) А у нее вроде таки нет яиц Хоть я в биографию сильно и не лез Это иркоп фринод, Аноним (60), 09:47 , 19-Июл-22, (59) +2 Полезное дело человек делает, вам жалко чтоли Иногда интересно поиграться, а ес, Товарисч (?), 17:13 , 19-Июл-22, (100) +3 Линуксу, с его реализацией переключения контекстов, ничего не поможет , Аноним (3), 20:51 , 18-Июл-22, (3) –18   // Ты сделал ошибку в слове линукс Поправил Не благодари, кубрик (?), 20:59 , 18-Июл-22, (6) +13   // Да, да, расскажи мне про то как ядра писать , Аноним (3), 21:29 , 18-Июл-22, (12) –9   // Вы забыли скромно вывалить свой срам, так что и рассказывать Вам может кто угодн, Michael Shigorin (ok), 23:53 , 18-Июл-22, (26) +1   Я человек простой , Аноним (-), 00:24 , 19-Июл-22, (31) –2   AnonBSDnulOS , Аноним (126), 03:02 , 21-Июл-22, (126)   Чем оно хуже в сравнении с FreeBSD, MacOS или Windows , topin89 (ok), 21:09 , 18-Июл-22, (8) +4   Сразу видно человека не разбирающегося в теме, Аноним (22), 23:18 , 18-Июл-22, (22) +1   Как и всем прочим Иди возрождай Singularity, слёзно выпросив её у мелкомягких, , Аноним (51), 09:00 , 19-Июл-22, (51) +3   Ващет команда Linux была сильно иного мнения и поэтому они сделали дофейхоа очен, Аноним (-), 09:54 , 19-Июл-22, (61)   Боюсь, что нужно быть конкретнее Чудовищный оверхед от переключения контекстов, Аноним (109), 21:39 , 19-Июл-22, (109) +1   Какое ещё исследование, почему нет патчей , L29Ah (ok), 21:17 , 18-Июл-22, (10) +3 Почему это не сделано 10 лет назад , Аноним (11), 21:24 , 18-Июл-22, (11) –1 // Потому что это линукс , Аноним (3), 21:29 , 18-Июл-22, (14) –1 Потому что кодеров уровня Ариадны на этом глобусе очень ограниченное количество , Аноним (-), 09:56 , 19-Июл-22, (62) +1 // Что сложного вызвать определённую функцию вместо другой , Аноним (72), 11:27 , 19-Июл-22, (72) +2 // Сложно до исследования или после Постфактум все умные Почти, кроме отрицающих, Аноним (-), 12:18 , 19-Июл-22, (78) +4 Сразу после написания соответствующих системных вызовов, очевидно, поскольку их , Аноним (11), 13:41 , 19-Июл-22, (89) +3 Покажешь слепым какой из системных вызовов написан именно для cat и cp , Аноним (118), 12:10 , 20-Июл-22, (118) Просто - быть умным задним числом Сложно - быть первым, сделать исследования, п, Аноним (94), 14:19 , 19-Июл-22, (94) +1 Почему эксперты с opennet и просто знающие люди это не сделали Это же так прост, Аноним (98), 14:31 , 19-Июл-22, (98) Потому что 10 лет назад никому в голову не пришло сделать cat для 4 гигабайт , n00by (ok), 10:44 , 19-Июл-22, (68) +6 Здравствуй, новая уязвимость , beck (??), 21:41 , 18-Июл-22, (15) –1 // Где тут НОВАЯ уязвимость Просто буфер будет гоняться сразу в ядре, но ядро туда, Аноним (16), 21:49 , 18-Июл-22, (16) +2 Ну да, на квоты же явно забили , Аноним (24), 23:48 , 18-Июл-22, (25) splice очень старый вызов, лет 20 ему, а sendfile и того древнее В каком месте , Здрасьте (?), 07:49 , 19-Июл-22, (47) Я что-то не понимаю как эксплойтировать копирование данных между дескрипторами , Аноним (-), 09:57 , 19-Июл-22, (63) +2 Сразу видно человека не разбирающегося в теме , anonymous (??), 18:16 , 19-Июл-22, (101) Ты файлы файлы УЖЕ открыл, вот они, дескрипторы то В чём уязвимость , Аноним (126), 03:06 , 21-Июл-22, (127) А что, так можно было Осталось остальные базовые утилиты дотянуть , InuYasha (??), 21:58 , 18-Июл-22, (17) // Начать можно с замеров времени инициализации libc Но кому это надо Там вон гиг, n00by (ok), 10:57 , 19-Июл-22, (70) Может кота ещё на ио-урину переписать , Онаним (?), 00:04 , 19-Июл-22, (27) +1 // Надо на Zig переписать , Аноним (-), 01:19 , 19-Июл-22, (34) Забыли только рассказать, что и у sendfile есть ряд проблем, которые легко выл, Онаним (?), 00:08 , 19-Июл-22, (28) +3 // Приведи примеры Капча 66666, pashev.ru (?), 12:41 , 19-Июл-22, (81) // Начнём с того, что оно требует sendpage на принимающей стороне, если это FS А та, Онаним (?), 14:08 , 19-Июл-22, (92) Во, точно, я знаю Надо для cat отдельный модуль ядра, который read-write будет , Онаним (?), 00:11 , 19-Июл-22, (29) // Так для этого и предназначен splice Правда, приходится делать два splice через p, funny.falcon (?), 01:51 , 19-Июл-22, (36) –1 // Ехал splice через pipe, и я о том же Копирование между дескрипторами в принципе , Онаним (?), 09:16 , 19-Июл-22, (54) // Я бы для начала разобрался, почему sendfile оказался медленнее splice pipe , Аноним (90), 14:02 , 19-Июл-22, (90) Так разберись , Аноним (-), 14:21 , 19-Июл-22, (95) так я уже запутался, мне из stdio в unix socket нужно, чем воспользоваться sen, ламерок (?), 14:17 , 20-Июл-22, (124) А io_uring сюда прикрутить можно , Аноним (30), 00:23 , 19-Июл-22, (30) +1 Анон ты чем сейчас занят Где комментарий Единственный способ ускорить сишное , аноним228 (?), 05:36 , 19-Июл-22, (42) // Учитывая открытия этого гендорного чуда, нас будет ждать очередное аут оф мемори, Аноним (46), 07:33 , 19-Июл-22, (46) –3 // что не так с открытием и почему тебе не фиолетово, что там за чудо за клавиатуро, Аноним (74), 11:34 , 19-Июл-22, (74) +1 я как только увидел заголовок, сразу подумал, что cat на Rust переписали , onanim (?), 09:06 , 19-Июл-22, (52) +3 // Мозила переписывала-переписывала FF - недопереписала , Аноним (79), 12:23 , 19-Июл-22, (79) +1 У всех проблем одно начало Сидела женщина, скучала,Качала ножкою своей,И вдруг, Аноним (87), 13:14 , 19-Июл-22, (87) Скрыто модератором, Аноним (48), 08:21 , 19-Июл-22, (48) –1 // Скрыто модератором, Аноним (48), 08:27 , 19-Июл-22, (49) +2 // Скрыто модератором, Аноним (53), 09:13 , 19-Июл-22, (53) +1 Вау Спустя столько лет лунуксоиды решили прекратить быдлокодить и вспомнили об , Аноним (50), 08:43 , 19-Июл-22, (50) –2 какое-то сильное преувеличение об авторстве audacious это ж был просто форк xmm, Аноним (55), 09:23 , 19-Июл-22, (55) Вроде уже переписали на Rust https github com sharkdp bat, Аноним (56), 09:35 , 19-Июл-22, (56) // Это вообще отдельная херь не имеющая отношения к сабжу , Аноним (-), 10:06 , 19-Июл-22, (65) // Вот бы кто cat на Project Verona написал 8230 , Аноним (-), 10:15 , 19-Июл-22, (66) –1 // Я даже не знаю что такое Project Verona Поэтому на меня можете не смотреть, м, Аноним (75), 11:35 , 19-Июл-22, (75) Пожалуй да, bat больше похож на less , Аноним (56), 11:17 , 19-Июл-22, (71) должно быть rat , онаним (?), 11:38 , 19-Июл-22, (77) +1 Ctrl C kill теперь не будет работать , Аноним (67), 10:39 , 19-Июл-22, (67) +3 // кстати, интересно часто случайно делаю cat бинарника на медленном ssh, Аноним (74), 11:35 , 19-Июл-22, (76) sed не помешало бы оптимизировать , Аноним (69), 10:51 , 19-Июл-22, (69) А практическая польза от cat с 4 Гб вообще есть Вообще для копирования использу, Аноним (88), 13:37 , 19-Июл-22, (88) // Ведущие собаководы для копирования используют dd, Аноним (-), 14:03 , 19-Июл-22, (91) +4 // Ну сделай им cp --reflink Хотя с таких собаководов станется и 2-терабайтный обр, Аноним (-), 14:25 , 19-Июл-22, (97) +1 // Ведущие собаководы используют ln, Аноним (104), 18:36 , 19-Июл-22, (104) Маленький нюансик в том что вон те 2 терабайтных образа ведут себя как независим, Аноним (-), 02:55 , 20-Июл-22, (113) Маленький нюансик начался с твоего cp --reflink , который возможен в пределах о, Аноним (-), 12:25 , 20-Июл-22, (119) усёр294, как там бтрфс, уже продакшн-реди и второй вопрос - почему ты перестал , тигар.логиниться.лень (?), 13:02 , 20-Июл-22, (122) Если просто копировать, то конечно, да, но если по пути пропустить в конвейерную, _kp (ok), 02:23 , 20-Июл-22, (112) просто в cp реализовано system cat file1 file2 , Ламерок (??), 05:47 , 20-Июл-22, (115) cat - от concatenate, т е служит для склейки файлов Что там можно склеивать из, n00by (ok), 05:52 , 20-Июл-22, (116) –1 // А Ариадну эту пробовал спросить , Аноним (134), 16:36 , 23-Июл-22, (134) // Так исходный вопрос не мой Я так понял, что он риторический и обращён к местным, n00by (ok), 07:09 , 24-Июл-22, (136) Вот сейчас перепишут cp и в нём появятся дыры когда простой юзер будет рута полу, Аноним (99), 17:05 , 19-Июл-22, (99) –1 https mazzo li posts fast-pipes html How fast are Linux pipes anyway , Аноним (107), 21:12 , 19-Июл-22, (107) +1 а что делать если sendfile вернул меньше чем нужно отправить данных , Ламерок (??), 05:46 , 20-Июл-22, (114) // Посылать повторно, пока не вернется сколько надо или больше , Аноним (-), 12:29 , 20-Июл-22, (120) +1 // вот хз в мане этот случай не описан, как например в read write, поэтому испросил, ламерок (?), 14:14 , 20-Июл-22, (123) // Вы всё врёти RETURN VALUE If the transfer was successful, the number , Аноним (126), 03:14 , 21-Июл-22, (128) 1,3,10,11,15,17,27,28,29,30,42,50,55,56,67,69,88,99,107,114

Сообщения

[Сортировка по времени | RSS]

3. "Эксперимент по повышению эффективности работы утилиты cat"	–18 +/–
Сообщение от Аноним (3), 18-Июл-22, 20:51
Линуксу, с его реализацией переключения контекстов, ничего не поможет.
Ответить | Правка | Наверх | Cообщить модератору

	6. "Эксперимент по повышению эффективности работы утилиты cat"	+13 +/–
	Сообщение от кубрик (?), 18-Июл-22, 20:59
	Ты сделал ошибку в слове линукс. > Виндовсу, с его реализацией переключения контекстов, ничего не поможет. Поправил. Не благодари
	Ответить | Правка | Наверх | Cообщить модератору

	12. "Эксперимент по повышению эффективности работы утилиты cat"	–9 +/–
	Сообщение от Аноним (3), 18-Июл-22, 21:29
	Да, да, расскажи мне про то как ядра писать))
	Ответить | Правка | Наверх | Cообщить модератору

	26. "Эксперимент по повышению эффективности работы утилиты cat"	+1 +/–
	Сообщение от Michael Shigorin (ok), 18-Июл-22, 23:53
	Вы забыли скромно вывалить свой срам, так что и рассказывать Вам может кто угодно что угодно. :]
	Ответить | Правка | Наверх | Cообщить модератору

	31. "Эксперимент по повышению эффективности работы утилиты cat"	–2 +/–
	Сообщение от Аноним (-), 19-Июл-22, 00:24
	Я человек простой.
	Ответить | Правка | Наверх | Cообщить модератору

	126. "Эксперимент по повышению эффективности работы утилиты cat"	+/–
	Сообщение от Аноним (126), 21-Июл-22, 03:02
	AnonBSDnulOS ???
	Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

	8. "Эксперимент по повышению эффективности работы утилиты cat"	+4 +/–
	Сообщение от topin89 (ok), 18-Июл-22, 21:09
	Чем оно хуже в сравнении с FreeBSD, MacOS или Windows?
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	22. "Эксперимент по повышению эффективности работы утилиты cat"	+1 +/–
	Сообщение от Аноним (22), 18-Июл-22, 23:18
	Сразу видно человека не разбирающегося в теме
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	51. "Эксперимент по повышению эффективности работы утилиты cat"	+3 +/–
	Сообщение от Аноним (51), 19-Июл-22, 09:00
	Как и всем прочим. Иди возрождай Singularity, слёзно выпросив её у мелкомягких, если хочешь кардинально уменьшить кол-во переключений контекстов. Или в DOS'е сиди-работай.
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	61. "Эксперимент по повышению эффективности работы утилиты cat"	+/–
	Сообщение от Аноним (-), 19-Июл-22, 09:54
	> Линуксу, с его реализацией переключения контекстов, ничего не поможет. Ващет команда Linux была сильно иного мнения и поэтому они сделали дофейхоа очень крутых и эффективных механизмов на тему. Во первых, если вам не нравится как работает переключение контекста, можно и не переключать! Во всяком случае, лишний раз. Они, вроде, умеют групировку сисколов при интенсивном потоке и переключение 1 раз на всю группу =) Во вторых, у остальных переключение контекста будет врядли сильно лучше. С чего бы? В третьих, они доперли до всяких zerocopy механизмов, когда кернел и юзер тупо шарят блок памяти на двоих, сплайсы тоже где-то недалеко по смыслу.
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	109. "Эксперимент по повышению эффективности работы утилиты cat"	+1 +/–
	Сообщение от Аноним (109), 19-Июл-22, 21:39
	Боюсь, что нужно быть конкретнее... Чудовищный оверхед от переключения контекстов с последующей деградацией производительности без полной утилизации я по опыту наблюдал в Linux сильно чаще, чем в других ОС, но нельзя же вот так сразу говорить, что виновато именно ядро. В моем случае чаще всего виновником было либо ПО, которое имеет "специфику" реализации, вышестоящая инфраструктура виртуализации, которая с одной стороны наложила дополнительный оверхед, а с другой стороны, какой-то злодей положил на хост с высоким оверкоммитом CPU много маленьких виртуальных машин и одну большую, при этом она неверно отражает аппаратную топологию хоста виртуализации. Давайте еще вспомним, что Linux такие вещи сам в себе не настраивает, нужно учитывать аппаратные особенности сервера (SMP/NUMA), параметры premmption, tick frequency и всякие CONFIG_NO_HZ_IDLE / CONFIG_NO_HZ_FULL. Все зависит от того как вам сконфигурировали ядро в дистрибутиве (обычно плохо, понавключав энергосберегательных режимов). Начните читать тут: https://docs.kernel.org/timers/no_hz.html И вообще каждый случай уникален, но есть еще одна общая черта... Не включайте HyperThreading или как там назвали ваше SMT в процессоре на серверах, где у вас ПО, которое приводит к паразитной нагрузке за счет переключения контекстов. Если планировщики процессов Windows еще умеют хитро шаманить так, чтобы оно не деградировало от наличия SMT, то в Linux эту дрянь лучше сразу выключить.
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема