Вариант для распечатки |
Пред. тема | След. тема | ||
Форум Разговоры, обсуждение новостей | |||
---|---|---|---|
Изначальное сообщение | [ Отслеживать ] |
"Яндекс открыл YTsaurus, платформу для обработки и хранения больших объёмов данных" | +/– | |
Сообщение от opennews (??), 23-Мрт-23, 16:04 | ||
Компания Яндекс объявила об открытии исходных текстов платформы распределённого хранения и обработки больших объёмов данных YTsaurus, поддерживающей манипуляцию данными с использованием парадигмы MapReduce, движка SQL-запросов, распределённой файловой системы и NoSQL хранилища в формате ключ-значение. YTsaurus используется в инфраструктуре Яндекс для эффективного использования вычислительных мощностей суперкомпьютеров компании. Код проекта написан на языках C/C++ и открыт под лицензией Apache 2.0... | ||
Ответить | Правка | Cообщить модератору |
Оглавление |
Сообщения | [Сортировка по времени | RSS] |
1. Скрыто модератором | +10 +/– | |
Сообщение от Аноним (1), 23-Мрт-23, 16:04 | ||
Ответить | Правка | Наверх | Cообщить модератору |
2. Скрыто модератором | +3 +/– | |
Сообщение от Аноним (2), 23-Мрт-23, 16:08 | ||
Ответить | Правка | Наверх | Cообщить модератору |
9. Скрыто модератором | +/– | |
Сообщение от Аноним (9), 23-Мрт-23, 16:51 | ||
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору |
45. Скрыто модератором | +/– | |
Сообщение от пох. (?), 23-Мрт-23, 21:29 | ||
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору |
4. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +13 +/– | |
Сообщение от Аноним (4), 23-Мрт-23, 16:13 | ||
Утечка в сеть 40Гб аркадии, по прошествии месяца теперь называется "яндекс открыл" | ||
Ответить | Правка | Наверх | Cообщить модератору |
8. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Аноним (9), 23-Мрт-23, 16:49 | ||
Да теперь открытое управление инфраструктурой будет не только у я. но и у всех кто зайюзает сабж. | ||
Ответить | Правка | Наверх | Cообщить модератору |
93. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Аноним (93), 31-Мрт-23, 14:47 | ||
Какому дураку придет в голову строить свою экосистему на базе продукта конкурента? | ||
Ответить | Правка | Наверх | Cообщить модератору |
29. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +7 +/– | |
Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:18 | ||
В утечке вроде этого не было | ||
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору |
69. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +1 +/– | |
Сообщение от Товарищ майор (ok), 24-Мрт-23, 10:21 | ||
И правильно сделали. Код всё равно утёк, коммерческой тайной его не прикрыть. А так хоть от СПО-сообщества обратную связь получить можно будет. | ||
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору |
7. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от 11 (?), 23-Мрт-23, 16:48 | ||
Из него можно вытянуть отдельно хранилище? | ||
Ответить | Правка | Наверх | Cообщить модератору |
46. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | –2 +/– | |
Сообщение от пох. (?), 23-Мрт-23, 21:29 | ||
> Из него можно вытянуть отдельно хранилище? | ||
Ответить | Правка | Наверх | Cообщить модератору |
20. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Аноним (20), 23-Мрт-23, 18:11 | ||
Как это связано с похмел-fs ? | ||
Ответить | Правка | Наверх | Cообщить модератору |
51. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от koct9i (ok), 23-Мрт-23, 21:49 | ||
никак, только тем что оба из яндекса | ||
Ответить | Правка | Наверх | Cообщить модератору |
24. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | –2 +/– | |
Сообщение от InuYasha (??), 23-Мрт-23, 18:32 | ||
Кто-нибудь вообще будет обсуждать технические подробности или так и будут кричать "яднекс то", "яднекс сё"? Я тоже от них не в восторге, но, однако же, КХ вещь не плохая. | ||
Ответить | Правка | Наверх | Cообщить модератору |
26. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +2 +/– | |
Сообщение от Tron is Whistling (?), 23-Мрт-23, 19:06 | ||
Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то кроме яндеха это монструозное поделие реально может понадобиться? Его ж поддерживать обойдётся дороже, чем результат. | ||
Ответить | Правка | Наверх | Cообщить модератору |
34. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | –1 +/– | |
Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:32 | ||
Тому кто сейчас развернул у себя хадуп? | ||
Ответить | Правка | Наверх | Cообщить модератору |
47. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +1 +/– | |
Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:31 | ||
Хавдупа по крайней мере гомогенна. | ||
Ответить | Правка | Наверх | Cообщить модератору |
49. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:35 | ||
А тут намесили оверлеев - плакать хочется. | ||
Ответить | Правка | Наверх | Cообщить модератору |
48. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +2 +/– | |
Сообщение от пох. (?), 23-Мрт-23, 21:31 | ||
> Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то | ||
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору |
50. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +1 +/– | |
Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:36 | ||
Абсолютно фак'т. | ||
Ответить | Правка | Наверх | Cообщить модератору |
70. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Товарищ майор (ok), 24-Мрт-23, 10:23 | ||
Ну Якитория, например, использует. С админкой спокойно справляется 3 человека (с учётом отпусков и почти круглосуточной поддержки). | ||
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору |
76. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +1 +/– | |
Сообщение от пох. (?), 24-Мрт-23, 11:58 | ||
Само-то оно - не стоит, чтоль? | ||
Ответить | Правка | Наверх | Cообщить модератору |
86. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | –1 +/– | |
Сообщение от Товарищ майор (ok), 27-Мрт-23, 09:26 | ||
Вы определитесь, для этого нужны 3 гения или оно само стоять должно )) | ||
Ответить | Правка | Наверх | Cообщить модератору |
78. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +1 +/– | |
Сообщение от Tron is Whistling (?), 24-Мрт-23, 21:38 | ||
У меня два стандартных вопроса: как и нафига. | ||
Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору |
89. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Аноним (89), 27-Мрт-23, 13:28 | ||
Тому, у кого в хадупе больше 500 машин, и, поэтому, приходится из распределять по нескольким кластерам | ||
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору |
90. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +1 +/– | |
Сообщение от Tron is Whistling (?), 27-Мрт-23, 17:17 | ||
Ну я и говорю - кроме яндеха наверное никому... | ||
Ответить | Правка | Наверх | Cообщить модератору |
35. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +2 +/– | |
Сообщение от Бывалый Смузихлёб (??), 23-Мрт-23, 19:33 | ||
а что там обсуждать ? Слишком жирное, монструозное и специализированное для обычного пользователя и даже для не-совсем-обычного. И, похоже, уже зашквар для яндекса ибо решил сливать. | ||
Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору |
32. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:26 | ||
На гитхаб выложили... по идее их должны забанить, ведь яндекс под санкциями | ||
Ответить | Правка | Наверх | Cообщить модератору |
43. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от . (?), 23-Мрт-23, 21:11 | ||
Яндыкс под чужим ником выложил | ||
Ответить | Правка | Наверх | Cообщить модератору |
60. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от погроммист (?), 24-Мрт-23, 00:49 | ||
Не Яндекс под санкциями, а директор(а) яндекса. | ||
Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору |
65. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Аноним (65), 24-Мрт-23, 08:16 | ||
а зря. они директоров на следующий день после введения против него санкций меняют | ||
Ответить | Правка | Наверх | Cообщить модератору |
72. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Аноним (72), 24-Мрт-23, 11:13 | ||
Как ты Воложа поменяешь? | ||
Ответить | Правка | Наверх | Cообщить модератору |
74. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +2 +/– | |
Сообщение от пох. (?), 24-Мрт-23, 11:27 | ||
Так уже жеж. Официально объявлено что Волож - непричемыш и вообще где-то только рядом стоял а руль - нини, не трогал. | ||
Ответить | Правка | Наверх | Cообщить модератору |
62. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от погроммист (?), 24-Мрт-23, 01:09 | ||
Работал с ней в 2016-2018 внутри Яндекса. Уже тогда это была продуманная до мелочей система, которой пользуются почти все отделы как единой ФС для данных всей компании. Тысячи человек и роботов ежедневно запускали джобы поверх тысяч нод *единого* кластера на все отделы, и очень редко когда он уходил в даунтайм. Очень продуманная система ACL и квотирования ресурсов, бесконечная масштабируемость, и всё умещается в пару статических бинарников на C++ без всяких maven джунглей. | ||
Ответить | Правка | Наверх | Cообщить модератору |
64. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | –1 +/– | |
Сообщение от ivan_erohin (?), 24-Мрт-23, 07:10 | ||
> которой пользуются [...] как единой ФС для данных всей компании. | ||
Ответить | Правка | Наверх | Cообщить модератору |
66. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Аноним (65), 24-Мрт-23, 08:19 | ||
> единой ФС для данных всей компании | ||
Ответить | Правка | К родителю #62 | Наверх | Cообщить модератору |
73. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +4 +/– | |
Сообщение от пох. (?), 24-Мрт-23, 11:24 | ||
они там мамой клянутся что универсальная - хошь помойку, хошь бигдату (как будто это не помойка), а хошь данные кредитных карт и адреса доставки яды. Ой... уплыла. Ну и фиг с ней - яндекс-то ни копейки на этом не потерял. | ||
Ответить | Правка | Наверх | Cообщить модератору |
83. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от all_glory_to_the_hypnotoad (ok), 26-Мрт-23, 03:41 | ||
Это же мягко говоря не правда. В тот период ыть не умела быть единой ФС для всех, каждому отделу поднимали свои инстансы. Ну и это далеко не единственный инструмент внутри Я чтобы что-то похранить и обработать. | ||
Ответить | Правка | К родителю #62 | Наверх | Cообщить модератору |
87. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от пох. (?), 27-Мрт-23, 10:29 | ||
Вы бы лучше поделились информацией, как оно вообще было в работе и чего стоили те даунтаймы которые "редко" по мнению предыдущего эхсперта. Как чинилось, во что выливалось... | ||
Ответить | Правка | Наверх | Cообщить модератору |
91. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Аноним (91), 28-Мрт-23, 07:24 | ||
"хранения и обработки данных десятков тысяч пользователей" - прям настоящая бигдата, целые десятки тысяч. | ||
Ответить | Правка | К родителю #62 | Наверх | Cообщить модератору |
77. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Big Robert TheTables (?), 24-Мрт-23, 17:05 | ||
да это просто бомба, если работает, как описано. | ||
Ответить | Правка | Наверх | Cообщить модератору |
88. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от пох. (?), 27-Мрт-23, 10:30 | ||
В смысле уж рванет так рванет? | ||
Ответить | Правка | Наверх | Cообщить модератору |
79. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Илья (??), 24-Мрт-23, 21:45 | ||
Зачем на гитхаб? | ||
Ответить | Правка | Наверх | Cообщить модератору |
92. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от Serg (??), 29-Мрт-23, 16:23 | ||
Знакомый сценарий: | ||
Ответить | Правка | Наверх | Cообщить модератору |
94. "Яндекс открыл YTsaurus, платформу для обработки и хранения б..." | +/– | |
Сообщение от пох. (?), 31-Мрт-23, 23:14 | ||
ничего, увы. Волож потому и держался до последнего за яндекс, что прекрасно знает - второго он уже не создаст. Просто потому что это можно было только тогда сделать даже при особом везении и кое-каких талантах. | ||
Ответить | Правка | Наверх | Cообщить модератору |
Архив | Удалить |
Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема |
Закладки на сайте Проследить за страницей |
Created 1996-2024 by Maxim Chirkov Добавить, Поддержать, Вебмастеру |