Вариант для распечатки |
Пред. тема | След. тема | ||
| Форум Разговоры, обсуждение новостей | |||
|---|---|---|---|
| Изначальное сообщение | [ Отслеживать ] | ||
| "Яндекс открыл YTsaurus, платформу для обработки и хранения больших объёмов данных" | +/– | |
| Сообщение от opennews (??), 23-Мрт-23, 16:04 | ||
Компания Яндекс объявила об открытии исходных текстов платформы распределённого хранения и обработки больших объёмов данных YTsaurus, поддерживающей манипуляцию данными с использованием парадигмы MapReduce, движка SQL-запросов, распределённой файловой системы и NoSQL хранилища в формате ключ-значение. YTsaurus используется в инфраструктуре Яндекс для эффективного использования вычислительных мощностей суперкомпьютеров компании. Код проекта написан на языках C/C++ и открыт под лицензией Apache 2.0... | ||
| Ответить | Правка | Cообщить модератору | ||
| Оглавление |
| Сообщения | [Сортировка по ответам | RSS] |
| 1. Сообщение от Аноним (1), 23-Мрт-23, 16:04 | +10 +/– | |
Вывод наработок в Израиль похоже идет успешно | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Ответы: #2, #9, #45 | ||
| 2. Сообщение от Аноним (2), 23-Мрт-23, 16:08 | +3 +/– | |
- По этому вопросу вам надо спросить Рабиновича | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #1 | ||
| 4. Сообщение от Аноним (4), 23-Мрт-23, 16:13 | +13 +/– | |
Утечка в сеть 40Гб аркадии, по прошествии месяца теперь называется "яндекс открыл" | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Ответы: #8, #29, #69 | ||
| 7. Сообщение от 11 (?), 23-Мрт-23, 16:48 | +/– | |
Из него можно вытянуть отдельно хранилище? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Ответы: #46 | ||
| 8. Сообщение от Аноним (9), 23-Мрт-23, 16:49 | +/– | |
Да теперь открытое управление инфраструктурой будет не только у я. но и у всех кто зайюзает сабж. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #4 Ответы: #93 | ||
| 9. Сообщение от Аноним (9), 23-Мрт-23, 16:51 | +/– | |
Через Голландию? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #1 | ||
| 20. Сообщение от Аноним (20), 23-Мрт-23, 18:11 | +/– | |
Как это связано с похмел-fs ? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Ответы: #51 | ||
| 24. Сообщение от InuYasha (??), 23-Мрт-23, 18:32 | –2 +/– | |
Кто-нибудь вообще будет обсуждать технические подробности или так и будут кричать "яднекс то", "яднекс сё"? Я тоже от них не в восторге, но, однако же, КХ вещь не плохая. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Ответы: #26, #35 | ||
| 26. Сообщение от Tron is Whistling (?), 23-Мрт-23, 19:06 | +2 +/– | |
Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то кроме яндеха это монструозное поделие реально может понадобиться? Его ж поддерживать обойдётся дороже, чем результат. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #24 Ответы: #34, #48, #70, #89 | ||
| 29. Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:18 | +7 +/– | |
В утечке вроде этого не было | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #4 | ||
| 32. Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:26 | +/– | |
На гитхаб выложили... по идее их должны забанить, ведь яндекс под санкциями | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Ответы: #43, #60 | ||
| 34. Сообщение от Вы забыли заполнить поле Name (?), 23-Мрт-23, 19:32 | –1 +/– | |
Тому кто сейчас развернул у себя хадуп? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #26 Ответы: #47 | ||
| 35. Сообщение от Бывалый Смузихлёб (??), 23-Мрт-23, 19:33 | +2 +/– | |
а что там обсуждать ? Слишком жирное, монструозное и специализированное для обычного пользователя и даже для не-совсем-обычного. И, похоже, уже зашквар для яндекса ибо решил сливать. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #24 | ||
| 43. Сообщение от . (?), 23-Мрт-23, 21:11 | +/– | |
Яндыкс под чужим ником выложил | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #32 | ||
| 45. Сообщение от пох. (?), 23-Мрт-23, 21:29 | +/– | |
> Вывод наработок в Израиль похоже идет успешно | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #1 | ||
| 46. Сообщение от пох. (?), 23-Мрт-23, 21:29 | –2 +/– | |
> Из него можно вытянуть отдельно хранилище? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #7 | ||
| 47. Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:31 | +1 +/– | |
Хавдупа по крайней мере гомогенна. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #34 Ответы: #49 | ||
| 48. Сообщение от пох. (?), 23-Мрт-23, 21:31 | +2 +/– | |
> Ну вот посмотрел я на архитектуру - и откровенно не понимаю: кому-то | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #26 Ответы: #50 | ||
| 49. Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:35 | +/– | |
А тут намесили оверлеев - плакать хочется. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #47 | ||
| 50. Сообщение от Tron is Whistling (?), 23-Мрт-23, 21:36 | +1 +/– | |
Абсолютно фак'т. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #48 | ||
| 51. Сообщение от koct9i (ok), 23-Мрт-23, 21:49 | +/– | |
никак, только тем что оба из яндекса | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #20 | ||
| 60. Сообщение от погроммист (?), 24-Мрт-23, 00:49 | +/– | |
Не Яндекс под санкциями, а директор(а) яндекса. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #32 Ответы: #65 | ||
| 62. Сообщение от погроммист (?), 24-Мрт-23, 01:09 | +/– | |
Работал с ней в 2016-2018 внутри Яндекса. Уже тогда это была продуманная до мелочей система, которой пользуются почти все отделы как единой ФС для данных всей компании. Тысячи человек и роботов ежедневно запускали джобы поверх тысяч нод *единого* кластера на все отделы, и очень редко когда он уходил в даунтайм. Очень продуманная система ACL и квотирования ресурсов, бесконечная масштабируемость, и всё умещается в пару статических бинарников на C++ без всяких maven джунглей. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Ответы: #64, #66, #83, #91 | ||
| 64. Сообщение от ivan_erohin (?), 24-Мрт-23, 07:10 | –1 +/– | |
> которой пользуются [...] как единой ФС для данных всей компании. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #62 | ||
| 65. Сообщение от Аноним (65), 24-Мрт-23, 08:16 | +/– | |
а зря. они директоров на следующий день после введения против него санкций меняют | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #60 Ответы: #72 | ||
| 66. Сообщение от Аноним (65), 24-Мрт-23, 08:19 | +/– | |
> единой ФС для данных всей компании | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #62 Ответы: #73 | ||
| 69. Сообщение от Товарищ майор (ok), 24-Мрт-23, 10:21 | +1 +/– | |
И правильно сделали. Код всё равно утёк, коммерческой тайной его не прикрыть. А так хоть от СПО-сообщества обратную связь получить можно будет. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #4 | ||
| 70. Сообщение от Товарищ майор (ok), 24-Мрт-23, 10:23 | +/– | |
Ну Якитория, например, использует. С админкой спокойно справляется 3 человека (с учётом отпусков и почти круглосуточной поддержки). | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #26 Ответы: #76, #78 | ||
| 72. Сообщение от Аноним (72), 24-Мрт-23, 11:13 | +/– | |
Как ты Воложа поменяешь? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #65 Ответы: #74 | ||
| 73. Сообщение от пох. (?), 24-Мрт-23, 11:24 | +4 +/– | |
они там мамой клянутся что универсальная - хошь помойку, хошь бигдату (как будто это не помойка), а хошь данные кредитных карт и адреса доставки яды. Ой... уплыла. Ну и фиг с ней - яндекс-то ни копейки на этом не потерял. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #66 | ||
| 74. Сообщение от пох. (?), 24-Мрт-23, 11:27 | +2 +/– | |
Так уже жеж. Официально объявлено что Волож - непричемыш и вообще где-то только рядом стоял а руль - нини, не трогал. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #72 | ||
| 76. Сообщение от пох. (?), 24-Мрт-23, 11:58 | +1 +/– | |
Само-то оно - не стоит, чтоль? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #70 Ответы: #86 | ||
| 77. Сообщение от Big Robert TheTables (?), 24-Мрт-23, 17:05 | +/– | |
да это просто бомба, если работает, как описано. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Ответы: #88 | ||
| 78. Сообщение от Tron is Whistling (?), 24-Мрт-23, 21:38 | +1 +/– | |
У меня два стандартных вопроса: как и нафига. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #70 | ||
| 79. Сообщение от Илья (??), 24-Мрт-23, 21:45 | +/– | |
Зачем на гитхаб? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| 83. Сообщение от all_glory_to_the_hypnotoad (ok), 26-Мрт-23, 03:41 | +/– | |
Это же мягко говоря не правда. В тот период ыть не умела быть единой ФС для всех, каждому отделу поднимали свои инстансы. Ну и это далеко не единственный инструмент внутри Я чтобы что-то похранить и обработать. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #62 Ответы: #87 | ||
| 86. Сообщение от Товарищ майор (ok), 27-Мрт-23, 09:26 | –1 +/– | |
Вы определитесь, для этого нужны 3 гения или оно само стоять должно )) | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #76 | ||
| 87. Сообщение от пох. (?), 27-Мрт-23, 10:29 | +/– | |
Вы бы лучше поделились информацией, как оно вообще было в работе и чего стоили те даунтаймы которые "редко" по мнению предыдущего эхсперта. Как чинилось, во что выливалось... | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #83 | ||
| 88. Сообщение от пох. (?), 27-Мрт-23, 10:30 | +/– | |
В смысле уж рванет так рванет? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #77 | ||
| 89. Сообщение от Аноним (89), 27-Мрт-23, 13:28 | +/– | |
Тому, у кого в хадупе больше 500 машин, и, поэтому, приходится из распределять по нескольким кластерам | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #26 Ответы: #90 | ||
| 90. Сообщение от Tron is Whistling (?), 27-Мрт-23, 17:17 | +1 +/– | |
Ну я и говорю - кроме яндеха наверное никому... | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #89 | ||
| 91. Сообщение от Аноним (91), 28-Мрт-23, 07:24 | +/– | |
"хранения и обработки данных десятков тысяч пользователей" - прям настоящая бигдата, целые десятки тысяч. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #62 | ||
92.
Сообщение от Serg (??), 29-Мрт-23, 16:23
| +/– | |
Знакомый сценарий: | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Ответы: #94 | ||
| 93. Сообщение от Аноним (93), 31-Мрт-23, 14:47 | +/– | |
Какому дураку придет в голову строить свою экосистему на базе продукта конкурента? | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #8 | ||
| 94. Сообщение от пох. (?), 31-Мрт-23, 23:14 | +/– | |
ничего, увы. Волож потому и держался до последнего за яндекс, что прекрасно знает - второго он уже не создаст. Просто потому что это можно было только тогда сделать даже при особом везении и кое-каких талантах. | ||
| Ответить | Правка | Наверх | Cообщить модератору | ||
| Родитель: #92 | ||
|
Архив | Удалить |
Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема |
|
Закладки на сайте Проследить за страницей |
Created 1996-2025 by Maxim Chirkov Добавить, Поддержать, Вебмастеру |