forum.opennet.ru - "PayPal открыл код СУБД JunoDB" (91)

"PayPal открыл код СУБД JunoDB"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"PayPal открыл код СУБД JunoDB"	+/–
Сообщение от opennews (??), 21-Май-23, 11:01
Компания PayPal открыла исходные тексты отказоустойчивой СУБД JunoDB, манипулирующей данными в формате ключ-значение. Система изначально спроектирована с оглядкой на высокую безопасность, горизонтальную масштабируемость, отказоустойчивость и способность обрабатывать сотни тысяч одновременных соединений с предсказуемыми задержками. В PayPal практически все сервисы, от входа пользователей до обработки финансовых транзакций, завязаны на JunoDB. Код проекта написан на языке Go (клиентская библиотека на Java) и распространяется под лицензией Apache 2.0. При дальнейшей разработке будут приниматься исправления, улучшения и изменения от сообщества... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=59169
Ответить \| Правка \| Cообщить модератору

Оглавление

350 миллиардов какая-то брехня , Аноним (1), 11:01 , 21-Май-23, (1) –7

Почему брехня Это в день 350000000000 86400 4 миллиона запросов в секунду,, Tron is Whistling (?), 11:31 , 21-Май-23, (9) +4
По производительности параметры ж в материале указаны 3 узла с конскими параметр, Tron is Whistling (?), 11:33 , 21-Май-23, (10) +2

и тут ВНЕЗАПНО выясняется что синхронизация протестированная на трех - немножко , пох. (?), 13:45 , 21-Май-23, (31) –1

синхронизация ЧЕГО данные в базах никуда не синхронизируются кроме как на рядом , ыы (?), 09:48 , 22-Май-23, (79)

Полторы тысячи нужно для гарантировано минимального отклика в 2 5мс читай новост, Аноним (48), 17:51 , 21-Май-23, (48)

Читаю - написано что эти 2 5ms интересно, чем и в какой точке меряли-то - эт, пох. (?), 18:56 , 21-Май-23, (50)

Да, а потом кто-то эти значения натянул на 350млрд Зачем Не факт, что на проде, Аноним (48), 19:09 , 21-Май-23, (53)
Пинганул локалхост 0 020 msих 2,5ms - на два порядка больше Ближайший локалост, ыы (?), 10:38 , 22-Май-23, (81)

Хз, сколько там нужно для 350 млрд, в теории-то вообще 350, потому что 3 - это 1, Tron is Whistling (?), 19:19 , 21-Май-23, (57)

Размещение данных в RAM - вот и весь секрет , Аноним (25), 12:44 , 21-Май-23, (25) +2

Ну да, рам в половину хренилища Хотя рокздыбыбл половину сожрёт на внутренние о, Tron is Whistling (?), 14:11 , 21-Май-23, (38)

Нужно ж понимать еще одну простую вещь - я в те годы когда не жил в Одичалии за , пох. (?), 15:28 , 21-Май-23, (40) –6

Да а зачем транзакцию отдельно то хранить Есть ID транзакции, в ней есть ID юзе, Tron is Whistling (?), 19:17 , 21-Май-23, (56)

так искать-то я буду не id транзакции Я буду искать либо по кому не id а value, пох. (?), 20:10 , 21-Май-23, (60) –1

По value находим id кого По id кого находим собственно id транзакций с этим id , Tron is Whistling (?), 22:14 , 21-Май-23, (64)

Ну да, потом удивляемся откуда взялись 300 миллионов запросов Вот оттуда KV та, пох. (?), 23:33 , 21-Май-23, (67)

У вас поховый солипсизм И пэйпал, конечно же, нагло врёт про 350 миллиардов, сп, Аноним (63), 21:58 , 21-Май-23, (63) +4

Причём тут RAM Там нет такого количества запросо Разве что что сам сервис ещё , Аноним (1), 04:12 , 22-Май-23, (69)

Маск цену себе набивает Продаваться хочет , ыы (?), 09:28 , 22-Май-23, (77)

в 214G ОЗУ , ыы (?), 07:42 , 22-Май-23, (72)
Только - вот новость-то - абсолютно все сколь-либо тиражные СУБД размещают опера, Аноним (99), 15:20 , 23-Май-23, (99)

Опять не sql и не на Си, что же скажут местные иксперты , Аноним (48), 11:01 , 21-Май-23, (2) –6

Go для прикладных задач всегда топ Он быстрый, безопасно работает с памятью, пр, Аноним (6), 11:22 , 21-Май-23, (6) –1

Там RocksDB на подложке, на игого только обвязка Очень вырожденный случай, для у, Tron is Whistling (?), 11:29 , 21-Май-23, (8) –1

И Все правильно сделали писать всё на спп это в 10 раз дольше и в 100 раз дорож, Аноним (6), 11:33 , 21-Май-23, (11) –3

Для данного вырожденного случая запросы наверняка банальные get value by key и , Tron is Whistling (?), 11:35 , 21-Май-23, (13) –2

Я как-то сомневаюсь что случай вырожден, а не навязан убогостью решения Так как , пох. (?), 13:48 , 21-Май-23, (32) –1

Ну, там мелкие финансовые транзакции Здесь снять, туда записать Сложные выборк, Tron is Whistling (?), 13:56 , 21-Май-23, (34) +1

Ну да Вот у тебя транзакция - от кого, кому, когда, сколько - это минимум Еще , пох. (?), 16:30 , 21-Май-23, (43)

Ну дык да, всё лепится на общий ID, дальше поиски по нужному value от этого ID, , Tron is Whistling (?), 19:14 , 21-Май-23, (55)

Учитывая что на подложке rocksdb - можно было и на цыпыпы, просто видимо игогошн, Tron is Whistling (?), 11:37 , 21-Май-23, (16)

Вы б глянули, почем нынче игогошники, OpenEcho (?), 12:19 , 21-Май-23, (18) +1

Ты бы уже начал думать в разрезе эффективности, а не цены 1 го программист пише, Аноним (6), 12:27 , 21-Май-23, (19) +2

Гопники вынуждены писать длинные макаронные портянки, накапливая техдолг и баги , Аноним (25), 12:33 , 21-Май-23, (22) –2

Да эти знаменитые С макаронные портянки это что-то с чем-то На го все коротко, Аноним (6), 12:43 , 21-Май-23, (24) +2

Один гошник работает за десятерых вдесятеро более дешёвых сишников Но у разрабо, Бывалый смузихлёб (?), 16:09 , 21-Май-23, (41)
Давно уже, и не только думаю Народ вы читаете перед тем как пишите или полнос, OpenEcho (?), 15:01 , 22-Май-23, (87)

Весь бангалор к вашим услугам, недорого Плюсовики дороже, у бангалорцев плюсы т, Аноним (29), 13:36 , 21-Май-23, (29) +4

Недорого Или информация 30 летней давности , OpenEcho (?), 15:48 , 22-Май-23, (88)

Система изначально спроектирована с косым взглядом на высокую безопасность, гори, pashev.ru (?), 11:15 , 21-Май-23, (4) +5
Как будто кто-то хорошо прошел собес по проектированию архитектуры систем , Аноним (6), 11:21 , 21-Май-23, (5) –1
Дальше в общем можно и не читать , Tron is Whistling (?), 11:27 , 21-Май-23, (7) –6

А что им надо было всё писать на древнежабе потому что все клиенты использую дре, Аноним (6), 11:36 , 21-Май-23, (14) +3

Ну ежа с ужом - всегда так себе затея И да, на подложке RocksDB, т е на гошечк, Tron is Whistling (?), 11:37 , 21-Май-23, (15) –1
Надо было писать на Malbolge, ИмяХ (?), 12:33 , 21-Май-23, (21)
Скажи спасибо, что не на COBOL Все равно выглядит как нате вам боже что нам не, Аноним (25), 12:41 , 21-Май-23, (23) +2

На самом деле это 171 Чем богаты тем и рады 187 , Аноним (6), 12:44 , 21-Май-23, (26)
вот мне тоже кажется, что свой велосипед выложили в связи с переходом на какую т, Аноним (49), 18:01 , 21-Май-23, (49)

Э ну и назови мейнстримную базу подходящую под описанные параметры Ну те что , пох. (?), 19:00 , 21-Май-23, (51)

Ну, для начала, они читерят с баллансировщиком нагрузки, с такими исходными м, Аноним (49), 22:47 , 21-Май-23, (65)

Всего-то какой-то репликацией Подумаешь, мелочь Да любой опеннетчик её только , Аноним (63), 18:46 , 22-Май-23, (93)
Хрен оно у тебя будет работать ОТ той твоей связки они наверняка уже когда-то у, Аноним (94), 20:21 , 22-Май-23, (94)

мда специалисты, которых мы заслужили это про тебя, а не про тех, кто проект, Аноним (28), 13:06 , 21-Май-23, (28) +1

сразу на gc заложились, Аноним (12), 11:34 , 21-Май-23, (12) +4
Похоже на ceph, только с намного большим количеством посредников , Всем Анонимам Аноним (?), 11:38 , 21-Май-23, (17)

Это похоже на Apache Ignite только сделанный не там , Аноним (6), 12:30 , 21-Май-23, (20) +2

Очевидно, что они обновили платформу, а старье выкинули разлагатся в опенсорс В, Аноним (25), 12:46 , 21-Май-23, (27) +1

Да, похоже на phaseout, вот и выкинули , Tron is Whistling (?), 14:06 , 21-Май-23, (36)
Более интересно даже - что на замену , Tron is Whistling (?), 14:07 , 21-Май-23, (37) +1

Что-то столь же ужасное - потому что вряд ли они могут себе позволить переделать, пох. (?), 19:01 , 21-Май-23, (52)

А, на фронте там вообще REST скорее всего какой-нибудь, или SOAP, или whatever t, Tron is Whistling (?), 19:20 , 21-Май-23, (58)

Ну я и говорю - только если что-то такое же А зачем им такое же если у них уже , пох. (?), 20:12 , 21-Май-23, (61)

А опеннет-экспертам не так просто угодить Если корпорация выложит старый проект , Анониссимус (?), 08:12 , 22-Май-23, (73) +1

Ну какие проекты, такие и отзывы Ты ведь конечно можешь назвать хоть один дейст, пох. (?), 16:01 , 22-Май-23, (89)

Действительно, так навскидку вспомнить что-то реально хорошее трудно Но всё так, Анониссимус (?), 16:40 , 22-Май-23, (91)

Сколько еще таких чемоданов без ручки в недрах корпораций Интересно, есть вообще, Аноним (30), 13:42 , 21-Май-23, (30)

Нету таких Потому что тех кто умеет готовить решения на такие нагрузки - вообще, пох. (?), 13:51 , 21-Май-23, (33) +7

я тебя умоляю ничего там не растёт вместе с компанией, разве что костыли и пил, Аноним (1), 02:17 , 22-Май-23, (68) –1

ты-то уже десять пэйпалов перерос Ты-то знаешь что происходит вокруг и в любую , пох. (?), 08:56 , 22-Май-23, (74) +2

Вагон и тележка Потому что нужно tailored решение, а не коммунальный шлак - не в, Tron is Whistling (?), 14:05 , 21-Май-23, (35) +1

Чем их задачи отличались от каких-либо других Ничем Если компания не тянет под, Аноним (30), 16:57 , 21-Май-23, (45) –3

Ну так они и подстроили - взяли RocksDB, налепили tailored обвязки , Tron is Whistling (?), 19:14 , 21-Май-23, (54) +1

костыли, Аноним (30), 23:24 , 21-Май-23, (66) –1

вопрос правообладания и обязательствВдобавок, многие проекты весьма долго тянутс, Бывалый смузихлёб (?), 16:35 , 21-Май-23, (44)

1 Выкладываем в OpenSource 2 Привлекаем заинтересованных разработчиков к проек, Аноним (39), 14:32 , 21-Май-23, (39) +3

1 Выкладываем в OpenSource 2 Получаем набег орды халявщиков с претензиями 3 У, YetAnotherOnanym (ok), 17:30 , 21-Май-23, (46) +4

7 Решаем что такие эксперименты не стоят затраченного времени, и больше ничего , Аноним (59), 19:39 , 21-Май-23, (59)

1 Company_name выкладывает в OpenSource2 Набегают хомячки3 Собираем налоги,, КО (?), 06:16 , 22-Май-23, (70) –1

GNU dbm , Аноним (62), 20:23 , 21-Май-23, (62) –1

Berkeley DBSQLite Же Форк, чтоб без хранимых процедур , 1 (??), 14:23 , 22-Май-23, (86)

Задержки в 2 5 и 16 задержки чего , Профессор (?), 07:37 , 22-Май-23, (71) –1

Сложности перевода Посмотрите картинку там написано как правильно называется у, ыы (?), 10:23 , 22-Май-23, (80)

Это то, из-за чего PP такой тормозной , bergentroll (ok), 09:19 , 22-Май-23, (75) +1
Это из-за нее пейпал тормозил как скотина и виснул , AndreyChe (?), 09:20 , 22-Май-23, (76) –1
Ждем MiddleDB и SeniorDB Кхм, за деньги, конечно , Вы забыли заполнить поле Name (?), 16:18 , 22-Май-23, (90)

MiddloDB и SenioroDB , Mail (?), 23:14 , 22-Май-23, (96)

MidoDB SenoDB, Аноним (30), 23:52 , 22-Май-23, (98)

Так любимая линуксоидами фрагментация, когда идеи опенсорса распыляются, а выжив, Аноним (92), 16:50 , 22-Май-23, (92) –2

Смотри, анончик, как бы твою девочку кто не танцевал, пока ты тут жиденько накид, Вы забыли заполнить поле Name (?), 21:45 , 22-Май-23, (95)

Не заработал он еще на девочку , Аноним (30), 23:51 , 22-Май-23, (97)

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 21-Май-23, 11:01 –7 +/–

350 миллиардов? какая-то брехня.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #9, #10, #25

2. Сообщение от Аноним (48), 21-Май-23, 11:01 –6 +/–

Опять не sql и не на Си, что же скажут местные иксперты?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #6

4. Сообщение от pashev.ru (?), 21-Май-23, 11:15 +5 +/–

Система изначально спроектирована с косым взглядом на высокую безопасность, горизонтальную масштабируемость, отказоустойчивость.

Ответить | Правка | Наверх | Cообщить модератору

5. Сообщение от Аноним (6), 21-Май-23, 11:21 –1 +/–

Как будто кто-то хорошо прошел собес по проектированию архитектуры систем.

Ответить | Правка | Наверх | Cообщить модератору

6. Сообщение от Аноним (6), 21-Май-23, 11:22 –1 +/–

Go для прикладных задач всегда топ. Он быстрый, безопасно работает с памятью, простой.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #8

7. Сообщение от Tron is Whistling (?), 21-Май-23, 11:27 –6 +/–

> Код проекта написан на языке Go (клиентская библиотека на Java)
Дальше в общем можно и не читать.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #14, #28

8. Сообщение от Tron is Whistling (?), 21-Май-23, 11:29 –1 +/–

Там RocksDB на подложке, на игого только обвязка.
Очень вырожденный случай, для узкоспецифичных применений.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #11

9. Сообщение от Tron is Whistling (?), 21-Май-23, 11:31 +4 +/–

Почему брехня. Это в день.
350000000000 / 86400 = ~4 миллиона запросов в секунду, если учесть что это колонковое хранилище, не так уж и много, просто здоровый кластер и шардинг по группе юзеров в итоге, когда у тебя все данные полностью шардятся, достижимо почти на чём угодно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

10. Сообщение от Tron is Whistling (?), 21-Май-23, 11:33 +2 +/–

По производительности параметры ж в материале указаны:
3 узла с конскими параметрами: 32 CPU Intel Xeon 2.30GHz, 214G ОЗУ и 450G хранилище на базе SSD
И всего 15000 запросов в секунду. Это миллиард в день. Чтобы это смасштабировать на 350 миллиардов - надо полторы тысячи узлов минимум, если у тебя всё удачно шардится. Не много, но и не мало.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #31, #48

11. Сообщение от Аноним (6), 21-Май-23, 11:33 –3 +/–

И? Все правильно сделали писать всё на спп это в 10 раз дольше и в 100 раз дороже. Go топчик, а ты хейтер.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #13, #16

12. Сообщение от Аноним (12), 21-Май-23, 11:34 +4 +/–

> с предсказуемыми задержками.
> Код проекта написан на языке Go
сразу на gc заложились

Ответить | Правка | Наверх | Cообщить модератору

13. Сообщение от Tron is Whistling (?), 21-Май-23, 11:35 –2 +/–

Для данного вырожденного случая (запросы наверняка банальные get value by key и store value by key, без сложных выборок) - ну, норм.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #32

14. Сообщение от Аноним (6), 21-Май-23, 11:36 +3 +/–

А что им надо было всё писать на древнежабе потому что все клиенты использую древнежабу?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #15, #21, #23

15. Сообщение от Tron is Whistling (?), 21-Май-23, 11:37 –1 +/–

Ну ежа с ужом - всегда так себе затея. И да, на подложке RocksDB, т.е. на гошечке там тупо микронная обвязка, можно было и нет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

16. Сообщение от Tron is Whistling (?), 21-Май-23, 11:37 +/–

Учитывая что на подложке rocksdb - можно было и на цыпыпы, просто видимо игогошники дешевле обошлись.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #18

17. Сообщение от Всем Анонимам Аноним (?), 21-Май-23, 11:38 +/–

Похоже на ceph, только с намного большим количеством посредников.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #20

18. Сообщение от OpenEcho (?), 21-Май-23, 12:19 +1 +/–

Вы б глянули, почем нынче игогошники

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #19, #29

19. Сообщение от Аноним (6), 21-Май-23, 12:27 +2 +/–

Ты бы уже начал думать в разрезе эффективности, а не цены. 1 го программист пишет столько же сколько пишут 10 сиплюплюсников за те же деньги.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #22, #41, #87

20. Сообщение от Аноним (6), 21-Май-23, 12:30 +2 +/–

Это похоже на Apache Ignite только сделанный не там.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

21. Сообщение от ИмяХ (?), 21-Май-23, 12:33 +/–

Надо было писать на Malbolge

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

22. Сообщение от Аноним (25), 21-Май-23, 12:33 –2 +/–

Гопники вынуждены писать длинные макаронные портянки, накапливая техдолг и баги. Примерно то на то и получается.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #24

23. Сообщение от Аноним (25), 21-Май-23, 12:41 +2 +/–

Скажи спасибо, что не на COBOL. Все равно выглядит как "нате вам боже что нам негоже".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #26, #49

24. Сообщение от Аноним (6), 21-Май-23, 12:43 +2 +/–

Да эти знаменитые С++ макаронные портянки это что-то с чем-то. На го все коротко ясно быстро и элегантно. На го в 10 раз меньше затрат.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

25. Сообщение от Аноним (25), 21-Май-23, 12:44 +2 +/–

Размещение данных в RAM - вот и весь секрет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #38, #69, #72, #99

26. Сообщение от Аноним (6), 21-Май-23, 12:44 +/–

На самом деле это: «Чем богаты тем и рады»

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

27. Сообщение от Аноним (25), 21-Май-23, 12:46 +1 +/–

Очевидно, что они обновили платформу, а старье выкинули разлагатся в опенсорс. В лучше случае получится еще один зомби Apache Juno.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #36, #37, #73

28. Сообщение от Аноним (28), 21-Май-23, 13:06 +1 +/–

мда... специалисты, которых мы заслужили (это про тебя, а не про тех, кто проект и библиотеку писАл)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

29. Сообщение от Аноним (29), 21-Май-23, 13:36 +4 +/–

> Вы б глянули, почем нынче игогошники
Весь бангалор к вашим услугам, недорого. Плюсовики дороже, у бангалорцев плюсы туго идут.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #88

30. Сообщение от Аноним (30), 21-Май-23, 13:42 +/–

Сколько еще таких чемоданов без ручки в недрах корпораций?
Интересно, есть вообще такие корпы, которые с самого начала имеют четкую позицию не разрабатывать за свой счет всякую прикольную фигню, вместо этого нанимать тех, кто умеет готовить опенсорсные решения?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #33, #35, #44

31. Сообщение от пох. (?), 21-Май-23, 13:45 –1 +/–

> надо полторы тысячи узлов минимум
и тут ВНЕЗАПНО выясняется что синхронизация протестированная на трех - немножко не очень работает на полутора тысячах.
В общем был я лучшего мнения о пэйпалке. Впрочем, подозреваю, это чудо в перьях существует гораздо меньше чем пэйпэл, тот с которым я когда-то имел дело - использовал что-то совсем другое.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #79

32. Сообщение от пох. (?), 21-Май-23, 13:48 –1 +/–

Я как-то сомневаюсь что случай вырожден, а не навязан убогостью решения.
Так как в общем-то любую таблицу можно развернуть в пачку key-value, но все эти миллиарды запросов - они ровно потому, что там где в нормальной базе был бы один - тут их приходится сделать последовательно десять.
А потом еще парсить сложный формат этого самого value, выковыривая из него требуемые куски.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #34

33. Сообщение от пох. (?), 21-Май-23, 13:51 +7 +/–

Нету таких. Потому что тех кто умеет готовить решения на такие нагрузки - вообще в природе нет. Они растут вместе с компанией, или переходят из похожей где выросли - и других вариантов практически не бывает. А дальше делают методом проб и ошибок, иногда очень дорогостоящих, иногда очень такое вот странное но как-то подкостылено и подперто и в их специальном случае - работает.
А опенcocники как всегда - cocyт-с. Их удел - локалхосты.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #68

34. Сообщение от Tron is Whistling (?), 21-Май-23, 13:56 +1 +/–

Ну, там мелкие финансовые транзакции. Здесь снять, туда записать. Сложные выборки разве что для статистики.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #43

35. Сообщение от Tron is Whistling (?), 21-Май-23, 14:05 +1 +/–

Вагон и тележка.
Потому что нужно tailored решение, а не коммунальный шлак - не важно опенсорс или коммерсовый, который фиг под конкретную задачу допилишь.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #45

36. Сообщение от Tron is Whistling (?), 21-Май-23, 14:06 +/–

Да, похоже на phaseout, вот и выкинули.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

37. Сообщение от Tron is Whistling (?), 21-Май-23, 14:07 +1 +/–

Более интересно даже - что на замену...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27 Ответы: #52

38. Сообщение от Tron is Whistling (?), 21-Май-23, 14:11 +/–

Ну да, рам в половину хренилища. Хотя рокздыбыбл половину сожрёт на внутренние операции.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25 Ответы: #40

39. Сообщение от Аноним (39), 21-Май-23, 14:32 +3 +/–

1. Выкладываем в OpenSource.
2. Привлекаем заинтересованных разработчиков к проекту.
3. Сокращаем штатных разработчиков.
4. Отчитываемся о сокращении расходов перед инвесторами.
5. Profit.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #46, #70

40. Сообщение от пох. (?), 21-Май-23, 15:28 –6 +/–

Нужно ж понимать еще одну простую вещь - я в те годы когда не жил в Одичалии за Стеной пользовался палкой, да - но я ей пользовался раз в два-три месяца. Полагаю это вполне типичный use-pattern, и 90 или больше процентов этой базы на самом деле нахрен в памяти не сдались. Остальное - какие-нибудь ларьки по продаже чехлов к телефонам, которые долбят своими копеечными заказами с диким рейтом.
А если прикинуть как часто (нет) нужны какие-нибудь исторические транзакции - то как бы не 99.9% ненужно получается.
Возможно, конечно, у них все же транзакции хранятся где-то отдельно и в более подобающем формате, но это мягко говоря не доказано.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #56, #63

41. Сообщение от Бывалый смузихлёб (?), 21-Май-23, 16:09 +/–

> 1 го программист пишет столько же сколько пишут 10 сиплюплюсников за те же деньги
Один гошник работает за десятерых вдесятеро более дешёвых сишников ?
Но у разработчиков редко зп растёт на порядок при прочих равных
Т.е получается примерно сравнение одного среднего/почти-ведущего программиста с десятком стажёров
Но в таком случае, скорее всего, один средний проггер в любом случае полезного кода напишет больше тупо потому что стажёрам многое придётся переписывать

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

43. Сообщение от пох. (?), 21-Май-23, 16:30 +/–

Ну да. Вот у тебя транзакция - от кого, кому, когда, сколько - это минимум. Еще там где-то конкретика откуда взялись деньги и куда потом попали - карта, счет, тип (операции частных лиц отличаются у палки от коммерческих)
Ну и как мы будем это в key-value пихать, с учетом что искать потом будут по любому из этих полей? Причем в самую последнюю очередь - по уникальному id.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #55

44. Сообщение от Бывалый смузихлёб (?), 21-Май-23, 16:35 +/–

вопрос правообладания и обязательств
Вдобавок, многие проекты весьма долго тянутся
И начинается всё с того, что взяли наиболее простое, доступное и логичное на тот момент решение, потом под небольшое изменение потребностей под себя доработали, потом ещё
Потом - уже и переезд на более жирный но опенсорс уже не выглядит простым ибо много чего нет или работает не так
И вот, чёрти какое решение, изначально на такое вообще не рассчитанное и подпираемое неведомой горой костылей, скопившихся за годы, тянут до последнего. Нередко заменяя с огромным блоком другого связанного барахла, долго к этому готовясь.
А потом - выкидывают это барахло. Только если раньше оно уходило куда-то в архивы или продавалось за гроши, то теперь стало модно выкидывать в опенсорс.
Интересно только, спишут ли они расходы на эту систему как расходы на поддержку опенсорса, каковым то барахло в итоге и стало

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30

45. Сообщение от Аноним (30), 21-Май-23, 16:57 –3 +/–

Чем их задачи отличались от каких-либо других? Ничем. Если компания не тянет подстроить существующие решения, свое решение превратится в неподдерживаемый хлам с вероятностью близкой к единице.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #54

46. Сообщение от YetAnotherOnanym (ok), 21-Май-23, 17:30 +4 +/–

1. Выкладываем в OpenSource.
2. Получаем набег орды халявщиков с претензиями.
3. Убеждаемся, что пилить вместе с нами никто не намерен.
4. Делим на две ветки - для себя любимых и для всяких.
5. Получаем тонны фекалий и несколько изначально дохлых форков.
6. Окончательно забиваем на открытую ветку.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39 Ответы: #59

48. Сообщение от Аноним (48), 21-Май-23, 17:51 +/–

Полторы тысячи нужно для гарантировано минимального отклика в 2.5мс читай новость внимательней

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #50, #57

49. Сообщение от Аноним (49), 21-Май-23, 18:01 +/–

вот мне тоже кажется, что свой велосипед выложили в связи с переходом на какую то мейнстримную базу, чтоб бабло не тратить на поддержку

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #51

50. Сообщение от пох. (?), 21-Май-23, 18:56 +/–

Читаю - написано что эти 2.5ms (интересно, чем и в какой точке меряли-то?)  - это та самая экспериментальная установка аж из целых ТРЕХ серверов.
Про характеристики той что полторы тысячи - ничего нет кроме запросов в секунду.
А теперь пингани свой ближайший локалхост и посмотри 95% время ответа на icmp (не tcp! не userland! на пустой сети!). И еще разок взгляни на схему с кучей проксей поверх проксей. И еще что-то там про геораспределенность, явно не все в один мегасвичт воткнуто.
"по-моему, где-то нас нае...ли"

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48 Ответы: #53, #81

51. Сообщение от пох. (?), 21-Май-23, 19:00 +/–

Э... ну и назови мейнстримную базу подходящую под описанные параметры?
Ну те что про их прод а не экспериментальную схему - известно число запросов в секунду, нужна избыточность и геораспредленность. Предположим даже что нормальный sql сократил бы количество запросов раз в десять. Что крайне маловероятно (не то что сократил бы, а что они могут заменить эту свою поделку на sql не взорвав весь пэйпэл нюком и не построив заново с нуля) - т.е. речь может идти только о no-sql базах. Выбор сводится к поделкам апача... так себе мейнстрим и поддержка.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49 Ответы: #65

52. Сообщение от пох. (?), 21-Май-23, 19:01 +/–

Что-то столь же ужасное - потому что вряд ли они могут себе позволить переделать структуры данных и весь фронт/мидлварь.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #58

53. Сообщение от Аноним (48), 21-Май-23, 19:09 +/–

Да, а потом кто-то эти значения натянул на 350млрд. Зачем? Не факт, что на проде палки такой же отклик, зачем им это.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

54. Сообщение от Tron is Whistling (?), 21-Май-23, 19:14 +1 +/–

Ну так они и подстроили - взяли RocksDB, налепили tailored обвязки.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #66

55. Сообщение от Tron is Whistling (?), 21-Май-23, 19:14 +/–

Ну дык да, всё лепится на общий ID, дальше поиски по нужному value от этого ID, и по ID выхватывается всё остальное.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43

56. Сообщение от Tron is Whistling (?), 21-Май-23, 19:17 +/–

Да а зачем транзакцию отдельно то хранить? Есть ID транзакции, в ней есть ID юзера как value, в ней есть прочие ID связок как value, поиск делается по любому индексированному ID, далее выхватывается всё, что надо.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40 Ответы: #60

57. Сообщение от Tron is Whistling (?), 21-Май-23, 19:19 +/–

Хз, сколько там нужно для 350 млрд, в теории-то вообще 350, потому что 3 - это 1 млрд, но по факту я натянул с потолка полторы тысячи, потому что 100% и шардинг и собственно интерлоки хромать будут.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

58. Сообщение от Tron is Whistling (?), 21-Май-23, 19:20 +/–

А, на фронте там вообще REST скорее всего какой-нибудь, или SOAP, или whatever the fsck goes.
Только мидлварь переделывать, если такое же KV - возможно несущественно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52 Ответы: #61

59. Сообщение от Аноним (59), 21-Май-23, 19:39 +/–

7. Решаем что такие эксперименты не стоят затраченного времени, и больше ничего не выкладываем в опопенсорс

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46

60. Сообщение от пох. (?), 21-Май-23, 20:10 –1 +/–

так искать-то я буду не id транзакции. Я буду искать либо по кому (не id а value!) ушло, либо когда. чтобы мне показать список - нужно искать по мне и сортировать по дате (value).
С биллингом то же самое - даты, имена, что угодно но не id.
Про интегральную целостность тоже непонятно в таком раскладе - тебе надо мильен ключей и значений на каждую операцию сохранять, где там гарантии и есть ли они вообще, неясно, а денежки - материя тонкая, требуют аккуратного счета.
Скорее всего там сохраняется блоб, и парсится уже в приложении а не базой. Медленно, неудобно, неэффективно, зато масштабируется по числу серверов приложения.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56 Ответы: #64

61. Сообщение от пох. (?), 21-Май-23, 20:12 +/–

Ну я и говорю - только если что-то такое же. А зачем им такое же если у них уже есть одно?
Что кто-то за них возьмется поддерживать - не верю, опять же с учетом кто и какие делает штуки подобного рода.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58

62. Сообщение от Аноним (62), 21-Май-23, 20:23 –1 +/–

>манипулирующей данными в формате ключ-значение
GNU dbm?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #86

63. Сообщение от Аноним (63), 21-Май-23, 21:58 +4 +/–

> я ей пользовался раз в два-три месяца
> Полагаю это вполне типичный use-pattern
У вас поховый солипсизм. И пэйпал, конечно же, нагло врёт про 350 миллиардов, специально чтобы опеннетовских экспертов позлить. Ох, уж этот пейпал, такие-то гадюки!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40

64. Сообщение от Tron is Whistling (?), 21-Май-23, 22:14 +/–

По value находим id кого. По id кого находим собственно id транзакций с этим id кого. По id транзакций выбираем даты. Сортируем. Выгребаем по нужным id всё остальное. KV - оно такое.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60 Ответы: #67

65. Сообщение от Аноним (49), 21-Май-23, 22:47 +/–

   Ну, для начала, они читерят с баллансировщиком нагрузки, с такими исходными можно обрабатывать теоретически любую нагрузку на распределенные (втч территориально) сервера даже классических sql БД типа Оракла, Постгреса или ДБ2. Да, придется решать вопрос с репликацией, но это возможно.
   Но в том то весть прикол, что они используют архитектуру ключ-значение, т.е это как раз NO-sql,
скорее всего они решили запользовать какую ни будь редиску, кассандру, могну или вообще кликхауз :)
Выбросив го-жаба-свой велосипед на мороз, они выкинут вместе с ним отдел программистов и оставят только девляпсов. Кроме того база на Ц может оказаться сильно менее требовательна к оперативе и вычислительным ресурсам, можно будет еще и на серваках поэкономить.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51 Ответы: #93, #94

66. Сообщение от Аноним (30), 21-Май-23, 23:24 –1 +/–

>tailored обвязки
костыли

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54

67. Сообщение от пох. (?), 21-Май-23, 23:33 +/–

Ну да, потом удивляемся откуда взялись 300 миллионов запросов. Вот оттуда. KV такое KV. И искать в нем id по value - неожиданно (нет) очень дорогая операция.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #64

68. Сообщение от Аноним (1), 22-Май-23, 02:17 –1 +/–

я тебя умоляю. ничего там не растёт вместе с компанией, разве что костыли. и пилят своё исключительно из-за незнания что происходит вокруг

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #74

69. Сообщение от Аноним (1), 22-Май-23, 04:12 +/–

Причём тут RAM? Там нет такого количества запросо. Разве что что сам сервис ещё делает 10к запросов к внутренним сервисам при любом запросе извне.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25 Ответы: #77

70. Сообщение от КО (?), 22-Май-23, 06:16 –1 +/–

1. <Company_name> выкладывает в OpenSource
2. Набегают хомячки
3. Собираем налоги, тыкая в README
4. Profit

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39

71. Сообщение от Профессор (?), 22-Май-23, 07:37 –1 +/–

Задержки в 2.5 и 16...задержки чего?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #80

72. Сообщение от ыы (?), 22-Май-23, 07:42 +/–

в 214G ОЗУ ?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25

73. Сообщение от Анониссимус (?), 22-Май-23, 08:12 +1 +/–

А опеннет-экспертам не так просто угодить!
Если корпорация выложит старый проект -- "старье выкинули разлагатся в опенсорс".
Если корпорация выложит действующий проект -- "решили воспользоваться бесплатной рабсилой".
Ну а если частное лицо выложит что угодно, то это просто "нинужна!"

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27 Ответы: #89

74. Сообщение от пох. (?), 22-Май-23, 08:56 +2 +/–

ты-то уже десять пэйпалов перерос? Ты-то знаешь что происходит вокруг и в любую секунду готов им настроить опенсорсное нен.. хранилище хотя бы даже KV на подобные нагрузки - и можешь это подтвердить прошлыми успехами?
Только почему же тогда ты работаешь в россиянском подвале с десятком ржавых локалхостов?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68

75. Сообщение от bergentroll (ok), 22-Май-23, 09:19 +1 +/–

Это то, из-за чего PP такой тормозной?

Ответить | Правка | Наверх | Cообщить модератору

76. Сообщение от AndreyChe (?), 22-Май-23, 09:20 –1 +/–

Это из-за нее пейпал тормозил как скотина и виснул?

Ответить | Правка | Наверх | Cообщить модератору

77. Сообщение от ыы (?), 22-Май-23, 09:28 +/–

Маск цену себе набивает... Продаваться хочет...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #69

79. Сообщение от ыы (?), 22-Май-23, 09:48 +/–

синхронизация ЧЕГО?
данные в базах никуда не синхронизируются кроме как на рядом стоящую ноду...для отказоустойчивости... алллоо..меня слышно?
синхронизируется там только etcd. Но это отдельная пестдня...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

80. Сообщение от ыы (?), 22-Май-23, 10:23 +/–

Сложности перевода. Посмотрите картинку. там написано как правильно называется упомянутый параметр.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #71

81. Сообщение от ыы (?), 22-Май-23, 10:38 +/–

Пинганул локалхост:
0.020 ms
их 2,5ms - на два порядка больше.
"Ближайший локалост" ты наверное имеешь в виду в локальной сети? которая 100Мб ?
Один персонаж из фильма на такие эксприменты говорил так:
"Я тут это... экскримент хочу сделать" (с)
а у них а у них там хосты или виртуаки, или 10-20-40Gb сеть... так что пинг будет почти такой как у локалхоста.. ну можент чуть похуже...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

86. Сообщение от 1 (??), 22-Май-23, 14:23 +/–

Berkeley DB
SQLite Же !!! Форк, чтоб без хранимых процедур.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62

87. Сообщение от OpenEcho (?), 22-Май-23, 15:01 +/–

> Ты бы уже начал думать в разрезе эффективности, а не цены.
Давно уже, и не только думаю :) Народ вы читаете перед тем как пишите или полностью - телепатия.

>1 го программист пишет столько же сколько пишут 10 сиплюплюсников за те же деньги.
Понятно, - не в теме... программист на Го дороже, а не дешевле плюсовика
Яблоки против апельсинов? У обоих языков разные области применения и каждый из них хорош в своей области. Конечный результат оценивается не в количестве настроганного кода, а в качестве при быстроте реализации. Можно конечно написать на Го операционныю систему, но лучше юзать right tool for a job, также как тупо юзать плюсы там, где это значительно быстрей и с меньшими ошибками изпользовать эффективно Го

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

88. Сообщение от OpenEcho (?), 22-Май-23, 15:48 +/–

> Весь бангалор к вашим услугам, недорого.
Недорого? Или информация 30 летней давности?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29

89. Сообщение от пох. (?), 22-Май-23, 16:01 +/–

Ну какие проекты, такие и отзывы. Ты ведь конечно можешь назвать хоть один действительно хороший проект выложенный в опенсорс за последние лет пять?
Хотя бы не вызывающий первых реакций вида "что это за х-ня?!", "кому оно на.. надо?!" и "а еще уродливее просто невозможно или не смогли?"
Я - боюсь что нет.
За десять - буквально по пальцам одной руки пересчитать и то с трудом.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #73 Ответы: #91

90. Сообщение от Вы забыли заполнить поле Name (?), 22-Май-23, 16:18 +/–

> JunoDB
Ждем MiddleDB и SeniorDB... Кхм, за деньги, конечно.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #96

91. Сообщение от Анониссимус (?), 22-Май-23, 16:40 +/–

> Ну какие проекты, такие и отзывы. Ты ведь конечно можешь назвать хоть
> один действительно хороший проект выложенный в опенсорс за последние лет пять?
> Хотя бы не вызывающий первых реакций вида "что это за х-ня?!", "кому
> оно на.. надо?!" и "а еще уродливее просто невозможно или не
> смогли?"
> Я - боюсь что нет.
> За десять - буквально по пальцам одной руки пересчитать и то с
> трудом.
Действительно, так навскидку вспомнить что-то реально хорошее трудно. Но всё таки, когда выкладывают какой-нибудь проект, обычно сразу находятся энтузиасты, которые начинают коммитить, форкать и т. п. Значит оно всё же кому-то нужно. И вообще, открытое ПО -- это всегда лучше, чем закрытое.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #89

92. Сообщение от Аноним (92), 22-Май-23, 16:50 –2 +/–

Так любимая линуксоидами фрагментация, когда идеи опенсорса распыляются, а выживают только проекты под покровительством спонсоров, которые девочку и танцуют.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #95

93. Сообщение от Аноним (63), 22-Май-23, 18:46 +/–

> Да, придется решать вопрос с репликацией, но это возможно.
Всего-то какой-то репликацией. Подумаешь, мелочь. Да любой опеннетчик её только так, походцем, одной левой, не отрываясь от комментирования на любимом ресурсе.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #65

94. Сообщение от Аноним (94), 22-Май-23, 20:21 +/–

>cервера даже классических sql БД типа Оракла, Постгреса или ДБ2.Да, придется решать вопрос с репликацией, но это возможно.
Хрен оно у тебя будет работать. ОТ той твоей связки они наверняка уже когда-то убежали свой

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #65

95. Сообщение от Вы забыли заполнить поле Name (?), 22-Май-23, 21:45 +/–

> Так любимая линуксоидами фрагментация, когда идеи опенсорса распыляются, а выживают только
> проекты под покровительством спонсоров, которые девочку и танцуют.
Смотри, анончик, как бы твою девочку кто не танцевал, пока ты тут жиденько накидываешь.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #92 Ответы: #97

96. Сообщение от Mail (?), 22-Май-23, 23:14 +/–

MiddloDB и SenioroDB.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #90 Ответы: #98

97. Сообщение от Аноним (30), 22-Май-23, 23:51 +/–

Не заработал он еще на девочку.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95

98. Сообщение от Аноним (30), 22-Май-23, 23:52 +/–

MidoDB / SenoDB

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #96

99. Сообщение от Аноним (99), 23-Май-23, 15:20 +/–

Только - вот новость-то - абсолютно все сколь-либо тиражные СУБД размещают оперативные данные ИСКЛЮЧИТЕЛЬНО в РАМе. И работают ТОЛЬКО с РАМой.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Сообщение от Аноним (1), 21-Май-23, 11:01	–7 +/–
350 миллиардов? какая-то брехня.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #9, #10, #25

2. Сообщение от Аноним (48), 21-Май-23, 11:01	–6 +/–
Опять не sql и не на Си, что же скажут местные иксперты?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #6

4. Сообщение от pashev.ru (?), 21-Май-23, 11:15	+5 +/–
Система изначально спроектирована с косым взглядом на высокую безопасность, горизонтальную масштабируемость, отказоустойчивость.
Ответить \| Правка \| Наверх \| Cообщить модератору

5. Сообщение от Аноним (6), 21-Май-23, 11:21	–1 +/–
Как будто кто-то хорошо прошел собес по проектированию архитектуры систем.
Ответить \| Правка \| Наверх \| Cообщить модератору

6. Сообщение от Аноним (6), 21-Май-23, 11:22	–1 +/–
Go для прикладных задач всегда топ. Он быстрый, безопасно работает с памятью, простой.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2 Ответы: #8

7. Сообщение от Tron is Whistling (?), 21-Май-23, 11:27	–6 +/–
> Код проекта написан на языке Go (клиентская библиотека на Java) Дальше в общем можно и не читать.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #14, #28

8. Сообщение от Tron is Whistling (?), 21-Май-23, 11:29	–1 +/–
Там RocksDB на подложке, на игого только обвязка. Очень вырожденный случай, для узкоспецифичных применений.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #6 Ответы: #11

9. Сообщение от Tron is Whistling (?), 21-Май-23, 11:31	+4 +/–
Почему брехня. Это в день. 350000000000 / 86400 = ~4 миллиона запросов в секунду, если учесть что это колонковое хранилище, не так уж и много, просто здоровый кластер и шардинг по группе юзеров в итоге, когда у тебя все данные полностью шардятся, достижимо почти на чём угодно.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1

10. Сообщение от Tron is Whistling (?), 21-Май-23, 11:33	+2 +/–
По производительности параметры ж в материале указаны: 3 узла с конскими параметрами: 32 CPU Intel Xeon 2.30GHz, 214G ОЗУ и 450G хранилище на базе SSD И всего 15000 запросов в секунду. Это миллиард в день. Чтобы это смасштабировать на 350 миллиардов - надо полторы тысячи узлов минимум, если у тебя всё удачно шардится. Не много, но и не мало.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #31, #48

11. Сообщение от Аноним (6), 21-Май-23, 11:33	–3 +/–
И? Все правильно сделали писать всё на спп это в 10 раз дольше и в 100 раз дороже. Go топчик, а ты хейтер.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #8 Ответы: #13, #16

12. Сообщение от Аноним (12), 21-Май-23, 11:34	+4 +/–
> с предсказуемыми задержками. > Код проекта написан на языке Go сразу на gc заложились
Ответить \| Правка \| Наверх \| Cообщить модератору

13. Сообщение от Tron is Whistling (?), 21-Май-23, 11:35	–2 +/–
Для данного вырожденного случая (запросы наверняка банальные get value by key и store value by key, без сложных выборок) - ну, норм.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #11 Ответы: #32

14. Сообщение от Аноним (6), 21-Май-23, 11:36	+3 +/–
А что им надо было всё писать на древнежабе потому что все клиенты использую древнежабу?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7 Ответы: #15, #21, #23

15. Сообщение от Tron is Whistling (?), 21-Май-23, 11:37	–1 +/–
Ну ежа с ужом - всегда так себе затея. И да, на подложке RocksDB, т.е. на гошечке там тупо микронная обвязка, можно было и нет.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #14

16. Сообщение от Tron is Whistling (?), 21-Май-23, 11:37	+/–
Учитывая что на подложке rocksdb - можно было и на цыпыпы, просто видимо игогошники дешевле обошлись.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #11 Ответы: #18

17. Сообщение от Всем Анонимам Аноним (?), 21-Май-23, 11:38	+/–
Похоже на ceph, только с намного большим количеством посредников.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #20

18. Сообщение от OpenEcho (?), 21-Май-23, 12:19	+1 +/–
Вы б глянули, почем нынче игогошники
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #16 Ответы: #19, #29

19. Сообщение от Аноним (6), 21-Май-23, 12:27	+2 +/–
Ты бы уже начал думать в разрезе эффективности, а не цены. 1 го программист пишет столько же сколько пишут 10 сиплюплюсников за те же деньги.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #18 Ответы: #22, #41, #87

20. Сообщение от Аноним (6), 21-Май-23, 12:30	+2 +/–
Это похоже на Apache Ignite только сделанный не там.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #17

21. Сообщение от ИмяХ (?), 21-Май-23, 12:33	+/–
Надо было писать на Malbolge
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #14

22. Сообщение от Аноним (25), 21-Май-23, 12:33	–2 +/–
Гопники вынуждены писать длинные макаронные портянки, накапливая техдолг и баги. Примерно то на то и получается.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #19 Ответы: #24

23. Сообщение от Аноним (25), 21-Май-23, 12:41	+2 +/–
Скажи спасибо, что не на COBOL. Все равно выглядит как "нате вам боже что нам негоже".
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #14 Ответы: #26, #49

24. Сообщение от Аноним (6), 21-Май-23, 12:43	+2 +/–
Да эти знаменитые С++ макаронные портянки это что-то с чем-то. На го все коротко ясно быстро и элегантно. На го в 10 раз меньше затрат.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #22

25. Сообщение от Аноним (25), 21-Май-23, 12:44	+2 +/–
Размещение данных в RAM - вот и весь секрет.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1 Ответы: #38, #69, #72, #99

26. Сообщение от Аноним (6), 21-Май-23, 12:44	+/–
На самом деле это: «Чем богаты тем и рады»
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #23

27. Сообщение от Аноним (25), 21-Май-23, 12:46	+1 +/–
Очевидно, что они обновили платформу, а старье выкинули разлагатся в опенсорс. В лучше случае получится еще один зомби Apache Juno.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #36, #37, #73

28. Сообщение от Аноним (28), 21-Май-23, 13:06	+1 +/–
мда... специалисты, которых мы заслужили (это про тебя, а не про тех, кто проект и библиотеку писАл)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7

29. Сообщение от Аноним (29), 21-Май-23, 13:36	+4 +/–
> Вы б глянули, почем нынче игогошники Весь бангалор к вашим услугам, недорого. Плюсовики дороже, у бангалорцев плюсы туго идут.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #18 Ответы: #88

30. Сообщение от Аноним (30), 21-Май-23, 13:42	+/–
Сколько еще таких чемоданов без ручки в недрах корпораций? Интересно, есть вообще такие корпы, которые с самого начала имеют четкую позицию не разрабатывать за свой счет всякую прикольную фигню, вместо этого нанимать тех, кто умеет готовить опенсорсные решения?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #33, #35, #44

31. Сообщение от пох. (?), 21-Май-23, 13:45	–1 +/–
> надо полторы тысячи узлов минимум и тут ВНЕЗАПНО выясняется что синхронизация протестированная на трех - немножко не очень работает на полутора тысячах. В общем был я лучшего мнения о пэйпалке. Впрочем, подозреваю, это чудо в перьях существует гораздо меньше чем пэйпэл, тот с которым я когда-то имел дело - использовал что-то совсем другое.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #10 Ответы: #79