forum.opennet.ru - "Выпуск VictoriaMetrics 1.94, СУБД для построения систем мониторинга" (94)

"Выпуск VictoriaMetrics 1.94, СУБД для построения систем мониторинга"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Выпуск VictoriaMetrics 1.94, СУБД для построения систем мониторинга"	+/–
Сообщение от opennews (??), 05-Окт-23, 12:27
Доступен выпуск платформы VictoriaMetrics 1.94.0, предоставляющей СУБД для хранения и обработки данных в форме временного ряда (запись образует время и набор соответствующих этому времени значений, например, полученных через периодический опрос состояния датчиков или сбор метрик), оптимизированную для решения задач мониторинга. Проект конкурирует с такими решениями, как InfluxDB, TimescaleDB, Thanos, Cortex и Uber M3, и отличается более высокой производительностью. СУБД может использоваться в качестве долговременного хранилища данных, подключённого к Prometheus и Grafana, а также в форме прозрачной замены InfluxDB. Код написан на языке Go и распространяется под лицензией Apache 2.0... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=59875
Ответить \| Правка \| Cообщить модератору

Оглавление

Меня чувство некоторого диссонанса , InuYasha (??), 12:31 , 05-Окт-23, (2) –15

И что Прометей тоже на Go Если это у тебя вызывает диссонанс, то почитай про Da, Массоны Рептилоиды (?), 13:08 , 05-Окт-23, (4) +12

Аргумент Поехавшего 3 ну, свиньи же жрут своё говно - ну а что Так что, я н, InuYasha (??), 16:43 , 05-Окт-23, (20) –11

У вас какая-то нездоровая зацикленность на фекалиях и их поедании , Аноним (26), 17:12 , 05-Окт-23, (26) +8
Вот это правильное решение, только святой Бейсик, хотя нет, добавь еще в списо, OpenEcho (?), 17:17 , 05-Окт-23, (27)
если на жабке можно написать промышленную графовую субд, а на других языках нет , лютый арчешкольник... (?), 09:43 , 06-Окт-23, (53)

Только rrdtool, только хардкор , Аноним (34), 18:55 , 05-Окт-23, (34)

Интервью профессиального водителя Работодатель Вы можете ездить на грузовых и л, OpenEcho (?), 13:14 , 05-Окт-23, (5) +5

Инструмент или его использование может вызывать диссонанс Язык программирования, kusb (?), 13:58 , 05-Окт-23, (6) +1
Автомобили с квадратными колёсами и у меня вызывают чувство глубокого диссонанса, Tron is Whistling (?), 14:03 , 05-Окт-23, (7) +4

То ли дело треугольные https etudes ru etudes wheel-inventing , Любитель треугольных колёс (?), 14:20 , 05-Окт-23, (9) +1

Угу Сферическая потуга академиков в вакууме от математики Физика им не нужна , Tron is Whistling (?), 14:24 , 05-Окт-23, (10)

Работодатель Вы можете ездить на грузовых автомобилях, сделанных из Lego Кандид, InuYasha (??), 16:52 , 05-Окт-23, (22)

Ну очень увесиситый аргумент , OpenEcho (?), 17:11 , 05-Окт-23, (25)

А на чём ещё БД писать На Rust долго, на Java получится медленно Унылое древнее, Аноним (14), 15:53 , 05-Окт-23, (14) –10

Clickhouse на крестах написан Между прочим, лучший в классе column family , Аноним (26), 16:37 , 05-Окт-23, (19) +3

Postgres, MongoDB, MS SQL, SQLite - да всё дохипстерское сишно-плюсовое и, ЧС, InuYasha (??), 16:48 , 05-Окт-23, (21)

Остроумно Как и назвать монгу влажная мечта любого JS-хипстора дедовской, кста, Аноним (26), 17:10 , 05-Окт-23, (24) +2
Масштабирующийся postgres mssql Воу, sqlite Мужики-то не знали, ёлки , User (??), 18:20 , 05-Окт-23, (31)

Cassandra смотрит на вас с недоумением, User (??), 18:18 , 05-Окт-23, (30)

Fixed Cassandra смотрит на вас с недоумением javающего ленивца Тогда как Scyll, Заноним (?), 04:15 , 07-Окт-23, (75)

А вот с ней как раз не работал, но отзывы от работавших - гм, противоречивые Вп, User (??), 10:11 , 07-Окт-23, (76)
признайся, что ты только презку в паверпоинте посмотрел про сцыклу, а кассандру , лютый арчешкольник... (?), 10:42 , 07-Окт-23, (78)

ip -s l show eth0 кажет по 154T принятых в каждую ноду кластера scylla в проде , Заноним (?), 02:20 , 25-Ноя-23, (103)

весь хайлоад стек написан на жабе маня-мирок, порвись кассандра, neo4j, elasti, лютый арчешкольник... (?), 10:40 , 07-Окт-23, (77)

Если нет жёстких требований к SLA, то действительно пишут на языках со сборкой м, Аноним (79), 12:28 , 07-Окт-23, (79)

маргинальщина это надо 0 01 от всего ИТ для обычного применения уже несколь, лютый арчешкольник... (?), 19:48 , 07-Окт-23, (84)

Странно Последний раз буквально пару лет нарывался на проблемы с С Суть пробле, ptr (??), 02:50 , 09-Окт-23, (90)

с тут каким боком вообще, ты кажись не понимаешь, что чудес не бывает маленьк, лютый арчешкольник... (?), 18:51 , 09-Окт-23, (92)

Тем, что в нем нет никаких средств явно и в нужный момент освободить память зани, ptr (??), 17:56 , 10-Окт-23, (100)

Как раз в биржах алготрейдинге и HFT jvm достаточно популярна Хотя практики у, qsdg (ok), 04:55 , 27-Янв-24, (104)

Смотря какую БД Как только начинается страничная организация хранения данных, т, ptr (??), 02:39 , 09-Окт-23, (89)

В VictoriaMetrics все буферы стараются быть привязанными к потоку, чтобы между к, qsdg (ok), 04:57 , 27-Янв-24, (105)

Сильное заявление Но в сравнении с TimescaleDB, например, разрабы VictoriaMetri, Аноним VictoriaMetrics (?), 14:15 , 05-Окт-23, (8)

В данном случае вообще пофиг, в 20 или в 18 9 раз Один фиг, timescale является , Аноним (26), 16:34 , 05-Окт-23, (17) +4

Вы, видимо, с миром разработки ПО не знакомы, Мониторинг - не единственное, где , Стандарт (?), 23:15 , 05-Окт-23, (45)

ну я техлид уже лет 10 не писал SQL, потому что выкинул все реляционки, потому, лютый арчешкольник... (?), 09:47 , 06-Окт-23, (54) –2

А где же вы храните данные В текстовых файлах В Mongo Redis Кликхаус В слов, NoSQL (?), 19:19 , 07-Окт-23, (81)

и как это к делу относится храню терабайты в монге, сотни гигабайт в neo4j cyp, лютый арчешкольник... (?), 19:51 , 07-Окт-23, (85)

терабайты в эластике всё сразу и не вспомнишь там тоже sql как козе баян, лютый арчешкольник... (?), 20:06 , 07-Окт-23, (86)

Мониторинг он воообще то разный Например, имеем данные трекинга 100 тыс вагоно, ptr (??), 12:39 , 09-Окт-23, (91)

Да, PromQL как и VictoriaMetrics он больше для мониторинга IT инфраструктуры , qsdg (ok), 05:04 , 27-Янв-24, (106)

Ну, я с timescale ом лично сравнивал В дефолтах разница примерно на порядок, по, User (??), 18:23 , 05-Окт-23, (32)

В 2018 , дефолт (?), 23:16 , 05-Окт-23, (46)

Я сравнивал в 2022 2023 Разница всё так же на порядок, Аноним (48), 00:09 , 06-Окт-23, (48)
В 22ом Затащил timescale tobs - вышло вполне адекватно проекту, но по сравнению, User (??), 12:06 , 06-Окт-23, (62) +1

У нас на работе используется Вика И да, мы сравнивали производительность и потре, Аноним (48), 00:09 , 06-Окт-23, (47) +3

А вот чтобы это небыло рекламой, покажите параметры обрудования, конфиги, размер, ыы (?), 10:02 , 06-Окт-23, (58)
Я легко верю, что VM производительней в виду заточенности под профиль нагрузки О, asand3r (ok), 22:22 , 06-Окт-23, (72)

Как писал парень выше - тут всё просто Ставишь Victoria Metrics, просто запускае, Аноним (48), 23:40 , 06-Окт-23, (73)

деградируешь , asand3r (ok), 23:43 , 06-Окт-23, (74) –1

А дальше то как Что с ACID Через какой FDW к ней ходить TimeScaleDB ставят ко, ptr (??), 02:09 , 09-Окт-23, (87)

ACID -- это не про мониторинг, а про транзакции В мониторинг тулзах никому ни р, qsdg (ok), 05:08 , 27-Янв-24, (107)

Кто такая Виктория , Аноним (11), 14:31 , 05-Окт-23, (11)

И где она живет Наверное в той же общаге, что и Элис , Аноним (13), 15:03 , 05-Окт-23, (13)

А вдруг она не курит, и в не даёт Извините картинка со слоником из 38 , Аноним (48), 00:11 , 06-Окт-23, (49)

Downsampling только в энтерпрайзе Прелесть Не, я уж лучше дальше в rrdtool , Tron is Whistling (?), 14:34 , 05-Окт-23, (12) –1

На Perl пишете небось , qsdg (ok), 05:09 , 27-Янв-24, (108)

PHP брал, C брал, Pascal брал Perl не брал , Tron is Whistling (?), 09:46 , 27-Янв-24, (115)

Тоже как то пытались перейти на это игровое решение с самоделки на тараниуле и у, Аноним (29), 18:07 , 05-Окт-23, (29)

Я для графиков живу на MySQL в коротком отрезке - 7 дней, там сотня с фигом гига, Tron is Whistling (?), 21:48 , 05-Окт-23, (41)

Но у меня кейс специфичный - мне графики нужны в промышленном масштабе , Tron is Whistling (?), 21:53 , 05-Окт-23, (42)

Когда она только появилась быстро отметил её как проект занимающийся восновном б, Легивон (?), 20:15 , 05-Окт-23, (35) +2

ыкспэрты опеннета против фанатиков из CERNhttps www theregister com 2023 09 18, x (?), 15:43 , 07-Окт-23, (80)

Что ты хотел сказать Ты читал эту статью Где пруфы графики, методика воспроизве, Легивон (?), 19:38 , 07-Окт-23, (82)

Посмотрите бенчмарки с примерами воспроизведения здесь https docs victoriametr, Roman (??), 16:23 , 10-Окт-23, (98)

Тебя 100 раз уже носом тыкнули в несостоятельность этих тестов, а ты их как дока, Мимир (?), 16:40 , 10-Окт-23, (99)

Разрабы Мимира участвовали в бенчмарке, там же написано И они бы у себя откомме, qsdg (ok), 05:14 , 27-Янв-24, (109)

вас ничего не смутило в этой статье , ыы (?), 19:46 , 07-Окт-23, (83)

Вот тут ребята с вами не согласны - https docs victoriametrics com CaseStudies, Балабол (?), 21:02 , 09-Окт-23, (93)

А что у них там с ACID , Имя (?), 20:41 , 05-Окт-23, (36)

А его нету Нет UPDATE -- значит нет транзакций вообще В мониторинге никому не, qsdg (ok), 05:16 , 27-Янв-24, (110)

Переехали на неё в прошлом году Имели 80 нод кубера, прометеус умирал при таком, Аноним (40), 21:37 , 05-Окт-23, (40) +2

Сколько у нас нод не скажу, но аналогично девопсы заменили Прометеус на Викторию, Аноним (43), 23:00 , 05-Окт-23, (43) +1
Лучше расскажите, сколько у вас MVPS на это количество нод, а мы посмеёмся , Tron is Whistling (?), 09:50 , 06-Окт-23, (55)

NVPS, Tron is Whistling (?), 09:50 , 06-Окт-23, (56)
Вот тут у ребят из Roblox 120 миллионов NVPS - https www datanami com 2023 05 , Балабол (?), 21:04 , 09-Окт-23, (94) –1

И ни слова о точности, потерях Наверное 99,9 потерь, точность 4 знака до запят, Roblox (?), 23:53 , 09-Окт-23, (97)

Наверное нет Наверное длина лейблов вообще не важна, миллисекунды есть, точност, qsdg (ok), 05:29 , 27-Янв-24, (111)

Вы про себя расскажите , Tron is Whistling (?), 21:10 , 09-Окт-23, (95)

Как вы полагаете, за счет чего достигается такой прорыв в производительности За, ыы (?), 09:59 , 06-Окт-23, (57)

Ну никого же не смущает, что, например, ms sql быстрее чем postgresql работает В, Аноним (43), 13:18 , 06-Окт-23, (65) +1

Когда производительность на схожих задачах отличается разительно - смущает Возн, ыы (?), 19:05 , 06-Окт-23, (70)

Почему ClickHouse быстрее Postgres а в 1000 раз, а сохраненные в ClickHouse данн, Балабол (?), 21:11 , 09-Окт-23, (96)

Нет, из архитектуры Кликхауса там только LSM tree Но оно сейчас у всех есть , qsdg (ok), 05:31 , 27-Янв-24, (112)

а говорят что в Постгрес есть сжатие Вы сжатые данные в 70 раз сжали А не п , ыы (?), 10:16 , 06-Окт-23, (59)

Ну можно видео сжать zip ом, а можно H265 Это не означает, что можно zip сжат, Аноним (43), 13:24 , 06-Окт-23, (66) +1

Речь идет не о сжатии видео Речь идет о такого рода данных которые нельзя сжима, ыы (?), 18:30 , 06-Окт-23, (69)

Кроме всего прочего, time-series БД оперируют именно настройкой степени потерь, , Аноним (43), 20:00 , 06-Окт-23, (71) +1

А вот это должно решаться клиентом, а не БД Например, для GPS данных мы фиксиру, ptr (??), 02:28 , 09-Окт-23, (88)

Дядя, ты не шаришь Иди гугли теорему CAP В прометее и деревативах осознано др, Легивон (?), 21:39 , 10-Окт-23, (101)

Какое отношение конситенция имеет к потере точности данных или нарушению их посл, ptr (??), 17:33 , 13-Окт-23, (102)

Точность не теряется То что вы говорите -- это семплирование, и оно используетс, qsdg (ok), 05:36 , 27-Янв-24, (114)

Не совсем так CAP очень легко достигается, если просто не поддерживать UPDATE и, qsdg (ok), 05:33 , 27-Янв-24, (113)

Сообщения [Сортировка по ответам | RSS]

2. Сообщение от InuYasha (??), 05-Окт-23, 12:31 –15 +/–

> СУБД
> Код написан на языке Go
Меня чувство некоторого диссонанса.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #4, #5, #14

4. Сообщение от Массоны Рептилоиды (?), 05-Окт-23, 13:08 +12 +/–

И что? Прометей тоже на Go.
Если это у тебя вызывает диссонанс, то почитай про Datomic или Neo4j, впадёшь в глубокую депрессию

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #20, #34

5. Сообщение от OpenEcho (?), 05-Окт-23, 13:14 +5 +/–

>> СУБД
>> Код написан на языке Go
>
> Меня чувство некоторого диссонанса.
Интервью профессиального водителя:
Работодатель: Вы можете ездить на грузовых и легковых автомобилях?
Кандидат: Грузовые у меня вызывают чувство диссонанса...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #6, #7, #22

6. Сообщение от kusb (?), 05-Окт-23, 13:58 +1 +/–

Инструмент или его использование может вызывать диссонанс. Язык программирования, это аналог не классов машин, а какой-то конкретной марки, наверное.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

7. Сообщение от Tron is Whistling (?), 05-Окт-23, 14:03 +4 +/–

Автомобили с квадратными колёсами и у меня вызывают чувство глубокого диссонанса.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #9

8. Сообщение от Аноним VictoriaMetrics (?), 05-Окт-23, 14:15 +/–

> В тестах производительности VictoriaMetrics опережает InfluxDB
> и TimescaleDB при выполнение операций вставки и выборки данных
> до 20 раз, потребляя при этом в 10 раз меньше ОЗУ, чем InfluxDB
> и в 7 раз меньше, чем Prometheus, Thanos и Cortex при обработке
> миллионов уникальных временных рядов
Сильное заявление. Но в сравнении с TimescaleDB, например, разрабы VictoriaMetrics подобос*ались с конфигами оппонента , используя устаревшие данные (себя настроили как надо, кстати), затем не ответили на вопросы касательно тестирования. И так во всех трёх сравнениях. При этом называют самописный DSL преимуществом перед SQL-совместимым синтаксисом.
Подозреваю, сравнение с другими СУБД такая же проблема, раз они в своих тестах три года подряд придерживались одной стратегии, не исправляя при этом косяки за всё время. Да и оставив без ответа конструктивную критику по поводу методов тестирования. Сейчас, 3 годя спустя после последнего такого сравнения (без исправлений своих косяков) они могли ещё сильнее отстать от оппонентов, но при этом всё ещё ссылаются на устаревшие (ноябрь 2018, с тех пор было много новых релизов и VM, и оппонентов) предвзятые (только своих сотрудников) неверное построенные (обозначенные косяки не поправили) сравнения.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #17, #32, #47

9. Сообщение от Любитель треугольных колёс (?), 05-Окт-23, 14:20 +1 +/–

> Автомобили с квадратными колёсами и у меня вызывают чувство глубокого диссонанса.
То ли дело треугольные!
https://etudes.ru/etudes/wheel-inventing/

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #10

10. Сообщение от Tron is Whistling (?), 05-Окт-23, 14:24 +/–

Угу. Сферическая потуга академиков в вакууме от математики. Физика им не нужна.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

11. Сообщение от Аноним (11), 05-Окт-23, 14:31 +/–

Кто такая Виктория?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #13

12. Сообщение от Tron is Whistling (?), 05-Окт-23, 14:34 –1 +/–

Downsampling только в энтерпрайзе.
Прелесть. Не, я уж лучше дальше в rrdtool.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #108

13. Сообщение от Аноним (13), 05-Окт-23, 15:03 +/–

И где она живет?
(Наверное в той же общаге, что и Элис)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #49

14. Сообщение от Аноним (14), 05-Окт-23, 15:53 –10 +/–

А на чём ещё БД писать? На Rust долго, на Java получится медленно.
Унылое древнее типа С и С++ не беру, т.к. на этом писать в 2023 БД уже моветон. Тупо по историческим соображениями postgres на них, замена для PG - CockroachDB на Go написан. Больше не на чем писать кароч.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #19, #30, #77, #89

17. Сообщение от Аноним (26), 05-Окт-23, 16:34 +4 +/–

> Сильное заявление. Но в сравнении с TimescaleDB, например, разрабы VictoriaMetrics подобос*ались с конфигами оппонента , используя устаревшие данные (себя настроили как надо, кстати), затем не ответили на вопросы касательно тестирования.
В данном случае вообще пофиг, в 20 или в 18.9 раз. Один фиг, timescale является настройкой над постгресом, который является типичным RDBMS и будет всасывать у любой более-менее нормальной TSDB со свистом.
> При этом называют самописный DSL преимуществом перед SQL-совместимым синтаксисом.
Вы, похоже, вообще с миром мониторинга не знакомы. PromQL - это как бы стандарт.
Вы ещё до сишников докопайтесь, что это они свои программы пишут на недоязычке, вместо того, чтобы использовать SQL-совместимый синтаксис.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #45

19. Сообщение от Аноним (26), 05-Окт-23, 16:37 +3 +/–

Clickhouse на крестах написан. Между прочим, лучший в классе column family.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #21

20. Сообщение от InuYasha (??), 05-Окт-23, 16:43 –11 +/–

> И что? Прометей тоже на Go.
Аргумент Поехавшего #3: "ну, свиньи же жрут своё говно - ну а что?".
Так что, я не впадаю в депрессию, я пополняю список ненужного. Хотя, уже проще содержать список нужного.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #26, #27, #53

21. Сообщение от InuYasha (??), 05-Окт-23, 16:48 +/–

Postgres, MongoDB, MS SQL, SQLite... - да всё дохипстерское сишно-плюсовое и, ЧСХ, работало, и даже быстро, и масштабировалось. Но нет, толпы адептов выученного вчера языка завалили мир пруф-концептами и завертелось...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #24, #31

22. Сообщение от InuYasha (??), 05-Окт-23, 16:52 +/–

> Интервью профессиального водителя:
Работодатель: Вы можете ездить на грузовых автомобилях, сделанных из Lego?
Кандидат: ... не, ну, в шлеме и мотоэкипе можно, но если только грузовик пустой.
- так точнее будет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #25

24. Сообщение от Аноним (26), 05-Окт-23, 17:10 +2 +/–

> Postgres, MongoDB, MS SQL, SQLite...
> и масштабировалось.
Остроумно.
Как и назвать монгу (влажная мечта любого JS-хипстора) дедовской, кстати.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

25. Сообщение от OpenEcho (?), 05-Окт-23, 17:11 +/–

> ...сделанных из Lego?
> - так точнее будет.
Ну очень увесиситый аргумент...
:)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

26. Сообщение от Аноним (26), 05-Окт-23, 17:12 +8 +/–

У вас какая-то нездоровая зацикленность на фекалиях и их поедании.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

27. Сообщение от OpenEcho (?), 05-Окт-23, 17:17 +/–

>...Хотя, уже проще содержать список нужного.
Вот это "правильное" решение, только святой Бейсик, хотя нет, добавь еще в список нужного https://scratch.mit.edu/

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

29. Сообщение от Аноним (29), 05-Окт-23, 18:07 +/–

Тоже как то пытались перейти на это игровое решение с самоделки на тараниуле и упёрлись в то что нет даунсемплинга, который был в подделке. Вопрос закрыли после трёх недель работы.
Потом переехали на редис плюс постгрес, ну понятно что с пострадавшей гибкостью.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #41

30. Сообщение от User (??), 05-Окт-23, 18:18 +/–

Cassandra смотрит на вас с недоумением

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #75

31. Сообщение от User (??), 05-Окт-23, 18:20 +/–

Масштабирующийся postgres/mssql? Воу, sqlite!
Мужики-то не знали, ёлки!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

32. Сообщение от User (??), 05-Окт-23, 18:23 +/–

Ну, я с timescale'ом лично сравнивал. В дефолтах разница примерно на порядок, после чего желание тюнить само собой отпало.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #46

34. Сообщение от Аноним (34), 05-Окт-23, 18:55 +/–

Только rrdtool, только хардкор.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

35. Сообщение от Легивон (?), 05-Окт-23, 20:15 +2 +/–

Когда она только появилась быстро отметил её как проект занимающийся восновном балобольством, сказками про большую в 9000 раз производительность.
Ничего не изменилось, вот и сейчас они снова "положили" thanos на лопатки в 7 раз одновременно и по памяти и по сжатию.
Сжатие в семь раз относительно проектов которые так же использую сжатие - это просто сказки для маленьких детей. Удивительно, как эта система каким-то образом обрасла совершенно упоротыми фанатиками сектантами, расказывающими такие же небылицы. Видимо лозунги специально заточены на аудиторию психических.
Пруфы то будут? Как воспроизвести ваши "эксперименты"? Выкладывайте семплы и скрипты как залить их в ващу ненужную поделку и в прометей? Вместо пруфов - только победы в интернете, да?
Вангую на танос в тестах всегда подается белый шум в метриках и лейблах, а в викторию постоянка. Иного варианта про 700% сжатия от сжатого и быть не может.
Еще прочитал описание... даунсемплинга нет, лол. Для чего оно тогда вообще нужно?
Еще одна система мониторинга косплеющая прометей с киллер фитчей - официально ни для чего не нужна?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #80, #93

36. Сообщение от Имя (?), 05-Окт-23, 20:41 +/–

А что у них там с ACID?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #110

40. Сообщение от Аноним (40), 05-Окт-23, 21:37 +2 +/–

Переехали на неё в прошлом году. Имели 80 нод кубера, прометеус умирал при таком количестве нод, а при подключении виктории все проблемы исчезли.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #43, #55, #57

41. Сообщение от Tron is Whistling (?), 05-Окт-23, 21:48 +/–

Я для графиков живу на MySQL в коротком отрезке - 7 дней, там сотня с фигом гигабайт получается, далее непрерывно выгружаю то, что требуется, в RRD - для быстрой отрисовки и истории.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #42

42. Сообщение от Tron is Whistling (?), 05-Окт-23, 21:53 +/–

Но у меня кейс специфичный - мне графики нужны в промышленном масштабе...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

43. Сообщение от Аноним (43), 05-Окт-23, 23:00 +1 +/–

Сколько у нас нод не скажу, но аналогично девопсы заменили Прометеус на Викторию и ситуация существенно улучшилась.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40

45. Сообщение от Стандарт (?), 05-Окт-23, 23:15 +/–

> Вы, похоже, вообще с миром мониторинга не знакомы. PromQL - это как бы стандарт.
> timeseries
> PromQL - это как бы стандарт
Вы, видимо, с миром разработки ПО не знакомы, Мониторинг - не единственное, где применяется timeseries. Тот же InfluxDB тут не просто так, наверное. Хоть и немножко несовременен в силу происхождения.
И часто ли Вы руками пишете PromQL-запросы? Или всё же используете API инструмента и GUI? Или у Вас шпаргалка, к который Вы раз в несколько месяцев обращаетесь, чтобы написать нормальный запрос?
В противовес могу сказать, что SQL-запросы вполне себе ежедневный момент, и тут порой быстрее накидать такой запрос, чем пытаться достать данные гуёвым путём.
Но в целом ок, если Вы чисто девопс, который по какой-то нелепой причине никогда не имеете дело с РСУБД, то да, PromQL это то, что доктор прописал.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17 Ответы: #54, #91

46. Сообщение от дефолт (?), 05-Окт-23, 23:16 +/–

> я с timescale'ом лично сравнивал
В 2018?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #48, #62

47. Сообщение от Аноним (48), 06-Окт-23, 00:09 +3 +/–

У нас на работе используется Вика.
И да, мы сравнивали производительность и потребление ресурсов VictoriaMetrics vs Postgres + TimescaleDB на одном и том же сервере / профиле нагрузки.
Я изначально был за PG, но связка Postgres + TimescaleDB настолько сильно тупила и жрала ресурсы, что это было даже не смешно.
Собственно, аргументы на этом у меня закончились, потому Вика )

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #58, #72, #87

48. Сообщение от Аноним (48), 06-Окт-23, 00:09 +/–

Я сравнивал в 2022 / 2023.
Разница всё так же на порядок

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46

49. Сообщение от Аноним (48), 06-Окт-23, 00:11 +/–

А вдруг она не курит, и в $&)@# не даёт...
Извините (картинка со слоником из "38 попугаев".jpg) :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13

53. Сообщение от лютый арчешкольник... (?), 06-Окт-23, 09:43 +/–

>ну, свиньи же жрут своё говно
если на жабке можно написать промышленную графовую субд, а на других языках нет (нет какаких вменяемых конкурентов у нео, всё поделки. не знаешь, не спорь), то скорее это сишники кюшают свой кактус, всё накюшаться не могут )

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

54. Сообщение от лютый арчешкольник... (?), 06-Окт-23, 09:47 –2 +/–

>если Вы чисто девопс, который по какой-то нелепой причине никогда не имеете дело с РСУБД
ну я техлид ) уже лет 10 не писал SQL, потому что выкинул все реляционки, потому что они тормозные. в целом, считаю притягивание SQL к NOSQL лютым бредом, потому что оно всё равно обрастает какими-то нестандартными командочками и перестает быть им. хотя SQL даже для КРУДа неудобный! talk to my hand!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #81

55. Сообщение от Tron is Whistling (?), 06-Окт-23, 09:50 +/–

Лучше расскажите, сколько у вас MVPS на это количество нод, а мы посмеёмся.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40 Ответы: #56, #94, #95

56. Сообщение от Tron is Whistling (?), 06-Окт-23, 09:50 +/–

// NVPS

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55

57. Сообщение от ыы (?), 06-Окт-23, 09:59 +/–

Как вы полагаете, за счет чего достигается такой прорыв в производительности? Законы физики полагаю разработчики этого ПО не переделывали?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40 Ответы: #65

58. Сообщение от ыы (?), 06-Окт-23, 10:02 +/–

А вот чтобы это небыло рекламой, покажите параметры обрудования, конфиги, размер данных и NVPS ?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

59. Сообщение от ыы (?), 06-Окт-23, 10:16 +/–

>в 70 раз - по сравнению с TimescaleDB
а говорят что в Постгрес есть сжатие... Вы сжатые данные в 70 раз сжали? А не п.здишь ли мил человек?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #66

62. Сообщение от User (??), 06-Окт-23, 12:06 +1 +/–

>> я с timescale'ом лично сравнивал
> В 2018?
В 22ом. Затащил timescale\tobs - вышло вполне адекватно проекту, но по сравнению с соседями на victoriametrics разница на порядок и есть.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46

65. Сообщение от Аноним (43), 06-Окт-23, 13:18 +1 +/–

Ну никого же не смущает, что, например, ms sql быстрее чем postgresql работает.
Вполне могут быть разные подходы к одинаковым задачам.
Я точно не помню уже, но мне казалось что они просто взяли архитектуру кликхауса и на его основе сделали свою таймсериас дб. Но могу и врать, давно уже интересовался этим.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57 Ответы: #70, #112

66. Сообщение от Аноним (43), 06-Окт-23, 13:24 +1 +/–

Ну можно видео сжать zip'ом, а можно H265... Это не означает, что можно zip сжать повторно сверху с помощью H265.
А вообще перед тем как у себя внедрять - бизнес/девопсы приносили кучу статей со сравнительными тестированиями этих БД и все были в пользу Виктории. Я правда потыкал носом в то, что имена авторов статей подозрительно с сотрудниками Виктории совпадали...)) В общем, авторы Виктории - те еще любители маркетинговых сказок...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #59 Ответы: #69

69. Сообщение от ыы (?), 06-Окт-23, 18:30 +/–

Речь идет не о сжатии видео. Речь идет о такого рода данных которые нельзя сжимать с потерями. А количество алгоритмов для таких преобразований не так много.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66 Ответы: #71

70. Сообщение от ыы (?), 06-Окт-23, 19:05 +/–

Когда производительность на схожих задачах отличается разительно - смущает. Возникает вопрос- за счет чего достигнут такой эффект. И начинаются оговорки...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #65 Ответы: #96

71. Сообщение от Аноним (43), 06-Окт-23, 20:00 +1 +/–

Кроме всего прочего, time-series БД оперируют именно настройкой степени потерь, от потерь в точности хранения вещественных чисел и разрешения DateTime, до потерь во временной области, когда несколько последовательных отсчетов сэмплируются в один отсчет с той или иной агрегацией.
Аналогия с видео подразумевала, что ваш посыл с повторным сжатием в N раз уже сжатых данных - не верен. Сжимают исходные несжатые данные в таких системах.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #69 Ответы: #88

72. Сообщение от asand3r (ok), 06-Окт-23, 22:22 +/–

Я легко верю, что VM производительней в виду заточенности под профиль нагрузки.
Однако, всё же когда приводят цифры, хочется понимать как тестировали, адекватно ли настроили оппонента. PostgreSQL сам по себе довольно непросто настраивается и требует определенных компетенций как в области самого ПО так и настройки ОС.
VM же, по факту, даже настраивать не нужно - просто заваливаешь её процессором, памятью, быстрым диском и всё работает. Моё любимое - зайдите в гугл и попробуйте поискать "victoriametrics performance tuning".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47 Ответы: #73

73. Сообщение от Аноним (48), 06-Окт-23, 23:40 +/–

Как писал парень выше - тут всё просто:
Ставишь Victoria Metrics, просто запускаешь и просто всё работает.
Ставишь PG & Timescale, для начала прогоняешь минимальный тюнинг при помощи pgtune & timescaledb-tune. Получаешь отвратительный результат (работает на порядок медленнее конкурента, при этом ресурсов жрёт конкретно больше и самое печальное, даже со сжатием, потребляет катастрофически много дискового пространства) и осознаёшь, что дальнейший тюнинг возможен (точно можно сделать несколько лучше), но нецелесообразен (догнать даже незатюненную Victoria Metrics - в принципе нереально).
Сносишь PG & Timescale в баню и радуешься жизни :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #72 Ответы: #74

74. Сообщение от asand3r (ok), 06-Окт-23, 23:43 –1 +/–

> Как писал парень выше - тут всё просто:
> Ставишь Victoria Metrics, просто запускаешь и просто всё работает.
> Ставишь PG & Timescale, для начала прогоняешь минимальный тюнинг при помощи pgtune
> & timescaledb-tune. Получаешь отвратительный результат (работает на порядок медленнее
> конкурента, при этом ресурсов жрёт конкретно больше и самое печальное, даже
> со сжатием, потребляет катастрофически много дискового пространства) и осознаёшь, что
> дальнейший тюнинг возможен (точно можно сделать несколько лучше), но нецелесообразен (догнать
> даже незатюненную Victoria Metrics - в принципе нереально).
> Сносишь PG & Timescale в баню и ...
... деградируешь. =)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #73

75. Сообщение от Заноним (?), 07-Окт-23, 04:15 +/–

Fixed:
Cassandra смотрит на вас с недоумением javающего ленивца.
Тогда как ScyllaDB уже и прожевала и переварила.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #76, #78

76. Сообщение от User (??), 07-Окт-23, 10:11 +/–

> Fixed:
> Cassandra смотрит на вас с недоумением javающего ленивца.
> Тогда как ScyllaDB уже и прожевала и переварила.
А вот с ней как раз не работал, но отзывы от работавших - гм, противоречивые. Вплоть до того, что на реальных задачах трехлетней давности - была _медленней_

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75

77. Сообщение от лютый арчешкольник... (?), 07-Окт-23, 10:40 +/–

>на Java получится медленно.
весь хайлоад стек написан на жабе. маня-мирок, порвись )
кассандра, neo4j, elasticsearch.... не, не слышали )

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #79

78. Сообщение от лютый арчешкольник... (?), 07-Окт-23, 10:42 +/–

>ScyllaDB уже и прожевала и переварила.
признайся, что ты только презку в паверпоинте посмотрел про сцыклу, а кассандру даже не использовал

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75 Ответы: #103

79. Сообщение от Аноним (79), 07-Окт-23, 12:28 +/–

Если нет жёстких требований к SLA, то действительно пишут на языках со сборкой мусора. А вот если есть, как в биржевой торговле и алготрейдинге, то только кресты/rust или извращения с написанием кода в garbage-free стиле на ЯП с GC. А если речь просто о хайлоаде, то всякие выстрелившие стартапы любят делиться историями успеха, как они 500К RPS держат на микросервисах на каком-нибудь Ruby, так как запихали все в кубер и поднимают под нагрузку десятки инстансов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #77 Ответы: #84, #104

80. Сообщение от x (?), 07-Окт-23, 15:43 +/–

> Удивительно, как эта система каким-то образом обрасла совершенно упоротыми фанатиками сектантами, расказывающими такие же небылицы
ыкспэрты опеннета против фанатиков из CERN
https://www.theregister.com/2023/09/18/lhc_infrastructure_mo.../

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #82, #83

81. Сообщение от NoSQL (?), 07-Окт-23, 19:19 +/–

> уже лет 10 не писал SQL, потому что выкинул все реляционки, потому что они тормозные
> хотя SQL даже для КРУДа неудобный
А где же вы храните данные? В текстовых файлах? В Mongo? Redis? Кликхаус? В словарях в памяти приложения?
А, стоп, может Вы техлид статического сайта с 5 посетителями в год, уточнений же не было.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54 Ответы: #85

82. Сообщение от Легивон (?), 07-Окт-23, 19:38 +/–

Что ты хотел сказать?
Ты читал эту статью?
Где пруфы: графики, методика воспроизведения?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #80 Ответы: #98

83. Сообщение от ыы (?), 07-Окт-23, 19:46 +/–

вас ничего не смутило в этой статье?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #80

84. Сообщение от лютый арчешкольник... (?), 07-Окт-23, 19:48 +/–

>в биржевой торговле и алготрейдинге,
маргинальщина. это надо 0.01% от всего ИТ...
>языках со сборкой мусора
для обычного применения уже несколько ЛЕТ как нет GC с заметными не под микроскопом паузами

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #79 Ответы: #90

85. Сообщение от лютый арчешкольник... (?), 07-Окт-23, 19:51 +/–

и как это к делу относится? храню терабайты в монге, сотни гигабайт в neo4j (cypher пакость, но альтернатив нет)... то что в монге нет SQL это её огромный плюс (хоть и не единственный)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #81 Ответы: #86

86. Сообщение от лютый арчешкольник... (?), 07-Окт-23, 20:06 +/–

+ терабайты в эластике.... всё сразу и не вспомнишь ) там тоже sql как козе баян

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #85

87. Сообщение от ptr (??), 09-Окт-23, 02:09 +/–

А дальше то как? Что с ACID? Через какой FDW к ней ходить? TimeScaleDB ставят когда нужно работать с временными сериями в реляционной БД.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47 Ответы: #107

88. Сообщение от ptr (??), 09-Окт-23, 02:28 +/–

> от потерь в точности хранения вещественных чисел и разрешения DateTime,
А вот это должно решаться клиентом, а не БД. Например, для GPS данных мы фиксируем точность в отдельном поле. И какие либо потери там могут сильно искажать картину.
> до потерь во временной области, когда несколько последовательных отсчетов
> сэмплируются в один отсчет с той или иной агрегацией
Супер, особенно для данных, для которых порядок критически важен, так как они зависимы.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #71 Ответы: #101

89. Сообщение от ptr (??), 09-Окт-23, 02:39 +/–

Смотря какую БД. Как только начинается страничная организация хранения данных, так сразу Go потребует лишних копирований память-память, которых можно избежать на C/C++. Что при достаточно большом кеше становится очень болезненным.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #105

90. Сообщение от ptr (??), 09-Окт-23, 02:50 +/–

> для обычного применения уже несколько ЛЕТ как нет GC с заметными не под микроскопом паузами
Странно. Последний раз буквально пару лет нарывался на проблемы с С#.
Суть проблемы была в том, что при пиковой загрузке GC не успевал освобождать память. Что ни пробовали - это приводило к заметным провалам в производительности. После переписывания на C++ на пиковой нагрузке сервис просто упирался в 100% загрузку всех ядер CPU, но не устраивал явный провал пропускной способности через миллисекунды после этого, как на C#.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #84 Ответы: #92

91. Сообщение от ptr (??), 09-Окт-23, 12:39 +/–

Мониторинг он воообще то разный. Например, имеем данные трекинга 100 тыс. вагонов. Задача определить среднее время оборотов разгрузки и погрузки вагонов на станции за заданный период, считая как разницу по времени между первой и последней операцией на станции, и исключая случаи, когда между этими операциями возникали операции ремонта или бросания. При расчете среднего учитываем только события между 0.25 и 0.75 перцентилем. Данные трекинга не обязательно приходят в порядка возрастания времени. Например, операции перевода в нерабочий парк и обратно могут прийти с задержкой на недели, поэтому на лету не очень то посчитаешь, даже если как то придумать, как считать на лету перцентили (квантили).
Сколько я ни вкуривал PromQL, так и не придумал, как на нем такой запрос написать. Тогда как на SQL CTE и оконными функциями он пишется легко и просто.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #106

92. Сообщение от лютый арчешкольник... (?), 09-Окт-23, 18:51 +/–

>буквально пару лет нарывался на проблемы с С#.
с# тут каким боком?
вообще, ты кажись не понимаешь, что чудес не бывает. маленькие паузы == меньшая ПСП. для задач где паузы не мешают, с ними никто не борется. но при желании есть платные ГЦ вообще без пауз.
ну а плюсы твои с колхозным самописным ГЦ вообще не обязательно что даже жабу с шанондой догонят.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #90 Ответы: #100

93. Сообщение от Балабол (?), 09-Окт-23, 21:02 +/–

Вот тут ребята с вами не согласны - https://docs.victoriametrics.com/CaseStudies.html

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35

94. Сообщение от Балабол (?), 09-Окт-23, 21:04 –1 +/–

Вот тут у ребят из Roblox 120 миллионов NVPS - https://www.datanami.com/2023/05/30/why-roblox-picked-victor.../

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55 Ответы: #97

95. Сообщение от Tron is Whistling (?), 09-Окт-23, 21:10 +/–

> Лучше расскажите, сколько у вас MVPS на это количество нод, а мы
> посмеёмся.
Вы про себя расскажите.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55

96. Сообщение от Балабол (?), 09-Окт-23, 21:11 +/–

Почему ClickHouse быстрее Postgres'а в 1000 раз, а сохраненные в ClickHouse данные занимают в 10-100 раз меньше места на диске по сравнению с ClickHouse? Наверное, разработчики ClickHouse балаболы...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

97. Сообщение от Roblox (?), 09-Окт-23, 23:53 +/–

> 120 миллионов NVPS
И ни слова о точности, потерях. Наверное 99,9% потерь, точность 4 знака до запятой и 0 после, раз не указали. А лейбл однобуквенный от ascii-таблицы. Только дата с временем, и та - с точностью только до секунд, миллисекунды отбрасываются, коллизии теряются. При таких условиях - вполне можно поверить, что у VictoriaMetrics наберётся 120 миллионов NVPS.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #94 Ответы: #111

98. Сообщение от Roman (??), 10-Окт-23, 16:23 +/–

Посмотрите бенчмарки с примерами воспроизведения здесь https://docs.victoriametrics.com/Articles.html#benchmarks
Например https://victoriametrics.com/blog/mimir-benchmark содержит абсолютно всё для воспроизведения. Даже полные снапшоты дашбордов во время выполнения бенчмарка.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #82 Ответы: #99

99. Сообщение от Мимир (?), 10-Окт-23, 16:40 +/–

> Посмотрите бенчмарки с примерами воспроизведения здесь
> https://docs.victoriametrics.com/Articles.html#benchmarks
Тебя 100 раз уже носом тыкнули в несостоятельность этих тестов, а ты их как доказательство продолжаешь использовать.
> Например https://victoriametrics.com/blog/mimir-benchmark
Разве что это хоть как-то похоже на сравнение. Но опять же - ни комментариев от разрабов Mimir, ни тестовых данных. И сама статья "сравнения" расположена внезапно на сайте виктории, что вообще ни разу не предвзято, ага.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #98 Ответы: #109

100. Сообщение от ptr (??), 10-Окт-23, 17:56 +/–

> с# тут каким боком?
Тем, что в нем нет никаких средств явно и в нужный момент освободить память занимаемую объектом. Это выполняется только GC.
> плюсы твои с колхозным самописным ГЦ
Зачем там GC? Достаточно самому выполнять delete по необходимости. Или у Вас даже в мозгу не укладывается, что можно самому управлять памятью?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #92

101. Сообщение от Легивон (?), 10-Окт-23, 21:39 +/–

Дядя, ты не шаришь. Иди гугли "теорему CAP".
В прометее и деревативах осознано дропнули "C", потому что для его назначения - мониторинг, оно не нужно. А его наличие только вредит. Когда ты выбираешь "consistency", ты должен париться насчет распределенных коммитов, дожидаться синхронного подтверждения записи, должен в целом синхронизовать процессы протекающие в распределенной системе. Это вообще никак не вяжется с необходимостью ворочать миллионами семплов, для чего он и создавался и то почему он так адцки выстрелил.
Зато отказ от "C" приносит кучу плюсов. К примеру попробуй угадать с 1 попытки как проще всего (и это вполне адекватно) сделать отказоустойчивый прометей? За счет этого прометей имеет огромный потенциал по простому маштабированию.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #88 Ответы: #102, #113

102. Сообщение от ptr (??), 13-Окт-23, 17:33 +/–

Какое отношение конситенция имеет к потере точности данных или нарушению их последовательности? Когда данные искажаются БД - это уже ни в какие ворота не лезет. Причем для большинства видов мониторинга. Даже ПИД-регулирование на искаженных данных или без сохранения их оригинальной последовательности просто не сможет нормально работать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101 Ответы: #114

103. Сообщение от Заноним (?), 25-Ноя-23, 02:20 +/–

>>ScyllaDB уже и прожевала и переварила.
> признайся, что ты только презку в паверпоинте посмотрел про сцыклу, а кассандру
> даже не использовал
ip -s l show eth0 кажет по ~154T принятых в каждую ноду кластера scylla в проде. А кассандру я похоронил вместе с jvm в 2013.
В общем - держи свои галлюцинации при себе.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78

104. Сообщение от qsdg (ok), 27-Янв-24, 04:55 +/–

Как раз в биржах (алготрейдинге и HFT) jvm достаточно популярна. Хотя практики у них там не стандартные жавовские -- без нужды память не аллоцируют, а стараются переиспользовать. Ну и некоторые извращаются с кастомными runtime engine. Rust гораздо меньше чем жавы (хотя кресты конечно наше всё). Но и на крестах никто не пишет свободно без дисциплины где половину фич C++ запрещено использовать, и правильно.
Собственно, в VictoriaMetrics то же самое в коде, повсюду переиспользуемые массивы, с блокировками для мультипоточности.
А по производительности примерно одинаково всё в результате, кроме startup (на стандартном JRE без прекомпиляции) -- медленнее запускается, и минимальная память требуется больше. Но уже через минуту работы результат примерно однаковый, не зависит от языка, а зависит от того как писать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #79

105. Сообщение от qsdg (ok), 27-Янв-24, 04:57 +/–

В VictoriaMetrics все буферы стараются быть привязанными к потоку, чтобы между кешами CPU не переезжать. Это не столько к языку, сколько к тому как на нём писать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #89

106. Сообщение от qsdg (ok), 27-Янв-24, 05:04 +/–

Да, PromQL (как и VictoriaMetrics) он больше для мониторинга IT инфраструктуры. Там обычно данные через неделю уже очень-то и нужны. Зато очень нужны алёрты, дашборды и большие объёмы.
Теоретически конечно можно сделать, но у каждой тулсы своя фокус-ниша. А так -- любая БД конкурирует с Excel вообще-то.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #91

107. Сообщение от qsdg (ok), 27-Янв-24, 05:08 +/–

ACID -- это не про мониторинг, а про транзакции. В мониторинг тулзах никому ни разу ещё не понадобился ACID. Там нету как транзакций, так и вообще UPDATE в принципе.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #87

108. Сообщение от qsdg (ok), 27-Янв-24, 05:09 +/–

> Downsampling только в энтерпрайзе.
> Прелесть. Не, я уж лучше дальше в rrdtool.
На Perl пишете небось?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #115

109. Сообщение от qsdg (ok), 27-Янв-24, 05:14 +/–

>> Например https://victoriametrics.com/blog/mimir-benchmark
> Разве что это хоть как-то похоже на сравнение. Но опять же -
> ни комментариев от разрабов Mimir, ни тестовых данных. И сама статья
> "сравнения" расположена внезапно на сайте виктории, что вообще ни разу не
> предвзято, ага.
Разрабы Мимира участвовали в бенчмарке, там же написано. И они бы у себя откомментировали быстро, если бы было что сказать. Но они понимают что это fight that you cannot win, поэтому молчат.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #99

110. Сообщение от qsdg (ok), 27-Янв-24, 05:16 +/–

> А что у них там с ACID?
А его нету :)
Нет UPDATE -- значит нет транзакций вообще. В мониторинге никому не нужен ACID.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

111. Сообщение от qsdg (ok), 27-Янв-24, 05:29 +/–

>> 120 миллионов NVPS
> И ни слова о точности, потерях. Наверное 99,9% потерь, точность 4 знака
> до запятой и 0 после, раз не указали. А лейбл однобуквенный
> от ascii-таблицы. Только дата с временем, и та - с точностью
> только до секунд, миллисекунды отбрасываются, коллизии теряются. При таких условиях -
> вполне можно поверить, что у VictoriaMetrics наберётся 120 миллионов NVPS.
Наверное нет. Наверное длина лейблов вообще не важна, миллисекунды есть, точность норм. Наверное в Роблоксе не лаптем щи хлебают.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #97

112. Сообщение от qsdg (ok), 27-Янв-24, 05:31 +/–

> Ну никого же не смущает, что, например, ms sql быстрее чем postgresql
> работает.
> Вполне могут быть разные подходы к одинаковым задачам.
> Я точно не помню уже, но мне казалось что они просто взяли
> архитектуру кликхауса и на его основе сделали свою таймсериас дб. Но
> могу и врать, давно уже интересовался этим.
Нет, из архитектуры Кликхауса там только LSM tree. Но оно сейчас у всех есть.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #65

113. Сообщение от qsdg (ok), 27-Янв-24, 05:33 +/–

> Дядя, ты не шаришь. Иди гугли "теорему CAP".
> В прометее и деревативах осознано дропнули "C", потому что для его назначения - мониторинг, оно не нужно.
Не совсем так. CAP очень легко достигается, если просто не поддерживать UPDATE и DELETE :)
Но да, в мониторинге оно никому не нужно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101

114. Сообщение от qsdg (ok), 27-Янв-24, 05:36 +/–

> Какое отношение конситенция имеет к потере точности данных или нарушению их последовательности?
> Когда данные искажаются БД - это уже ни в какие ворота
> не лезет. Причем для большинства видов мониторинга. Даже ПИД-регулирование на искаженных
> данных или без сохранения их оригинальной последовательности просто не сможет нормально
> работать.
Точность не теряется. То что вы говорите -- это семплирование, и оно используется только во время запросов, как юзер спросил. А сырые данные сохраняются на диске все, для каждого таймстемпа. Последовательность тоже не нарушается, иначе бы LSM tree вообще нельзя было бы применить.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #102

115. Сообщение от Tron is Whistling (?), 27-Янв-24, 09:46 +/–

PHP брал, C брал, Pascal брал...
Perl не брал.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #108

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

2. Сообщение от InuYasha (??), 05-Окт-23, 12:31	–15 +/–
> СУБД > Код написан на языке Go Меня чувство некоторого диссонанса.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #4, #5, #14

4. Сообщение от Массоны Рептилоиды (?), 05-Окт-23, 13:08	+12 +/–
И что? Прометей тоже на Go. Если это у тебя вызывает диссонанс, то почитай про Datomic или Neo4j, впадёшь в глубокую депрессию
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2 Ответы: #20, #34

5. Сообщение от OpenEcho (?), 05-Окт-23, 13:14	+5 +/–
>> СУБД >> Код написан на языке Go > > Меня чувство некоторого диссонанса. Интервью профессиального водителя: Работодатель: Вы можете ездить на грузовых и легковых автомобилях? Кандидат: Грузовые у меня вызывают чувство диссонанса...
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2 Ответы: #6, #7, #22

6. Сообщение от kusb (?), 05-Окт-23, 13:58	+1 +/–
Инструмент или его использование может вызывать диссонанс. Язык программирования, это аналог не классов машин, а какой-то конкретной марки, наверное.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #5

7. Сообщение от Tron is Whistling (?), 05-Окт-23, 14:03	+4 +/–
Автомобили с квадратными колёсами и у меня вызывают чувство глубокого диссонанса.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #5 Ответы: #9

8. Сообщение от Аноним VictoriaMetrics (?), 05-Окт-23, 14:15	+/–
> В тестах производительности VictoriaMetrics опережает InfluxDB > и TimescaleDB при выполнение операций вставки и выборки данных > до 20 раз, потребляя при этом в 10 раз меньше ОЗУ, чем InfluxDB > и в 7 раз меньше, чем Prometheus, Thanos и Cortex при обработке > миллионов уникальных временных рядов Сильное заявление. Но в сравнении с TimescaleDB, например, разрабы VictoriaMetrics подобос*ались с конфигами оппонента , используя устаревшие данные (себя настроили как надо, кстати), затем не ответили на вопросы касательно тестирования. И так во всех трёх сравнениях. При этом называют самописный DSL преимуществом перед SQL-совместимым синтаксисом. Подозреваю, сравнение с другими СУБД такая же проблема, раз они в своих тестах три года подряд придерживались одной стратегии, не исправляя при этом косяки за всё время. Да и оставив без ответа конструктивную критику по поводу методов тестирования. Сейчас, 3 годя спустя после последнего такого сравнения (без исправлений своих косяков) они могли ещё сильнее отстать от оппонентов, но при этом всё ещё ссылаются на устаревшие (ноябрь 2018, с тех пор было много новых релизов и VM, и оппонентов) предвзятые (только своих сотрудников) неверное построенные (обозначенные косяки не поправили) сравнения.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #17, #32, #47

9. Сообщение от Любитель треугольных колёс (?), 05-Окт-23, 14:20	+1 +/–
> Автомобили с квадратными колёсами и у меня вызывают чувство глубокого диссонанса. То ли дело треугольные! https://etudes.ru/etudes/wheel-inventing/
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7 Ответы: #10

10. Сообщение от Tron is Whistling (?), 05-Окт-23, 14:24	+/–
Угу. Сферическая потуга академиков в вакууме от математики. Физика им не нужна.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #9

11. Сообщение от Аноним (11), 05-Окт-23, 14:31	+/–
Кто такая Виктория?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #13

12. Сообщение от Tron is Whistling (?), 05-Окт-23, 14:34	–1 +/–
Downsampling только в энтерпрайзе. Прелесть. Не, я уж лучше дальше в rrdtool.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #108

13. Сообщение от Аноним (13), 05-Окт-23, 15:03	+/–
И где она живет? (Наверное в той же общаге, что и Элис)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #11 Ответы: #49

14. Сообщение от Аноним (14), 05-Окт-23, 15:53	–10 +/–
А на чём ещё БД писать? На Rust долго, на Java получится медленно. Унылое древнее типа С и С++ не беру, т.к. на этом писать в 2023 БД уже моветон. Тупо по историческим соображениями postgres на них, замена для PG - CockroachDB на Go написан. Больше не на чем писать кароч.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2 Ответы: #19, #30, #77, #89

17. Сообщение от Аноним (26), 05-Окт-23, 16:34	+4 +/–
> Сильное заявление. Но в сравнении с TimescaleDB, например, разрабы VictoriaMetrics подобос*ались с конфигами оппонента , используя устаревшие данные (себя настроили как надо, кстати), затем не ответили на вопросы касательно тестирования. В данном случае вообще пофиг, в 20 или в 18.9 раз. Один фиг, timescale является настройкой над постгресом, который является типичным RDBMS и будет всасывать у любой более-менее нормальной TSDB со свистом. > При этом называют самописный DSL преимуществом перед SQL-совместимым синтаксисом. Вы, похоже, вообще с миром мониторинга не знакомы. PromQL - это как бы стандарт. Вы ещё до сишников докопайтесь, что это они свои программы пишут на недоязычке, вместо того, чтобы использовать SQL-совместимый синтаксис.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #8 Ответы: #45

19. Сообщение от Аноним (26), 05-Окт-23, 16:37	+3 +/–
Clickhouse на крестах написан. Между прочим, лучший в классе column family.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #14 Ответы: #21

20. Сообщение от InuYasha (??), 05-Окт-23, 16:43	–11 +/–
> И что? Прометей тоже на Go. Аргумент Поехавшего #3: "ну, свиньи же жрут своё говно - ну а что?". Так что, я не впадаю в депрессию, я пополняю список ненужного. Хотя, уже проще содержать список нужного.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #26, #27, #53

21. Сообщение от InuYasha (??), 05-Окт-23, 16:48	+/–
Postgres, MongoDB, MS SQL, SQLite... - да всё дохипстерское сишно-плюсовое и, ЧСХ, работало, и даже быстро, и масштабировалось. Но нет, толпы адептов выученного вчера языка завалили мир пруф-концептами и завертелось...
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #19 Ответы: #24, #31

22. Сообщение от InuYasha (??), 05-Окт-23, 16:52	+/–
> Интервью профессиального водителя: Работодатель: Вы можете ездить на грузовых автомобилях, сделанных из Lego? Кандидат: ... не, ну, в шлеме и мотоэкипе можно, но если только грузовик пустой. - так точнее будет.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #5 Ответы: #25

24. Сообщение от Аноним (26), 05-Окт-23, 17:10	+2 +/–
> Postgres, MongoDB, MS SQL, SQLite... > и масштабировалось. Остроумно. Как и назвать монгу (влажная мечта любого JS-хипстора) дедовской, кстати.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #21

25. Сообщение от OpenEcho (?), 05-Окт-23, 17:11	+/–
> ...сделанных из Lego? > - так точнее будет. Ну очень увесиситый аргумент... :)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #22

26. Сообщение от Аноним (26), 05-Окт-23, 17:12	+8 +/–
У вас какая-то нездоровая зацикленность на фекалиях и их поедании.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #20

27. Сообщение от OpenEcho (?), 05-Окт-23, 17:17	+/–
>...Хотя, уже проще содержать список нужного. Вот это "правильное" решение, только святой Бейсик, хотя нет, добавь еще в список нужного https://scratch.mit.edu/
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #20

29. Сообщение от Аноним (29), 05-Окт-23, 18:07	+/–
Тоже как то пытались перейти на это игровое решение с самоделки на тараниуле и упёрлись в то что нет даунсемплинга, который был в подделке. Вопрос закрыли после трёх недель работы. Потом переехали на редис плюс постгрес, ну понятно что с пострадавшей гибкостью.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #41

30. Сообщение от User (??), 05-Окт-23, 18:18	+/–
Cassandra смотрит на вас с недоумением
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #14 Ответы: #75

31. Сообщение от User (??), 05-Окт-23, 18:20	+/–
Масштабирующийся postgres/mssql? Воу, sqlite! Мужики-то не знали, ёлки!
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #21

32. Сообщение от User (??), 05-Окт-23, 18:23	+/–
Ну, я с timescale'ом лично сравнивал. В дефолтах разница примерно на порядок, после чего желание тюнить само собой отпало.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #8 Ответы: #46

34. Сообщение от Аноним (34), 05-Окт-23, 18:55	+/–
Только rrdtool, только хардкор.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4

35. Сообщение от Легивон (?), 05-Окт-23, 20:15	+2 +/–
Когда она только появилась быстро отметил её как проект занимающийся восновном балобольством, сказками про большую в 9000 раз производительность. Ничего не изменилось, вот и сейчас они снова "положили" thanos на лопатки в 7 раз одновременно и по памяти и по сжатию. Сжатие в семь раз относительно проектов которые так же использую сжатие - это просто сказки для маленьких детей. Удивительно, как эта система каким-то образом обрасла совершенно упоротыми фанатиками сектантами, расказывающими такие же небылицы. Видимо лозунги специально заточены на аудиторию психических. Пруфы то будут? Как воспроизвести ваши "эксперименты"? Выкладывайте семплы и скрипты как залить их в ващу ненужную поделку и в прометей? Вместо пруфов - только победы в интернете, да? Вангую на танос в тестах всегда подается белый шум в метриках и лейблах, а в викторию постоянка. Иного варианта про 700% сжатия от сжатого и быть не может. Еще прочитал описание... даунсемплинга нет, лол. Для чего оно тогда вообще нужно? Еще одна система мониторинга косплеющая прометей с киллер фитчей - официально ни для чего не нужна?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #80, #93

36. Сообщение от Имя (?), 05-Окт-23, 20:41	+/–
А что у них там с ACID?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #110

40. Сообщение от Аноним (40), 05-Окт-23, 21:37	+2 +/–
Переехали на неё в прошлом году. Имели 80 нод кубера, прометеус умирал при таком количестве нод, а при подключении виктории все проблемы исчезли.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #43, #55, #57

41. Сообщение от Tron is Whistling (?), 05-Окт-23, 21:48	+/–
Я для графиков живу на MySQL в коротком отрезке - 7 дней, там сотня с фигом гигабайт получается, далее непрерывно выгружаю то, что требуется, в RRD - для быстрой отрисовки и истории.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #29 Ответы: #42