Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Первый стабильный релиз СУБД DuckDB"	+/–
Сообщение от opennews (??), 04-Июн-24, 15:56
После шести лет разработки представлен выпуск СУБД DuckDB 1.0, позиционируемой как вариант SQLite для аналитических запросов. DuckDB сочетает такие свойства SQLite, как компактность, возможность подключения в форме встраиваемой библиотеки, хранение БД в одном файле и удобный CLI-интерфейс, со средствами и оптимизациями для выполнения аналитических запросов, охватывающих значительную часть хранимых данных, например, выполняющих агрегирование всего содержимого таблиц или слияние нескольких больших таблиц. Код проекта написан на языке C++ и распространяется под лицензией MIT... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=61309
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. Скрыто модератором	–2 +/–
Сообщение от Аноним (1), 04-Июн-24, 15:56
Когда переменные начинают крякать это я понимаю. Но когда начинают крякать целые базы данных это уже явная девиация.
Ответить | Правка | Наверх | Cообщить модератору

2. "Первый стабильный релиз СУБД DuckDB"	–1 +/–
Сообщение от Аноним (2), 04-Июн-24, 16:07
Пробовал несколько месяцев назад, надо было подмёрживать небольшую таблицу к большой (несколько сотен ГБ), которая лежит в паркетах на HDFS. Т.е. простой мёрж, никаких там группировок на всех данных. Так вот, если искусственно скармливать этой утке небольшие чанки от большой таблицы - то вывозит. А если сразу всё, то падает с ошибкой выделения памяти, хотя свободной памяти на серваке ещё. Интересно, пофиксили ли.
Ответить | Правка | Наверх | Cообщить модератору

	3. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Аноним (3), 04-Июн-24, 16:45
	Может ты просто не правильно делаешь булк инсерт?
	Ответить | Правка | Наверх | Cообщить модератору

	6. "Первый стабильный релиз СУБД DuckDB"	–2 +/–
	Сообщение от Аноним (6), 04-Июн-24, 17:31
	Причём тут булк инсерк? У меня есть несколько сотен ГБ в паркетах, к ним нужно примёржить пару МБ и получить результат (тоже пару МБ). Всё это из питона.
	Ответить | Правка | Наверх | Cообщить модератору

	8. "Первый стабильный релиз СУБД DuckDB"	+1 +/–
	Сообщение от гага (?), 04-Июн-24, 20:25
	Так и говорите терминами хотя-бы свойственных базам данных, делаете джоин - так делайте меньшее в большее т.к. базе в ином случае нужно хранить в памяти все ключи первой таблицы и она пошлет вас на три буквы если датасет окажется слишком большим
	Ответить | Правка | Наверх | Cообщить модератору

	10. "Первый стабильный релиз СУБД DuckDB"	+1 +/–
	Сообщение от Аноним (6), 04-Июн-24, 22:08
	Так разрабы этой субд как раз хвалились, что она у них для больших данных и типа умеет не тащить всё в память, а при необходимость работать с большими таблицами даже если в память всё не влезает. А в моём случае ещё и памяти свободной на серваке было завались. А по факту оказалось, что ей надо на чанки все равно бить. Ну и нафига оно тога нужно?
	Ответить | Правка | Наверх | Cообщить модератору

	12. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Аноним (12), 04-Июн-24, 23:02
	Без кода гадать по комментам что где и почему упало бессмысленно. Может у тебя там в цикле все паркеты в память читаются.
	Ответить | Правка | Наверх | Cообщить модератору

	23. "Первый стабильный релиз СУБД DuckDB"	–1 +/–
	Сообщение от гага (?), 05-Июн-24, 12:57
	> Так разрабы этой субд как раз хвалились, что она у них для > больших данных и типа умеет не тащить всё в память, а > при необходимость работать с большими таблицами даже если в память всё > не влезает. А в моём случае ещё и памяти свободной на > серваке было завались. А по факту оказалось, что ей надо на > чанки все равно бить. Ну и нафига оно тога нужно? кликхаус тоже хвалится что может в большие данные, но большее в меньшее точно так-же вызовет повышенный расход памяти, то что оно может - эт не значит что головой думать не надо
	Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

	20. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Sw00p aka Jerom (?), 05-Июн-24, 11:28
	> Так и говорите терминами хотя-бы свойственных базам данных, делаете джоин юнион что такое?
	Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

	22. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от гага (?), 05-Июн-24, 12:56
	>> Так и говорите терминами хотя-бы свойственных базам данных, делаете джоин > юнион что такое? Юнион не даст результат в пару мегабайт при подаче на вход множества гигабайт
	Ответить | Правка | Наверх | Cообщить модератору

	24. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Sw00p aka Jerom (?), 05-Июн-24, 13:28
	> Юнион не даст результат в пару мегабайт при подаче на вход множества > гигабайт """ Т.е. простой мёрж, никаких там группировок на всех данных. """ что такое "простой мОрж" двух множест?
	Ответить | Правка | Наверх | Cообщить модератору

	4. "Первый стабильный релиз СУБД DuckDB"	–1 +/–
	Сообщение от penetrator (?), 04-Июн-24, 17:10
	так join вроде не фишка этих баз, она columnar? ну 200 гигов нормальная реляционка без проблемы вывезет на join вопрос там только в том сколько из этих 200 гигов тебе надо отдать и сколько там будет index scan
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	16. "Первый стабильный релиз СУБД DuckDB"	–1 +/–
	Сообщение от Аноним (16), 05-Июн-24, 01:13
	Она умеет в join, но при неоптимальном запросе spillover может быть неприлично большим. https://duckdb.org/docs/configuration/pragmas#temp-directory...
	Ответить | Правка | Наверх | Cообщить модератору

	7. "Первый стабильный релиз СУБД DuckDB"	–1 +/–
	Сообщение от Wine is not emulator (?), 04-Июн-24, 19:04
	Не 32-битная версия СУБД и/или клиента, случаем? А зачем в таком встраиваемом формате хранят такие объёмы? Не знал, тут же полноценную RDBMS уже можно.
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	17. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от economist (?), 05-Июн-24, 08:32
	RDBMS медленнее и намного. Колоночное хранение рулит. Большинство сравнений бессмысленны без понимания специфики данных. Например, большинство SQL-запросов к БД у экономистов читают 10% строк и многоуровнево группируют с множ. отборами. С такими данными и запросами DuckDB очень быстр. Та же SQLite примерно в 2,5 раза тормознее (но все же быстрее сетевых БД).
	Ответить | Правка | Наверх | Cообщить модератору

	15. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Аноним (16), 05-Июн-24, 01:10
	Результат EXPLAIN ANALYZE в студию. А там посмотрим. Может, утку неправильно приготовили.
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

18. "Первый стабильный релиз СУБД DuckDB"	–1 +/–
Сообщение от Аноним (18), 05-Июн-24, 10:07
Знаю вопрос глупый, но нафига очередная база данных? Имеющихся мало? Какое уникальное торговое предложение (УТП) сабжа? Вот допустим ищу я вакансию Девопса, в вакансиях в разделе знания БД у всех разные названия. Я думал что в ИТ принято перенимать лучшие практики? Нафига этот зоопарк?
Ответить | Правка | Наверх | Cообщить модератору

	19. "123"	–1 +/–
	Сообщение от Аноним (3), 05-Июн-24, 10:31
	Потому что если ты знаешь допустим мускуль ты уточнишь в выдаче среди конкурентов. А когда ты знаешь какую то мутную фигню, которая почему то понадобилась эйчеру ты будешь возможно даже на первой странице. А зачем кто-то стал это искать сотрудников для работы с фигнёй? Например потому что повелся на маркетинговый буль-щит.
	Ответить | Правка | Наверх | Cообщить модератору

	25. "123"	–1 +/–
	Сообщение от Аноним (18), 05-Июн-24, 13:58
	>А когда ты знаешь какую то мутную фигню, которая почему то понадобилась эйчеру ты будешь возможно даже на первой странице. Ну и вакансий будем меньше и не факт что ЗП будет больше.
	Ответить | Правка | Наверх | Cообщить модератору

	21. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Аноним (21), 05-Июн-24, 12:01
	Описание читал? Если да, то какие аналоги?
	Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

	26. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Аноним (18), 05-Июн-24, 14:04
	А ты читал? >позиционируемой как вариант SQLite для аналитических запросов.
	Ответить | Правка | Наверх | Cообщить модератору

	28. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Аноним (3), 05-Июн-24, 16:20
	Какие аналоги?
	Ответить | Правка | Наверх | Cообщить модератору

	30. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Аноним (30), 05-Июн-24, 21:10
	> Знаю вопрос глупый, но нафига очередная база данных? ... Нафига этот зоопарк? ... > А ты читал? >>позиционируемой как вариант SQLite для аналитических запросов. Ну так сам и ответил - из приведенной тобой цитаты следует, что сабж лучше подходит для аналитических запросов, чем SQLite. Потому и зоопарк, что единственной серебряной пули для всех типов задач нет. Подбираешь БД под задачу.
	Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

	31. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Neon (??), 05-Июн-24, 22:00
	Хотя бы простой примерчик аналитического запроса. А то одни общие слова
	Ответить | Правка | Наверх | Cообщить модератору

	33. "Первый стабильный релиз СУБД DuckDB"	+/–
	Сообщение от Аноним (30), 06-Июн-24, 00:23
	Бог подаст. Типа, на слабо решил взять? Но "мопед не мой, я просто разместил..." А, стоп. И объява не моя, я только цитировал цитированное. А вообще - учись уиться, если не троллишь. Для начала просто почитай в интернетах как обычно организованы традиционные реляционные БД (все эти таблицы, индексы и т.д.), что такое транзакции в БД и их уровни изоляции. Обязательно почитай про колоночные СУБД, чем они отличаются от традиционных реляционных построчных. Почитай про OLTP и OLAP. Потом желательно бы поработать с тем и другим на крупных базах, хотя бы с десятками и сотнями миллионами строк. Чтобы с одной стороны начальник тебя дрюкал за то, что документы медленно проводятся в системе и постоянно блокировки всплывают и ты бы с этим разбирался и прокачивался (тут больше OLTP), а потом дрюкал за то, что отчеты в налоговую  или накопительные с начала года итоги по десяткам показателей для начальства по пол дня формируются (а это уже больше OLAP). Вот в процессе и изучил бы что такое Data Warehouses для аналитики, все эти построчные и колоночные БД и все эти агрегатные функции, включая разные ROLLUP и CUBE в GROUP BY, GROUPING и GROUPING SETS и оконные функции, все эти (если взять в пример ораклю) ... OVER(), которые тоже аналитика.
	Ответить | Правка | Наверх | Cообщить модератору

29. "Первый стабильный релиз СУБД DuckDB"	+/–
Сообщение от Аноним (29), 05-Июн-24, 20:44
как там с регистронезавимым кириллическим поиском?
Ответить | Правка | Наверх | Cообщить модератору

32. "Первый стабильный релиз СУБД DuckDB"	+/–
Сообщение от Neon (??), 05-Июн-24, 22:01
Приложили бы в описании хотя бы простой  пример аналитического запроса. А то одни общие слова.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема