The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Открыты исходные тесты СУБД TrailDB"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Открыты исходные тесты СУБД TrailDB"  +/
Сообщение от opennews (??) on 25-Май-16, 11:51 
Рекламная сеть AdRoll (https://en.wikipedia.org/wiki/AdRoll) объявила (http://tech.adroll.com/blog/data/2016/05/24/traildb-open-sou...) об открытии исходных текстов встраиваемой СУБД TrailDB (http://traildb.io/), ориентированной на эффективное сохранение и обработку данных о наступающих событиях. Основу TrailDB составляет библиотека с реализацией функциональности СУБД, связываемая с приложениями.  Для управления предлагается интерактивная оболочка tdb, работающая в режиме командной строки. Код TrailDB написан на языке Си и распространяется (https://github.com/traildb/traildb) под лицензией MIT.

Модель хранения данных в  TrailDB предоставляет (http://traildb.io/docs/technical_overview/) возможность сохранения в БД произвольного набора групп (trail), к которым привязываются наступающие события. Каждая группа идентифицируется 128-разрядным UUID и включает упорядоченную информацию о последовательности событий и времени их наступления. Каждое событие включает в себя UUID группы, время наступления и предопределённый набор полей (формат схемы полей задаётся заранее). Предоставляются операции слияния разных БД, шардинга и перестроения групп, а также очень быстрые операции с курсором и средства для фильтрации событий (например, "action=page_view AND (page=pricing OR page=about)").

<center><img src="https://www.opennet.dev/opennews/pics_base/0_1464163165.png&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></center>

Из задач, которые легко решаются в TrailDB, но слишком усложнены для реляционных СУБД, отмечается отслеживание цепочек действий и предпочтений пользователя. Например, имеются данные, что пользователь зашёл на сайт, посмотрел страницу о продукте, после чего открыл прайс и спустя час после первого события зарегистрировался в сервисе. При помощи TrailDB не составит труда проанализировать число пользователей, которые зарегистрировались менее, чем за час после первого входа.

<center><a href="http://tech.adroll.com/images/post_images/traildb_breadcrumb... src="https://www.opennet.dev/opennews/pics_base/0_1464165064.png&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>

Другие особенности:


-  Высокая производительность и надёжность. На одном процессорном ядре могут обрабатываться миллионы событий в секунду.  С 2014 года в сети AdRoll при помощи TrailDB сохранено и обработано более 20 триллионов событий. Покрытие автоматизированным тестовым составляет более 90%;

-  Основные области применения: вычисление метрик (например, интенсивность отказов), анализ моделей использования, визуализация статистики, выявление аномалий, обобщение данных о предпочтениях и прогнозирование поведения пользователя;

-  Простой API (http://traildb.io/docs/api/). Наличие (https://github.com/traildb/) биндингов для языков C++, Python, R, D, Go и Haskell;

-  Возможность хранения данных в сжатом виде. При этом обеспечена поддержка прямых запросов сжатых данных с распаковыванием только необходимых частей;

URL: http://tech.adroll.com/blog/data/2016/05/24/traildb-open-sou...
Новость: http://www.opennet.dev/opennews/art.shtml?num=44487

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


5. "Открыты исходные тесты СУБД TrailDB"  +/
Сообщение от MPEG LA (ok) on 25-Май-16, 14:46 
>Наличие биндингов для языков C++, Python, R, D, Go и Haskell;

да, конечно же, вы можете использовать TrailDB в JavaScript: https://github.com/poynt/traildb-node

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Открыты исходные тесты СУБД TrailDB"  –3 +/
Сообщение от Crazy Alex (ok) on 25-Май-16, 14:59 
Набор биндингов тот ещё, конечно
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Открыты исходные тесты СУБД TrailDB"  +/
Сообщение от angra (ok) on 25-Май-16, 19:43 
Какие языки использовали с этой БД, такой набор и выложили. Все желающие могут написать биндинг для своего любимого языка. А что именно тебе в этом наборе не нравится?
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

14. "Открыты исходные тесты СУБД TrailDB"  +/
Сообщение от Crazy Alex (ok) on 25-Май-16, 21:02 
В смысле - не нравится? Просто довольно забавный набор. Мой любимец D вместе с Haskell - уже занятное сочетание. да и биндинги к R не часто встретишь.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

16. "Открыты исходные тесты СУБД TrailDB"  +2 +/
Сообщение от Аноним email(??) on 25-Май-16, 22:49 
А что, они, небось, кучу статистики по этим событиям делают, вот тебе и R
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

7. "Открыты исходные тесты СУБД TrailDB"  +/
Сообщение от DmA (??) on 25-Май-16, 16:34 
теперь каждый может следить за всем миром и создавать свои рекламные компании? Кто-то хочет обрушить рынок интернет рекламы?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Открыты исходные тесты СУБД TrailDB"  +1 +/
Сообщение от anonymous (??) on 25-Май-16, 17:09 
Искренне Ваш, сторонник теории всемирного заговора
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

17. "Открыты исходные тесты СУБД TrailDB"  –1 +/
Сообщение от DmA (??) on 26-Май-16, 13:17 
ну а что поделаешь, если эти заговоры никто не скрывает и в каждой версии браузеров добавляют что-то новое и полезное для слежки? Я то тут причём ?
Из описания вакансии   Java разработчика для компании Яндекс https://yandex.ru/jobs/vacancies/dev/develop_java
"Присоединившись к нашей команде, вы будете разрабатывать сервисы и приложения для миллионов пользователей. Вы сможете обучать Крипту видеть людей насквозь,"

Из описания Крипты на сайте Яндекса Технология Крипта https://yandex.ru/company/technologies/crypta :
Ежедневно рекламу на сервисах Яндекса видят миллионы пользователей. Рекламодатели могут показывать свои предложения только тем из них, на кого они рассчитаны — например, людям определенного возраста или привычек. Для выделения разных аудиторий Яндекс разработал технологию Крипта. Она умеет находить группы пользователей по их поведению в интернете. Главное, чтобы их поведение чем-то отличалось.
Как это работает
Крипта основана на методе машинного обучения Матрикснет. Она учится определять аудиторию, исследуя поведение в интернете её типичных представителей. Для успешного обучения ей нужно проанализировать поведение как минимум 30 тысяч пользователей. Как показывают эксперименты, этого количества уже достаточно для получения надёжного результата.
Типичных представителей группы Яндекс ищет с помощью маркетинговых агентств. Они помогают найти людей с нужными социально-демографическими характеристиками: определенного пола, возраста, с необходимым уровнем дохода и образованием, привычками и интересами. Например, если Крипту нужно научить определять покупателей кормов для животных — таких людей можно найти в ходе опросов."

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

9. "Открыты исходные тесты СУБД TrailDB"  +/
Сообщение от www2 (??) on 25-Май-16, 17:18 
Прикрутили бы её к Zabbix. А то сейчас одни слёзы - история, тенденции и события в реляционной СУБД.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Открыты исходные тесты СУБД TrailDB"  +/
Сообщение от имя on 25-Май-16, 19:28 
Для сырых данных больше InfluxDB напрашивается. Ну или — хе-хе — RRD.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

15. "Открыты исходные тесты СУБД TrailDB"  +1 +/
Сообщение от Аноним (??) on 25-Май-16, 21:33 
> InfluxDB напрашивается

оно напрашивается в биореактор после отказа поддерживать по-человечески открытую версию

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

12. "Открыты исходные тесты СУБД TrailDB"  +/
Сообщение от angra (ok) on 25-Май-16, 19:41 
Насколько я понял, оно вообще не предназначено для постоянного потока событий. Файл базы создается, данные записываются и происходит финализация, после чего он становится read only. А до финализации с ним нельзя ничего делать, кроме как писать туда данные.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру