https://ns.opennet.ru/openforum/vsluhforumID3/45475.html Разработчик CloudBase, высокопроизводительного менеджера данных с открытым исходным кодом, компания Business.com объявила (http://cloudcomputing.sys-con.com/node/757629) о выходе под лицензией GPLv2 релиза CloudBase. Система спроектирована для работы на &#171;обычном железе&#187; и поддерживает распределенную сетевую архитектуру. Основное ее предназначение &#8212; это предоставление малобюджетным компаниям высокоэффективных сервисов бизнес анализа.<br><br><br>Построенная с использованием технологии Map-Reduce (http://ru.wikipedia.org/wiki/MapReduce), CloudBase может обрабатывать терабайтные и петабайтные массивы информации, и позволяет составлять запросы к обычным плоским текстовым log-файлам в формате ANSI SQL. Текущая реализация алгоритма Map-Reduce основана на базе наработок проекта Apache Hadoop (http://hadoop.apache.org/core/). CloudBase имеет в своем составе драйвер JDBC, что позволяет выбрать любую подходящую графическую оболочку, позволяющую формировать SQL-запросы.<br><br>Среди других во...<br><br>URL: http://cloudco https://ns.opennet.ru/openforum/vsluhforumID3/45475.html#10 Mon, 24 Nov 2008 12:30:49 GMT &gt;А Вы действительно считаете, что это простая задача??? :) <br>&gt;Ну, и если с анализом логов того же апача все и так <br>&gt;ясно, то как Вам такая задача: <br>&gt;прочесать _все_ логи со _всех_ серваков и просчитать корреляции событий, а по <br>&gt;результатам вычленить, например, вяло текущий скан портов... <br><br>Я не говорил, что это простая или тем более ненужная задача, либо что её не надо автоматизировать:). Просто из новости сложилось ощущение, что это полноценное как-бы-СУБД, стало интересно (в качестве общего развития пока что, а там чем чёрт не шутит). Логи анализировать - задача намного более узкая, согласитесь:).<br> https://ns.opennet.ru/openforum/vsluhforumID3/45475.html#9 Mon, 24 Nov 2008 08:23:47 GMT Легко. HP Operations Manager ;)<br> https://ns.opennet.ru/openforum/vsluhforumID3/45475.html#8 Mon, 24 Nov 2008 04:25:12 GMT А Вы действительно считаете, что это простая задача??? :) <br>Ну, и если с анализом логов того же апача все и так ясно, то как Вам такая задача: <br>прочесать _все_ логи со _всех_ серваков и просчитать корреляции событий, а по результатам вычленить, например, вяло текущий скан портов... <br> https://ns.opennet.ru/openforum/vsluhforumID3/45475.html#7 Sun, 23 Nov 2008 18:05:00 GMT Новость вышла информативнее оригинальной статьи - там даже ссылки на сайт проекта не было ;) Гугл, конечно, помогает, но, опять-таки, с документацией там туго. Как его завести-то, как логи подкладывать и т.д.?<br> https://ns.opennet.ru/openforum/vsluhforumID3/45475.html#6 Sun, 23 Nov 2008 13:59:44 GMT &gt;Дело в том, что фс, со временем, все более и более приобретает <br>&gt;черты СУБД. Я думаю, будущее за таким подходом. Или, по крайней <br>&gt;мере, за специализированними фс, в которых сразу работаешь как в среде <br>&gt;СУБД. Зачем, например, лишняя прослойка из ОС(которая тоже требует ресурсов), если <br>&gt;от сервера требуются только функции СУБД? <br><br>Даже если СУБД не размещает свои данные на собственном разделе, содержимым которого и рулит, - а такая возможность есть в любой приличной СУБД Enterprise-класса - то всё равно накладные расходы из-за наличия "прочей" ОС пренебрежимо малы. Кроме разве что пограничных случаев, когда не используются запросы сложнее "SELECT * FROM table" - но тогда нафиг "навороченная" СУБД?<br><br>Если звучит неубедительно, давайте разберём, где возникают накладные расходы:<br><br>1. Переключение контекста (юзерспейс &lt;-&gt; ядро &lt;-&gt; юзерспейс в простейшем случае синхронного ввода-вывода);<br>2. Уровень абстракции ФС в ядре (более тонкий в случае работы с выделенным разделом, но всё равно есть);<br>3. Занятое др https://ns.opennet.ru/openforum/vsluhforumID3/45475.html#5 Sun, 23 Nov 2008 04:54:11 GMT Дело в том, что фс, со временем, все более и более приобретает черты СУБД. Я думаю, будущее за таким подходом. Или, по крайней мере, за специализированними фс, в которых сразу работаешь как в среде СУБД. Зачем, например, лишняя прослойка из ОС(которая тоже требует ресурсов), если от сервера требуются только функции СУБД?<br> https://ns.opennet.ru/openforum/vsluhforumID3/45475.html#4 Sat, 22 Nov 2008 19:40:13 GMT "We developed CloudBase to drastically improve the speed and efficiency of transforming terabyte-scale web log files into actionable insights for improving user experience and business results," said Paul Dagum, Chief Scientist and Strategy Officer, R.H. Donnelley Interactive (RHDi).<br><br>То есть главная и единственная задача - анализ лог-файлов??<br> https://ns.opennet.ru/openforum/vsluhforumID3/45475.html#3 Sat, 22 Nov 2008 17:47:05 GMT высокопроизводительный менеджер данных<br> https://ns.opennet.ru/openforum/vsluhforumID3/45475.html#1 Sat, 22 Nov 2008 17:01:44 GMT т.е. это всетаки база данных или фс ?<br>