https://opennet.me/openforum/vsluhforumID3/40715.html Наверняка, каждый сталкивался с задачей переноса лог-файлов из текстовых файлов в различные БД. <br>И, наверняка, каждый столкнувшийся начинал писать собственные скрипты под это дело. <br>Причем большинство виденных мной скриптов основывались на построчном чтении/переносе данных. <br>Данный способ, конечно, хорош и имеет право на существование, но, к сожалению не очень быстр.<br> Но в MySQL существует способ перенести данные из обычных текстовых файлов в БД <br>очень и очень быстро при помощи директивы LOAD DATA INFILE<br><br>Пример такого скрипта:<br><br>#!/bin/bash<br>nld='/var/log/squid3' # Путь к лог-файлам<br>nbd='/opt/backup/squid3' # Путь к папке резервного хранения лог-файлов<br>nrc=`squid3 -k rotate` # Команда ротации лог-файлов для данного сервиса<br>nlf='/var/log/logs2mysql/squid.log' # На всякий случай пишем что и когда делали<br><br>mh='localhost' # Mysql host<br>mu='root' # Пользователь mysql<br>mp='secret' # Его пароль<br>mb='logs' # База данных<br>mt='squid' # Таблица<br><br>echo `date +"%F %T"` "Начало выгрузки" https://opennet.me/openforum/vsluhforumID3/40715.html#7 Wed, 26 Mar 2008 10:56:10 GMT забыл добавить в ТЗ про экранирование кавычек, обработку дат (LOAD DATA INFILE этого не делает), обработку файлов по шаблону<br><br><br> https://opennet.me/openforum/vsluhforumID3/40715.html#6 Wed, 26 Mar 2008 10:50:43 GMT &gt;Почитать доку по mysql это теперь очень тяжело для админов? И даже <br>&gt;те, кто до нее дошел не могут дочитать до конца и <br>&gt;бросаются шаманить с sed/awk. Печально. <br><br>Ваше предложение по этому поводу?<br>ТЗ: необходимо перенести большое количество данных из текстовых файлов в БД. При этом необходимо обеспечить неповторение данных в БД, гарантированное занесение данных в БД, обеспечить резервное копирование исходных текстовых файлов, обеспечить очень быстрый перенос данных.<br>ждем Вашего ответа.<br> https://opennet.me/openforum/vsluhforumID3/40715.html#5 Wed, 26 Mar 2008 10:46:27 GMT &gt; Вот только с hash не понятно, это просто контрольная сумма строки лога ?<br><br>ага.она самая. признак уникальности проверяется именно по оному.<br> https://opennet.me/openforum/vsluhforumID3/40715.html#4 Tue, 25 Mar 2008 12:25:53 GMT пример встудию!<br> https://opennet.me/openforum/vsluhforumID3/40715.html#3 Fri, 21 Mar 2008 16:00:22 GMT для этого есть primary key<br> https://opennet.me/openforum/vsluhforumID3/40715.html#2 Thu, 20 Mar 2008 04:58:16 GMT А подробней ? Сисадмин - он же не DBA и не программер<br>А то просто сказать можно все, но это слова<br>Насчет LOAD DATA идея хорошая, я делал INSERT записей по 500, но перед этим уникальность строки проверять при помощи SELECT, а это уже тормоза при большом числе строк<br>Надо попробовать будет<br>Вот только с hash не понятно, это просто контрольная сумма строки лога ?<br> https://opennet.me/openforum/vsluhforumID3/40715.html#1 Tue, 18 Mar 2008 06:11:30 GMT Почитать доку по mysql это теперь очень тяжело для админов? И даже те, кто до нее дошел не могут дочитать до конца и бросаются шаманить с sed/awk. Печально. <br>