The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Инцидент с СУБД проекта GitLab

01.02.2017 14:10

Разработчики платформы для организации совместной разработки GitLab сообщили о частичной утере содержимого СУБД, обслуживающей инфраструктуру проекта. До окончания разбирательства сайт GitLab.com временно выведен из строя. Утверждается, что непосредственно git-репозитории с кодом и wiki не пострадали, проблема затронула только сопутствующие данные, такие как merge-запросы, учётные записи разработчиков и обсуждения проблем. В настоящее время производится попытка восстановления данных из резервной копии, сделанной за 6 часов до инцидента.

Реагируя на обрушившуюся на проект DoS-атаку администраторы попытались разнести нагрузку на СУБД PostgreSQL на два сервера, организовав репликацию данных. В процессе настройки репликации, они случайно перепутали терминалы и вместо очистки директории на вторичном сервере, перед копированием актуального среза реплициорованных данных, удалили директорию основной рабочей СУБД (на первичном и вторичном серверах используется одинаковый путь к данным /var/opt/gitlab/postgresql/data).

  1. Главная ссылка к новости (https://news.ycombinator.com/i...)
  2. OpenNews: Уязвимость в GitLab, позволяющая прочитать содержимое системных файлов
  3. OpenNews: В GitLab устранена критическая уязвимость
  4. OpenNews: Gitorious закрывается и переходит в руки GitLab
  5. OpenNews: Критические уязвимости в GitLab
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/45957-gitlab
Ключевые слова: gitlab
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (104) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (-), 14:25, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Хипстеры...

    DROP PgSQL бэкапы не нужны ага,,,

     
  • 1.3, Аноним (-), 14:27, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +36 +/
    Доверяйте облакам, говорили они. Держите все свои важные данные в облаках.
    Они отказоустойчивые и регулярно бекапятся, говорили они.
    Ну вот и посмотрим.
     
     
  • 2.10, Аноним (-), 14:54, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +14 +/
    > Доверяйте облакам, говорили они. Держите все свои важные данные в облаках.
    > Они отказоустойчивые и регулярно бекапятся, говорили они.
    > Ну вот и посмотрим.

    просто ещё не реализовали облаков для облаков.
    Вот тогда-то заживём!

     
     
  • 3.18, . (?), 15:15, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > просто ещё не реализовали облаков для облаков.

    реализовали - они ж написали, "мы регулярно бэкпались в azure".

    > Вот тогда-то заживём!

    Но что-то пошло не так...

     
     
  • 4.101, алекс (??), 20:09, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    нашли в чём бэкапится
     
  • 2.61, Аноним (-), 21:51, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Ну так раз в 6 часов - это разве не регулярно? Если хочешь чаще - то бесплатного гектара на Дальнем Востоке тебе ненадолго хватит, чтобы складывать физические носители.
     

  • 1.5, Аноним (-), 14:36, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Да это просто жесть! Как-так! это все школьники организовали и забыли про бекапы?
     
     
  • 2.13, . (?), 15:03, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +16 +/
    они не забыли:
    So in other words, out of 5 backup/replication techniques deployed none are working reliably or set up in the first place. => we're now restoring a backup from 6 hours ago that worked

    как обычно - если денег никому не платить, инфраструктуру держать на последнем издыхании, времени разбираться в том что до тебя кто-то настраивал ни у кого не остается, все заняты срочным возведением новых подпорочек и костыликов (отсюда и пять кривых бэкапов вместо одного работающего), то в 23:00 затраханный в рот и в зад админ ошибается окошком.

    Кстати, кто виноват, совершенно точно известно, его и уволить.

     
     
  • 3.17, . (?), 15:14, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +9 +/
    > костыликов (отсюда и пять кривых бэкапов вместо одного работающего), то в
    > 23:00 затраханный в рот и в зад админ ошибается окошком.

    кстати, это был хороший админ, поскольку догадался сделать _нештатный_ бэкап до начала работы, не надеясь на автоматику (или хорошо зная, что она нерабочая).
    > Кстати, кто виноват, совершенно точно известно, его и уволить.

    вот его и уволят, будьте уверены.


     
     
  • 4.34, поледанныхотсутств (?), 16:26, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    кого уволить? кто нанял недостаточно админов?
     
     
  • 5.95, . (?), 18:17, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > кого уволить? кто нанял недостаточно админов?

    как это его уволить? Это ж человек, тяжким трудом сэкономивший фирме N*(admin_salary) денег! А вот тот, который окошком ошибся - нанес ущерба на 10*N (плюс 1000*N упущенная прибыль)!

    Не, ну может, конечно, на первый раз пожурят и заставят отрабатывать два дежурства за раз - он вон уже написал как он героично принимает меры для исключения повторения проблемы в будущем (не работать после 18 и спать вовремя в списке, заметим, отсутствуют).

     
  • 3.22, IB (?), 15:20, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > они не забыли:

    Да де-лы не знающие, что "бэкапы которые успешно не развернули хоть раз - не бэкапы" должны страдать!

     
     
  • 4.26, Pavel (??), 15:36, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Все очень сильно зависит от размера этого самого бекапа. Знаю одну контору у которой дамп БД делается в течении ~30 часов и следом начинается следующий дамп. Хочеш предложить им вариант как проверять эти бекапы методом "развернуть хотя бы раз"? Естественно никто даже не пробовал их разворачивать ибо это бессмысленно, и они нужны только на совсем крайний случай когда умерли все реплики и реплики отстающие на 6, 12 и 24 часа от мастера. И да, вариант что из дампа ничего не развернётся совершенно не нулевой.
     
     
  • 5.33, Аноним (-), 16:23, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +7 +/
    А развернуть тестовую базу раз в полгода никому в голову не приходило?
     
     
  • 6.36, Andrey Mitrofanov (?), 16:30, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > А развернуть тестовую базу раз в полгода никому в голову не приходило?

    Уверенность в одном из 146 (*) бэкапов это Важно.

    (*)Никакой связи с Чуровым, совпадение: 365.24/2*24/30 = 146.096.

     
     
  • 7.39, Аноним (-), 16:40, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Хочеш предложить им вариант как проверять эти бекапы методом "развернуть хотя бы раз"? Естественно никто даже не пробовал их разворачивать

    Предлагаю вариант: развернуть хотя бы раз.

     
     
  • 8.82, anonymous (??), 13:23, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    бывает, что не на чем например кластер из 11 хостов c vmware 60VM , тома на ... текст свёрнут, показать
     
     
  • 9.92, tacitusdef (??), 18:06, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    в dev null ... текст свёрнут, показать
     
  • 9.94, . (?), 18:12, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    а потом ORA 0600 или как там правильно, давно не видал и мы идем искать новую... текст свёрнут, показать
     
  • 7.81, vitalif (ok), 12:09, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Ну лучше чем в 0.
     
  • 5.60, Аноним (-), 20:00, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Что за детский сад? Отдельный сервер, которые стягивает свежайший бэкап, разворачивает его, делает вариант для разработчиков (обрезаный, опционально). Какая разница сколько это занимает, хоть неделю. Главное автоматически.
     
     
  • 6.68, Led (ok), 00:09, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Отдельный сервер, которые стягивает свежайший бэкап, разворачивает его, делает вариант для разработчиков

    Все "отдельные сервера" заняли вэб-макаки под свои "докеры с нодами".

     
  • 6.87, Аноним (-), 17:05, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    разница существенная - во втором случае, ты заметишь проблему только через недел... большой текст свёрнут, показать
     
     
  • 7.99, Andrey Mitrofanov (?), 19:03, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >>Какая разница сколько это занимает, хоть неделю.
    >тухлости. Или двухнедельной. Или вообще никакого.
    > очень немаленькая. А инвестор жадный.
    >восстанавливать неделю - то ты потеряешь половину пользователей.
    >> Главное автоматически.
    >гуглобайты данных качаются туда-сюда совершенно впустую, в них мусор.

    "Нет пути."ТМ

    > А для этого опять же надо чтобы у админов на это было
    > время и вдохновение. А не 23:00, а таск все еще не
    > закрыт.

    "Усё пропалоушеф."Ц

    +++Люто плюсую, пиши ещё - завтра пятница.

     
  • 5.66, XoRe (ok), 23:33, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Естественно никто даже не пробовал их разворачивать ибо это бессмысленно

    Нужно хотя бы раз развернуть бекап, чтобы проверить, что там есть все, что нужно.
    Для примера - у mysql есть хранимые процедуры и функции (stored routines (procedures and functions)). Утилита mysqldump их сохраняет, если указать -R. А если не указать, не сохраняет. Если они активно использовались, но дамп делался без них...
    Есть шанс узнать что-то новое для себя в самый неподходящий для этого момент.
    Дело в том, что если про эту опцию не знать, можно потратить много времени на поиск причины. С виду то как - дамп вернули, а ошибки сыпятся. А потом ещё придется потратить некоторое время на вытаскивание этих хранимок из кода или девелоперской среды.

     
     
  • 6.93, . (?), 18:08, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ух ты, давно я не брал в руки шашек В смысле, что они, оказывается, для этого к... большой текст свёрнут, показать
     
  • 5.80, ivn86 (ok), 11:30, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Естественно никто даже не пробовал их разворачивать

    Попадался мне на LORе один чел, который запаковал каталог gzip'ом без tar'а. Утилита отработала прогнозируемое время, на выходе получился прогнозируемого объёма файл. Т.е. с виду всё хорошо. И только когда возникла необходимость его распаковать чел понял, что исходный каталог он уже не получит.

     
     
  • 6.104, freehck (ok), 03:04, 03/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Попадался мне на LORе один чел, который запаковал каталог gzip'ом без tar'а. Утилита отработала прогнозируемое время, на выходе получился прогнозируемого объёма файл

    Хм. Что-то тут не так в этом комментарии.

    gzip на каталог, если с флагом -r, даст вам на выходе каталог с .gz-шниками. А без флага -r вообще откажется работать.

    Какой же там файл получился на выходе? К тому же через прогнозируемое время. И в довесок прогнозируемого объёма.

     
     
  • 7.105, ivn86 (ok), 07:35, 03/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    С ключом -cr гзип рекурсивно всё сжал и вывалил в stdout Но челу нужен был файл... большой текст свёрнут, показать
     
     
  • 8.107, freehck (ok), 09:52, 03/02/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Понял Весьма удивлён изобретательности человека Так отстрелить себе ногу -- эт... текст свёрнут, показать
     
  • 3.56, Аноним (56), 19:17, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Чувак на самом деле не сильно виноват, а виноват тот кто не настроил процесс тестирования бекапов.
     
     
  • 4.91, . (?), 18:01, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Чувак на самом деле не сильно виноват, а виноват тот кто не
    > настроил процесс тестирования бекапов.

    а это тот чувак и был (в числе прочих). Но никакого дополнительного времени на это у него никогда не было, а ddos - вот он, уже пришел, и кластер (который в штатном режиме сам себе бэкап) развалился. Подождите с вашим ддосом недельку, я тут хоть бэкапы настрою и протестирую, можно?

    ребята, вы явно не работали никогда в подобных конторах. У вас очень спокойная жизнь.

     
  • 2.44, Аноним (-), 17:02, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это уже было несколько лет назад с каким-то крупным проектом, сценарий 1в1.
    p.s. Открыты 2 консоли локальная и удалённая, и тут жмах и не в той команду вводим :)
     
     
  • 3.64, Michael Shigorin (ok), 22:59, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Это уже было несколько лет назад с каким-то крупным проектом, сценарий 1в1.
    > p.s. Открыты 2 консоли локальная и удалённая, и тут жмах и не
    > в той команду вводим :)

    Раскраска подсказок, пауза перед нажатием энтера (вплоть до посидеть на руках, подумать) -- ну и не работать в уставшем виде... нажито непосильным трудом по разгребанию последствий такого в своих собственных масштабах.

     
     
  • 4.71, KonstantinB (ok), 02:48, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Раскраска подсказок

    Давно засунул себе в bashrc автораскраску PS1 в зависимости от md5sum от hostname/username. (Только никто не спрашивайте как, этот костыль из cut/od/sed/expr показывать стыдно, наверняка можно сделать лучше и проще).
    Ручками задавать цвета лениво и на это бы быстро забил, а так оно шамо.

     
     
  • 5.74, Аноним (-), 05:37, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Да ладно, покажи, чоуж.
     
  • 5.86, Michael Shigorin (ok), 15:40, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Давно засунул себе в bashrc автораскраску PS1 в зависимости от md5sum от
    > hostname/username. (Только никто не спрашивайте как, этот костыль из cut/od/sed/expr
    > показывать стыдно, наверняка можно сделать лучше и проще).

    А покажите, действительно.

     
  • 4.77, Аноним (-), 10:14, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Не работать уставшим, посидеть подумать, угу. Особенно когда стоят над душой и нудят:

    - Вот вы здесь сидите, а там все стоит.
    - Что стоит ?
    - Все стоит

     
     
  • 5.85, Michael Shigorin (ok), 15:38, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Не работать уставшим, посидеть подумать, угу.
    > Особенно когда стоят над душой и нудят:
    > - Вот вы здесь сидите, а там все стоит.
    > - Что стоит ?
    > - Все стоит

    "если я нечаянно доломаю -- ты правда починишь?  нет?  тогда не мешай делать, что ещё могу"

    Особо упорным можно напомнить, что ясновельможный пан Качиньский с первого раза (когда КВС его не послушал и сделал как надо над Грузией) не допёр, в итоге ладно бы сам угробился под Смоленском, так ещё других угробил и дров наломал.  И спросить, сядут ли за руль автобуса, засыпая.

    Можно ещё предложить поумножать или хотя бы поскладывать многозначные числа в уме, при этом подёргивая другими вопросами -- чтоб хоть немножко дошло, почём прерывания.

     
  • 5.102, . (?), 00:14, 03/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    я тебе страшный девопский тайна открою ее даже Шигорин не знает, потому что аль... большой текст свёрнут, показать
     
     
  • 6.103, Michael Shigorin (ok), 00:19, 03/02/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > я тебе страшный девопский тайна открою (ее даже Шигорин не знает,
    > потому что альтовские сервера нафиг никому не уперлись)

    ...то-то у нас zabbix допиливали ;-)

    https://support.zabbix.com/browse/ZBXNEXT-2253

     
  • 3.79, SysA (?), 11:07, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Это уже было несколько лет назад с каким-то крупным проектом, сценарий 1в1.
    > p.s. Открыты 2 консоли локальная и удалённая, и тут жмах и не
    > в той команду вводим :)

    Это еще хорошо, если только 2!.. :)

    А если их 42 на 3-х мониторах и там еще закладок немеряно?!.. а среди них куча screen'ов и кластерных терминальных сессий (1-to-many).

    И если к тому же миграция ночью после многих часов работы, то можно запросто ошибиться. И хорошо, что все же был нормальный архив... а админам сочувствую и понимаю...

     
  • 2.67, Led (ok), 00:07, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > забыли про бекапы?

    Когда в голове дэдлайны, а над головой ПиЭмы, про бэкапы не думают.

     

  • 1.6, Аноним (-), 14:40, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Не было, и вот опять.
     
  • 1.8, Аноним (-), 14:45, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Надежность выбора технологий уровня GitLab,

    GiHub профинансировал ZFS OnLinux и использует его на Bare Metal серверах в это  время под git-хранилища.

     
     
  • 2.12, Аноним (-), 15:01, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ZFS головного мозга дeтектед.
     
  • 2.15, . (?), 15:10, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • –8 +/
    уровня линyпс тут и постгрез, с его невменяемой неработающей без ручного пинан... большой текст свёрнут, показать
     
     
  • 3.24, KonstantinB (ok), 15:30, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > постгрез, с его невменяемой неработающей без ручного пинания репликацией

    Поднял один раз, ни разу не пинал, все работает. ЧЯДНТ?

     
     
  • 4.38, Аноним (-), 16:39, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    один раз

    Даже фраза есть такая: "один раз не ***".

     
     
  • 5.45, эцсамое (ok), 17:07, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    да я и много раз поднимал, всё чудесно работает.

    для тех кто руками не умеет даже pgbarman придумали

     
  • 3.65, Аноним (-), 23:18, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Ну да, был бы оракл, или mssql, то этого бы никогда не случилось Гарантирую Бе... большой текст свёрнут, показать
     
     
  • 4.88, Аноним (-), 17:27, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    _этого_ - ручного стирания каталогов под репликацию - да, никогда не случилось б... большой текст свёрнут, показать
     

  • 1.14, Аноним (-), 15:06, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > Реагируя на обрушившуюся на проект DoS-атаку администраторы попытались разнести нагрузку на СУБД PostgreSQL на два сервера, организовав репликацию данных

    То есть, раньше реплики БД у них не было. Хипстота...

     
     
  • 2.55, Аноним (-), 19:08, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Была, но из-за атаки вторая БД начала лагать и репликация отвалилась.

    В попытке поднятия репликации на второй БД было решено очистить каталог постгреса, но случайно промахнулись окном.

    https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVi

     
     
  • 3.57, Аноним (56), 19:21, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Это выглядит как желание прибить муху которая сидит на кнопке запуска ядерных ракет.
     
     
  • 4.75, Аноним (-), 08:59, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Это выглядит как желание прибить муху которая сидит на кнопке запуска ядерных
    > ракет.

    Удаление содержимого директории data на сервере куда будет производиться репликация - необходимый шаг.

    Алгоритм настройки репликации примерно такой: удаляем data на slave, ставим checkpoint на master, переносим целеком содержимое директории data с master на slave, запускаем slave, убираем checkpoint.


    PS. Много раз случалось не в той консоли что-то запускать.

     
     
  • 5.106, qqq (??), 08:53, 03/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Удаление содержимого директории data на сервере куда будет производиться репликация - необходимый шаг.

    mv data old-data
    mkdir data

     
     
  • 6.108, пох (?), 17:19, 03/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > mv data old-data
    > mkdir data

    надо б на досуге посмотреть результат этого действа на живом постгрезе - полагаю, будет весьма феерично, хотя до бэкапа может дело и не дойдет.

    Ну и если поторопиться сделать после этого rm -r old-data - можно остаться ровно у того же разбитого корыта (а если не поторопиться - места на две копии не хватит, скорее всего)

     

  • 1.16, burik666 (ok), 15:14, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    https://www.youtube.com/watch?v=nc0hPGerSd4 Live Stream восстановления.
     
     
  • 2.31, Аноним (-), 16:06, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    а может ради этого всё и задумывалось?
     
     
  • 3.40, Аноним (-), 16:41, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Куда донаты кидать?
     
  • 2.46, Аноним (-), 17:42, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Прикольно. Одного из них Ёрик зовут)) "Бедный Ёрик"(С)
     
     
  • 3.47, Аноним (-), 17:51, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Еще и спец по СУБД. Точно бедный.))
     

  • 1.20, aNoN (?), 15:17, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +12 +/
    Нормальное дело.

    Можно подумать, никто из вас "reboot" не в том окошке мультиплексора терминалов не запускал...

     
     
  • 2.21, Аноним (-), 15:20, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Набрать ребут не в том окне - нормально. Не нормально иметь единственный сервер, ребут или полный выход которого из строя (в данном случае путем удаления файлов БД) приведет к отказу в обслуживании.
     
     
  • 3.35, Аноним (-), 16:29, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Первый раз - невнимательность Регулярно - СДВ СДВГ Лечится Симптомы СДВ 1 ... большой текст свёрнут, показать
     
     
  • 4.41, Andrey Mitrofanov (?), 16:45, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > Знакомо?
    > В России СДВ не считается заболеванием и больные им д---илы продолжают портить
    > другим людям жизнь.

    Зато в мериканнии детишек с этим "заболеванием" лечат [медицинским] кокаином. Человецищи! >/<

     
  • 4.48, Аноним (-), 17:52, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Признавайся, где ты спер мою биографию?
     
     
  • 5.96, Аноним (-), 18:23, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Признавайся, где ты спер мою биографию?

    тыщи вас!

     
  • 2.90, Аноним (-), 17:51, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Можно подумать, никто из вас "reboot" не в том окошке мультиплексора терминалов
    > не запускал...

    clear config гораздо интереснее. И бесплатного резерва в 50% мощности обычно нет ;-)


     

  • 1.23, Аноним (-), 15:20, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А-ха-ха ... до боли знакомая ситуация. Сам так делал не раз.
     
  • 1.25, Shamil (?), 15:31, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    http://checkyourbackups.work/
     
     
  • 2.29, user (??), 15:55, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    http://www.worldbackupday.com/ru/
     

  • 1.27, Аноним (-), 15:40, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Только зануды делают резервные копии: настоящие мужчины просто закачивают все важное на ftp, позволяя остальным отзеркалировать это.

    Линус Торвальдс

     
     
  • 2.28, Neptus (?), 15:47, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +5 +/
    http://russianfedora.pro/posts/kernelorg-otkazyvaetsia-ot-ftp-serverov/
     
     
  • 3.97, Michael Shigorin (ok), 18:40, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > http://russianfedora.pro/posts/kernelorg-otkazyvaetsia-ot-ftp-serverov/
    >> на ftp

    на != по ;-)

     
  • 2.37, Andrey Mitrofanov (?), 16:33, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >просто закачивают все важное на
    > ftp,

    Просто. На. В. Git. Же.

    > Линус Торвальдс

     

  • 1.30, Аноним (-), 15:55, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +7 +/
    #гитлабживи
     
  • 1.32, omnomnin (?), 16:06, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    у них все на Azure

    nuff said

     
  • 1.42, Аноним (-), 16:49, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Вот, что бывает с ручным devops. NixOS - наше всё!
     
     
  • 2.49, www2 (ok), 18:40, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    И что, там возможно настроить репликацию в PostgreSQL одной опцией? А если в этих ваших nix-файлах писатель ошибку допустил? Автоматика, товарищ, не отменяет головы. Автоматика даже гораздо опаснее рук, потому что с автоматикой можно сделать больше и быстрее. Читай - наломать дров больше и быстрее. Руками ты один сервер уронишь, а автоматикой - целый кластер.
     
     
  • 3.51, Аноним (-), 18:50, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Можно. Фишка с Nixos в воспроизводимости: проверил в vbox, задеплоил.

    https://github.com/zalora/nixsap/blob/092d712689eec989003ec23f5ac19da9134acea4

     
     
  • 4.70, й (?), 00:44, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    в любой системе управления конфигурациями так можно. да даже и с шелл-скриптами. man vagrant
     
  • 3.53, Аноним (-), 18:54, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > И что, там возможно настроить репликацию в PostgreSQL одной опцией? А если
    > в этих ваших nix-файлах писатель ошибку допустил? Автоматика, товарищ, не отменяет
    > головы. Автоматика даже гораздо опаснее рук, потому что с автоматикой можно
    > сделать больше и быстрее. Читай - наломать дров больше и быстрее.
    > Руками ты один сервер уронишь, а автоматикой - целый кластер.

    Все можно сделать "одной опцией", даже с puppet или скриптом bash. Только nix/nixos позволяют это делать безболезненно и естественно.

     
  • 3.54, Аноним (-), 19:02, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    И безотносительно nixos, надо правильно мыслить. Не репликацию постгрес, а сервер с репликой. Даже с Puppet должен быть соответствующий шаблон. Нужна ещё одна реплика? Ок, вот новая нода класса postgres-repl. А не как эти Африки.
     
     
  • 4.109, пох (?), 17:28, 03/02/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > И безотносительно nixos, надо правильно мыслить. Не репликацию постгрес, а сервер с
    > репликой. Даже с Puppet должен быть соответствующий шаблон. Нужна ещё одна
    > реплика? Ок, вот новая нода класса postgres-repl.

    и в датацентре сами собой воздвигаются новые стойки, из воздуха в них запрыгивают полки с дисками и головы с lvm'ами... эх, программисты... когда ж до вас дойдет, что у девопсов немного другой мир, совсем не такой как в вашей тестовой виртуалочке?

    Ну и вот образовался у тебя "cервер с репликой", а реплики-то в нем и нет. Данные еще перелить надо, не перегрузив сеть, дисковый io уцелевшей полки и постгрезовую голову. А нагрузка растет, а часики тикают... А ты такой - "опа, заметил что надо руками стирать data, у самого постгреза что-то медленно получается - не, никаких консолей, быстренько создаем новый шаблон, быстренько тестим его на виртуалочке, и быстренько деплоим". Как раз к этому времени либо и так все устаканится, либо, что вероятнее, гораздо раньше все ляжет.


     

  • 1.50, www2 (ok), 18:47, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +7 +/
    Все злорадные такие. То ли себя безгрешными считают, то ли GitLab не любят. Я, в общем-то, тоже не люблю - такое тяжёлое для установки приложение, которое написано на Ruby, но почему-то тянет с собой Python, ещё поискать нужно. Но людям сочувствую. В жизни ситуации разные бывают - может быть у админа родственник болеет, вот он просидел всю ночь у кровати больного и приехал на работу не выспавшимся, например. Может быть шеф зудел - давай сделаем, быстрей придумай что-нибудь ("ты же админ") чтобы под DoS'ом жилось не так тяжко.

     
     
  • 2.58, Аноним (56), 19:27, 01/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да ерунда же, просто ребята настолько легкомысленные, что 5 вариантов бекапа сделали и не протестировали. Главный по инфраструктуре не ввел в практику тестирование бекапов, но да, и мы все не без греха.
     

  • 1.59, Гентушник (ok), 19:30, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    Я так понимаю DoS-атака в итоге оказалась успешной?
     
     
  • 2.98, Michael Shigorin (ok), 18:42, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Я так понимаю DoS-атака в итоге оказалась успешной?

    Да, в некотором смысле это новый(?) класс -- можно назвать SDoS, self denial of service... если бы был множественный -- тогда MSDoS, видимо.

     
  • 2.100, Andrey Mitrofanov (?), 19:09, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Я так понимаю DoS-атака в итоге оказалась успешной?

    Атака второго порядка: целью и жертвой оказался тот, кто чинил тот первый "просто" DoS.

     

  • 1.62, Аноним (-), 22:14, 01/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    мда, такие вот нынче специалисты
     
     
  • 2.76, Andrey Mitrofanov (?), 09:35, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > мда, такие вот нынче специалисты

    Люди такие всегда.

     
  • 2.112, Junker (?), 01:47, 05/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    минусуют видимо те, кто тоже на работе так лажает.
     

  • 1.69, Михрютка (ok), 00:12, 02/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    а што все возбудились-то так, как будто на деньги кто-то попал?

    хипсторская контора предоставляет хипсторский сервис хипсторам. она вообще может раз в две недели все пользовательские данные обнулять - хипсторы сами обратно приползут и нагрузят еще, и спасибо скажут.

    а как жэ иначэ, это жэ вэбдваноль, и инфраструктура как сэрвис. вы только не обращайте внимания на цифру 6 мегабайт в секунду на восстановлении, мы стараемся как можем, на сорок с лишним инвесторских лямов быстрее не получается. непрерывность бизноса? какого бизноса?

     
     
  • 2.72, Аноним (-), 03:08, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    У гитлаба бизнес - в продаже gitlab ee, а gitlab.com - это так... демостенд, там и платных-то функций нет.
     
     
  • 3.110, пох (?), 17:30, 03/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > У гитлаба бизнес - в продаже gitlab ee, а gitlab.com - это
    > так... демостенд, там и платных-то функций нет.

    ну так вот инвестор на деньги и попал - он не с платных функций живет, а с цены акций, а они от таких подарков, собаки, падают.

     

  • 1.78, QuAzI (ok), 10:26, 02/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    На волне хайпа с гитлабом хотелось бы узнать, а чем и как в вашей организации организуются бекапы? А то что-то всё плохо с хорошим инструментом для бекапов, куда ни глянь - разваливающиеся на бегу костыльные велосипеды
     
     
  • 2.83, Андрейка (ok), 13:53, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Бесплатных не бывает. Есть платный (относительно дешевый) enterprise, которым пользуемся
    Гарантия восстановления данных - 100% (да-да, это бывает), скорость восстановления == скорость записи на диск по сети, т.е. зависит от железки куда рестор делаешь

    Если по сути - бэкапим диск на блочном уровне (для того же postgresql этого достаточно), для всяких mysql/mssql есть плагины (работает как mysqlproxy, отслеживая изменение состояния снапшота во время бэкапа)

    Ну и главное не чем бэкапить, а какая policy. Если policy правильная, то все будет хорошо
    У нас полиси такая:
    - Бэкап на отдельный сервер, инкрементально, поблочно каждую ФС. Для критичных данных типа СУБД - раз в час
    - Успешный бэкап сжимается и реплицируется на другой континент раз в 4 часа
    - Реплика бэкапа раз в сутки сливается в облако S3, а оттуда в долговременное хранилище

    - Раз в сутки бэкап разворачивается на stage-сервер и по нему гоняются автоматические тесты, которые в том числе позволяют установить точность восстановления на 95%
    - DWH собирает для основной базы KPI отчеты и stage-сервер сравнивает развернутый бэкап создавая аналогичные отчеты час-в-час, кроме последнего (текущего) часа - его еще нет в бэкапе

    Все делается автоматически, на CICD сервере
    При миграции данных (программисты выпускают новую версию), перед деплоем делается обязательный бэкап

    НИКТО - это важно, даже СамыйГлавныйАдмин не имеет ручного доступа к данным. Т.е. rm -rf /var/lib/postgresql просто не выполнится в консоли. Такого рода команды работают только через коммит CICD джобы и аппрув 2+ тиммейтами (code/change review)

    Ну и помимо всякого - все действия логируются, по каждому инциденту заводится тикет в джире и не закрывается, пока root cause не будет устранена, покрыта тестами и мониторингом и автоматизирована

    В общем - главное архитектура :-)

     
     
  • 3.89, Аноним (-), 17:44, 02/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    вы заблуждаетесь в смысле - надежных платных тоже не бывает не бывает Бывает... большой текст свёрнут, показать
     
     
  • 4.113, Андрейка (ok), 14:35, 06/02/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Вы из какого-то 20 века что ли Гарантия восстановления данных заключается не в ... большой текст свёрнут, показать
     
     
  • 5.114, QuAzI (ok), 00:28, 07/02/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Гонору у вас конечно много, с этим не поспоришь, но ~где пруфы~ дайте ссылку что почитать конкретнее же?
     
  • 3.115, Аноним (-), 10:40, 13/02/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Андрейка, а иметь всю эту архитектуру, полиси, и т.д
    действительно дешевле чем раз в 6 лет потерять последние 6 часов данных
    и сутки простоя?

    Или у вас это не считали?

     

  • 1.111, ALex_hha (ok), 19:29, 04/02/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Давно засунул себе в bashrc автораскраску PS1 в зависимости от md5sum от hostname/username.

    и как это помогает, когда у вас 50+ серверов?

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру