The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Организация Wikimedia опубликовала файлы конфигурации серверов Wikipedia

21.09.2011 14:16

Фонд Wikimedia, курирующий работу свободной энциклопедии Wikipedia, открыл доступ к Git-репозиторию в котором представлены файлы конфигурации всех компонентов, используемых в инфраструктуре проекта. Кроме отдельных файлов конфигурации, в репозитории можно найти компоненты, шаблоны и метаданные для организации централизованного управления конфигурацией серверов с использованием инструментария Puppet.

Открытие файлов конфигурации представляет не только практический интерес, связанный с возможностью использования готовых примеров, но и даёт возможность непосредственно принять участие любому желающему в оптимизации серверной инфраструктуры Wikimedia. Например, скоро станет возможным предложить администраторам Wikipedia патч с улучшением тех или иных настроек, которые будут приняты, и после рецензирования и апробирования в специальном тестовом окружении, применены на практике.

Открытие файлов конфигурации является первым этапом развития новой инициативы - Wikimedia Test/Dev Labs, в рамках которой планируется обеспечить возможность привлечения сторонних энтузиастов к поддержанию функционирования Wikipedia и других сайтов фонда Wikimedia. Более того, планируется подготовить и открыть все средства, которые могли бы позволить любому желающему создать у себя клон кластера Wikimedia. Конечная идея проекта - сделать возможность внесения изменений в серверную архитектуру проекта не намного сложнее правки статьи в Wikipedia.

Кроме того, опубликованные файлы конфигурации дают возможность более плотно познакомиться с архитектурой серверной части Wikipedia:

  • Для обеспечения работы web-серверов используются Nginx и Apache.
  • На почтовом сервере задействованы Exim, Dovecot, Mailman и SpamAssassin;
  • Для мониторинга используются Ganglia и Nagios;
  • Для кэширование используются memcached, Varnish и Squid;
  • Для рецензирования кода движка Wikipedia используется Gerrit, а для обработки сообщений об ошибках RT;
  • Для обеспечения работы версии Wikipedia для мобильных устройств задействован passenger-enterprise-server, написанный на языке Ruby;
  • Данные хранятся в СУБД MySQL;
  • DNS-сервер работает под управлением PowerDNS;
  • Для резервного копирования используются rsync и Amanda;
  • На серверах используется Ubuntu Server и система инициализации upstart;
  • Судя по файлам конфигурации, в Wikimedia проводятся эксперименты с использованием облачной платформы OpenStack;
  • Интересно, что среди опубликованных файлов также можно встретить директорию с SSL-сертификатами.


  1. Главная ссылка к новости (http://blog.wikimedia.org/2011...)
  2. OpenNews: Wikimedia переводит 400 серверов на Ubuntu Linux Server
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/31814-linux
Ключевые слова: linux, ubuntu, wikipedia, server
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (55) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, c0rax (ok), 15:30, 21/09/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >На серверах используется Ubuntu Server

    Интересно, чем другиче дистрибутивы им не угодили? Тот же Debian например..

     
     
  • 2.2, Аноним (-), 15:34, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Интересно, чем другиче дистрибутивы им не угодили? Тот же Debian например..

    http://www.opennet.dev/opennews/art.shtml?num=18350

     
  • 2.5, Аноним (-), 15:56, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Количеством. При таком выборе фазы луны и жребий являются определяющим фактором при выборе.
     
  • 2.9, Аноним (-), 16:13, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >>На серверах используется Ubuntu Server
    > Интересно, чем другиче дистрибутивы им не угодили? Тот же Debian например..

    В плане управления серверная убунта - как дебиан один фиг. Ну и софт посвежее несколько и релизы попредсказуемее чем у дебианщиков. А то пока дождешься релиза дебиана - задолбаться можно ждать.

     
     
  • 3.17, Аноним (-), 16:41, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > В плане управления серверная убунта - как дебиан один фиг. Ну и
    > софт посвежее несколько и релизы попредсказуемее чем у дебианщиков. А то
    > пока дождешься релиза дебиана - задолбаться можно ждать.

    Как ни печально, но чем стабильнее сроки релиза, тем больше страдает качество. Дебианщики выпускают релиз, только пофиксив все критические ошибки. А убунта выходит независимо от их наличия и количества (вспомним хотя бы зависание при переключении раскладки в одном из недавних релизов - очень показательный пример).

     
     
  • 4.29, Аноним (-), 20:06, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это в основном касается десктопной убунты с ее экспериментами в UI На серверных... большой текст свёрнут, показать
     
     
  • 5.38, Аноним (-), 23:32, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Это в основном касается десктопной убунты с ее экспериментами в UI. На
    > серверных системах под раздачи как-то не попадалось.

    А мне попадалось, и не раз. Такие вещи, как udev, initramfs-tools, libvirt-bin и прочая, между серверной и десктопной версией не отличаются. А качество у них на поверку оказалось весьма десктопным.

    > При условии что они их нашли :)

    Лучше искать и не найти, чем не искать вовсе. Имхо, конечно.

    > Мне переключение раскладки на серверах вообще никуда не впилось, честно говоря.

    Это был просто пример отношения к пользователям. От названия изошки оно не зависит.

     
     
  • 6.39, XoRe (ok), 01:08, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >> Это в основном касается десктопной убунты с ее экспериментами в UI. На
    >> серверных системах под раздачи как-то не попадалось.
    > А мне попадалось, и не раз. Такие вещи, как udev, initramfs-tools, libvirt-bin
    > и прочая, между серверной и десктопной версией не отличаются. А качество
    > у них на поверку оказалось весьма десктопным.

    Вы же, конечно, говорите про LTS?)

     
     
  • 7.42, Аноним (-), 02:08, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Вы же, конечно, говорите про LTS?)

    Не помню уже. А что, LTS релизы выпускаются не по графику, а только после исправления критических ошибок, как дебиан?

     
     
  • 8.60, XoRe (ok), 02:09, 24/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    По графику 10 04 вышел дистриб 2-3 месяца подождать и юзать ... текст свёрнут, показать
     
  • 3.21, AcDc (?), 17:11, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Толку что Мозилла начала версии штамповать, лучше стало? Навряд ли... То же и Ubunta
     
  • 3.27, EuPhobos (ok), 19:04, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > А то пока дождешься релиза дебиана - задолбаться можно ждать.

    Сижу дома на ветке Testing дебиана wheezy/sid и ничё.. Правда без ДЕ опять же.. но зато стабильно всё, играю в игры, смотрю фильмы, синтизирую музыку..
    А на работе, что бы не возиться слишком долго, собрал рабочий стол на базовой основе убунты, что бы сразу всё ..и быстро.. ..и к работе приступить после apt-get install-ов..
    ..
    ..хмм-м-м, хотя не вижу особой разницы между бунтой и дебианом, если собирать их без ДЕ..

     
     
  • 4.30, Аноним (-), 20:40, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А qgis у вас оттуда нормально инсталлируется Ну и славненько, правда не совсем... большой текст свёрнут, показать
     
  • 2.14, 1 (??), 16:39, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • –2 +/
    а чем убунта не угодила?
     
     
  • 3.18, Аноним (-), 16:42, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > а чем убунта не угодила?

    Сформулируем вопрос иначе: чем не угодил Arch Linux?

     
     
  • 4.34, Аноним (-), 20:58, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Сформулируем вопрос иначе: чем не угодил Arch Linux?

    "Патамучта гладиолус". Роллинг-лелизная система на сервере - удел тех кто любит срать кирпичами по ночам, разгребая внезапные внеплановые глюки после обновления.

     
     
  • 5.37, Аноним (-), 23:26, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >удел тех кто любит срать кирпичами по ночам, разгребая внезапные внеплановые глюки после обновления.

    В убунте все то же самое, только это называется не "rolling release", а "поддержка LTS-ветки".

     
  • 2.28, Аноним (-), 19:15, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >Интересно, чем другиче дистрибутивы им не угодили? Тот же Debian например..

    Им пиар не очень-то и нужен. Поэтому они не стали платить за такую громкую рекламную акцию.

     
     
  • 3.32, Аноним (-), 20:55, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Им пиар не очень-то и нужен. Поэтому они не стали платить за
    > такую громкую рекламную акцию.

    А где можно денег получить за использование убунты? А то у меня убунта есть, хочу денег за рекламную акцию :))).

     
     
  • 4.35, umbr (ok), 21:25, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Сначала сделайте рекламную акцию, условия простые: утром акция – вечером деньги ;)
     
  • 4.40, XoRe (ok), 01:23, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А где можно денег получить за использование убунты? А то у меня
    > убунта есть, хочу денег за рекламную акцию :))).

    Идешь на работу админом убунты.
    И получаешь деньги за использование убунты)

     
  • 4.46, Аноним (-), 11:39, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Им Шаттлворт подарил серверы на условиях того, что у них будет убунта.
     
     
  • 5.47, Аноним (-), 13:31, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Им Шаттлворт подарил серверы на условиях того, что у них будет убунта.

    Ничем не подтвержденная ложь. Canonical не дарил никаких серверов, просто Ubuntu Server единственный бесплатно доступный серверный Linux с качественной поддержкой и наличием LTS.
    Мы например перевели около сотни своих серверов на Ubuntu Server с Debian  по причине более длительного срока поддержки, в остальном LTS выпуски Ubuntu Server тот же самый Debian по сути.
    RHEL/openSUSE стоит больших денег.  CentOS/SL нет никаких гарантий, что проекты не развалятся завтра. Все, больше выбирать не из чего.

     
     
  • 6.48, Аноним (-), 13:47, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >с качественной поддержкой

    Ничем не подтвержденная ложь.

    >в остальном LTS выпуски Ubuntu Server тот же самый Debian по сути.

    Debian unstable, заметим.

    >openSUSE стоит больших денег

    Да, ваша осведомленность о дистрибутивах линукса просто поразительна.

    >SL нет никаких гарантий, что проекты не развалятся завтра.

    А вы знаете, кто делает SL? Подсказка: две конторы (это не считая папы-редхата), куда более авторитетные, чем какая-то там canonical.

     
     
  • 7.49, Аноним (-), 13:49, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >>с качественной поддержкой
    > Ничем не подтвержденная ложь.

    Начнем с того, что техническая поддержка клиентов (один из ключевых моментов для серверной системы) для ubuntu отнюдь не бесплатна.

     
  • 7.52, Аноним (-), 14:24, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Качественная поддержка дистрибутива выливается в своевременно выходящий обновлен... большой текст свёрнут, показать
     
  • 2.50, Аноним (-), 13:55, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >Интересно, чем другиче дистрибутивы им не угодили? Тот же Debian например..

    А вы на другие пункты взгляните. Сквид вместо джинкса, мускул вместо постгреса, убунту вместо сервера... все и так понятно.

     
     
  • 3.53, anonym (?), 19:06, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    хм... а разве nginx уже и кэшировать умеет?
     
     
  • 4.54, Аноним (-), 21:13, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > хм... а разве nginx уже и кэшировать умеет?

    С 2009 года умеет.

     

  • 1.7, Ващенаглухо (ok), 15:58, 21/09/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    странные они, редхад рассмотрели - дорого.
    А чего centos не подумали поставить?
    Вместо сателита воткнули бы Spacewalk
     
     
  • 2.8, Аноним (-), 16:02, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >странные они, редхад рассмотрели - дорого.

    Редхат им не доплачивал за использование своей продукции. Потому - дорого.

     
     
  • 3.10, Аноним (-), 16:20, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Редхат им не доплачивал за использование своей продукции. Потому - дорого.

    Редхат за свои услуги хочет столько что у википедиков пупок развяжется, они все это на донейтах содержат, если что.

     
     
  • 4.11, Аноним (-), 16:29, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    РедХат, видишь ли, не богадельня. Патчи к ведру Линукса в уплату нигде не принимают. Ни в магазине, ни в такси, ни в гостинице. Нигде.
     
     
  • 5.33, Аноним (-), 20:56, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > РедХат, видишь ли, не богадельня.

    Капитан, это опять вы?

     
  • 5.41, XoRe (ok), 01:24, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > РедХат, видишь ли, не богадельня. Патчи к ведру Линукса в уплату нигде
    > не принимают. Ни в магазине, ни в такси, ни в гостинице.
    > Нигде.

    Вот редхат и не поставили, потому что не богадельня.
    Ещё вопросы есть?)

     
     
  • 6.45, Аноним (-), 02:25, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Вот редхат и не поставили, потому что не богадельня.

    Замкнутый круг: все говорят "мы не богадельня" и отказываются платить. Разорвать его смогла лишь компания Canonical, честно признавшая, что она таки богадельня.

     
     
  • 7.55, Аноним (-), 21:21, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Сомневаюсь, что Шаттлворт - синоним RMS. Боюсь, что 20 лямов на полет в космос он отнюдь не на паперти насобирал.
     
     
  • 8.57, XoRe (ok), 00:48, 23/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    В 1995 году Шаттлворт основал Thawte, которая специализировалась на цифровых сер... текст свёрнут, показать
     
  • 4.19, Аноним (-), 16:44, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Редхат за свои услуги хочет столько что у википедиков пупок развяжется, они
    > все это на донейтах содержат, если что.

    Начнем с того, что редхат не хочет платить википедии за предоставление ей своих услуг. Компренде?

     
     
  • 5.58, XoRe (ok), 00:55, 23/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >> Редхат за свои услуги хочет столько что у википедиков пупок развяжется, они
    >> все это на донейтах содержат, если что.
    > Начнем с того, что редхат не хочет платить википедии за предоставление ей
    > своих услуг. Компренде?

    Хотя на этом можно было бы неплохо попиариться и заработать, если знать как.
    А так что получается?

    Что стоит у википедии? - ubuntu.
    Что стоит у google? - ubuntu (переделанная).

     
  • 2.12, Аноним (-), 16:30, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > странные они, редхад рассмотрели - дорого.
    > А чего centos не подумали поставить?
    > Вместо сателита воткнули бы Spacewalk

    А почему не SUSE? Или, скажем, не БолгенОС? Чем они хуже?

     
     
  • 3.15, Аноним (-), 16:39, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >А почему не SUSE? Или, скажем, не БолгенОС? Чем они хуже?

    Они тоже не хотят доплачивать за использование своей продукции :(

     
     
  • 4.31, Аноним (-), 20:50, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Они тоже не хотят доплачивать за использование своей продукции :(

    А что, кто-то доплачивает? А то у меня есть серваки с убунтой. Где можно получить баблосы за ее использование? Я только за - меня она и так устроила, но если за это еще и платить готовы - я только за :)

     
     
  • 5.36, umbr (ok), 21:27, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    ответил выше: http://www.opennet.dev/openforum/vsluhforumID3/80429.html#35
     
  • 5.44, Аноним (-), 02:16, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > А что, кто-то доплачивает? А то у меня есть серваки с убунтой.
    > Где можно получить баблосы за ее использование? Я только за -
    > меня она и так устроила, но если за это еще и
    > платить готовы - я только за :)

    1. Если вы Джимбо Уэллс - свяжитесь с Марком Шаттлвортом и обсудите варианты.
    2. В противном случае - добейтесь успеха, как Джимбо, и перейдите к пункту 1.

     
  • 2.20, Anonim (??), 16:50, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это шутка такая?? Для CentOS фиксы и обновления безопасности по несколько месяцев отсутствуют. При всей не любви к Ubuntu - уж лучше пусть она.
     
  • 2.61, Егор (??), 14:49, 07/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    так речь то о тех-поддержке. Именно это и дорого. Они хотят коммерческую OS.

    будучи некоммерческой организацией, а так же свободной от рекламы, Wiki должна же куда то тратить полученные миллионы по грантам!...

     

  • 1.16, umbr (ok), 16:41, 21/09/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >среди опубликованных файлов также можно встретить директорию с SSL-сертификатами

    Как интересно...

     
     
  • 2.23, PavelR (ok), 17:36, 21/09/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/

    Приватных ключей в директории с SSL-сертификатами не обнаружено.. =)
     

  • 1.26, Lockal (??), 18:25, 21/09/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    В принципе они и до этого много лет публиковали все основные конфиги на http://noc.wikimedia.org/conf/
     
  • 1.51, Аноним (-), 13:57, 22/09/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    гыгы , вы бы еще винду предложили. зы поднять на винде такую архитектуру практически невозможно.
     
     
  • 2.56, Аноним (-), 21:22, 22/09/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > гыгы , вы бы еще винду предложили. зы поднять на винде такую
    > архитектуру практически невозможно.

    Давай поставим вопрос иначе. На другой платформе и архитектура будет другой. Поэтому я бы не горячился, заявляя "практически невозможно".

     
     
  • 3.62, Егор (??), 14:56, 07/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >> гыгы , вы бы еще винду предложили. зы поднять на винде такую
    >> архитектуру практически невозможно.
    > Давай поставим вопрос иначе. На другой платформе и архитектура будет другой. Поэтому
    > я бы не горячился, заявляя "практически невозможно".

    архитектуру можно сделать любую и от оси это не зависит. Везде есть сильные и слабые стороны, включая осьи. Весь вопрос в том - какую?
    Мега-даунлоад гиппертекста сделать не сложно. Однако все будет зависеть от пути, которым они будут осуществлять редактирование и модерацию. Вся сложность тут.

    Лично мне очень хочется поучаствовать в разработке этой архитектуры...

     

  • 1.59, Pilat (ok), 16:40, 23/09/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Интересно, чем другиче дистрибутивы им не угодили? Тот же Debian например..
    > Сформулируем вопрос иначе: чем не угодил Arch Linux?
    > А вы на другие пункты взгляните. Сквид вместо джинкса, мускул вместо постгреса,
    > убунту вместо сервера... все и так понятно.
    > А чего centos не подумали поставить?

    ... и так далее...

    Детский сад, вторая группа... Работает? Работает. Значит всё правильно сделали.

     
     
  • 2.63, Егор (??), 15:02, 07/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >> А чего centos не подумали поставить?
    > ... и так далее...
    > Детский сад, вторая группа... Работает? Работает. Значит всё правильно сделали.

    В проекте http://anobox.ru/ я тоже думал, что узкое место будет мускул/CPU.память.
    Оказалось совсем не так. Тестировали на 30000 одновременных smtp клиентов, и сколько могли выжать из гигабитного канала - клиентов вэб (количество не подсчитывалось, потому как работало в режиме флуда), а оно даже удивило! Сразу стало понятно, что с архитектурой тоже правильно все сделали. Видимо как и челы выше.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру