forum.opennet.ru - "HPC Village от Openwall: доступ к гибридной HPC-системе для ..." (8)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"HPC Village от Openwall: доступ к гибридной HPC-системе для ..."

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"HPC Village от Openwall: доступ к гибридной HPC-системе для ..."	+/–
Сообщение от opennews (ok) on 24-Окт-13, 09:24
Проект Openwall (http://www.openwall.com) решил нестандартным образом поддержать проводимую в Москве в начале ноября конференцию по информационной безопасности ZeroNights (http://2013.zeronights.ru), а также всех заинтересованных разработчиков Open Source проектов. Как для посетителей ZeroNights (независимо от их участия в Open Source), так и для Open Source разработчиков (независимо от их участия в ZeroNights) будет предоставляться (http://www.openwall.com/lists/announce/2013/10/23/1) удаленный доступ к HPC Village (http://openwall.info/wiki/HPC/Village), гетерогенной (гибридной) системе высокопроизводительных вычислений с серверными многоядерными процессорами (CPU) и вычислительными модулями различных типов - Intel MIC (Xeon Phi), AMD GPU, NVIDIA GPU. Упомянутые четыре типа вычислительных устройств (CPU, MIC и два типа GPU) доступны в том числе через OpenCL (при желании, даже все четыре одновременно из одной программы), а также через специфичные для некоторых из них модели использования. Хотя в реальных гетерогенных вычислительных системах наличие более чем двух типов вычислительных устройств в рамках одного узла является нетипичным, такая конфигурация удобна для ознакомления с различными технологиями, для их сравнения на конкретных задачах, и для разработки, отладки и оптимизации переносимых (portable) программ. Тогда как для посетителей ZeroNights доступ будет предоставляться на срок с 1-го по 15-е ноября, для Open Source разработчиков четких ограничений по срокам нет. Предположительно, HPC Village продолжит существование и далее, и займет свою нишу наряду с GCC Compile Farm (http://gcc.gnu.org/wiki/CompileFarm). URL: http://www.openwall.com/lists/announce/2013/10/23/1 Новость: http://www.opennet.dev/opennews/art.shtml?num=38241
Ответить \| Правка \| Cообщить модератору

Оглавление

HPC Village от Openwall: доступ к гибридной HPC-системе для ..., inferrna, 09:24 , 24-Окт-13, (1) +4

HPC Village от Openwall: доступ к гибридной HPC-системе для ..., Аноним, 10:45 , 24-Окт-13, (2)

HPC Village от Openwall: доступ к гибридной HPC-системе для ..., Аноним, 02:56 , 25-Окт-13, (6) +1

HPC Village от Openwall: доступ к гибридной HPC-системе для ..., Аноним, 12:55 , 24-Окт-13, (3) –1

HPC Village от Openwall: доступ к гибридной HPC-системе для ..., solardiz, 16:25 , 24-Окт-13, (4) +1

HPC Village от Openwall: доступ к гибридной HPC-системе для ..., Аноним, 02:58 , 25-Окт-13, (7)

HPC Village от Openwall: доступ к гибридной HPC-системе для ..., solardiz, 13:03 , 25-Окт-13, (8)

HPC Village от Openwall: доступ к гибридной HPC-системе..., arisu, 20:06 , 24-Окт-13, (5)

Сообщения по теме [Сортировка по времени | RSS]

1. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..." +4 +/–

Сообщение от inferrna (ok) on 24-Окт-13, 09:24

Интересно, майнеров будут сразу банить или немного погодя?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..." +/–

Сообщение от Аноним (??) on 24-Окт-13, 10:45

Казалось бы, при чем тут биткоины?

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

6. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..." +1 +/–

Сообщение от Аноним (??) on 25-Окт-13, 02:56

Ну почему же сразу биткоины? Лайткоины еще есть :).

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..." –1 +/–

Сообщение от Аноним (??) on 24-Окт-13, 12:55

Ты уверен, что тебе дадут мощности бльше чем в твоем старом писюке с бюджетной видяхой? Для ознакомления с технологиями тебе и 200Мгц одного ядра хватит. Даже код будет быстрее))

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..." +1 +/–

Сообщение от solardiz (ok) on 24-Окт-13, 16:25

Мы не планируем ограничивать предоставляемую одному человеку вычислительную мощность, так как это помешало бы сравнению производительности на разных устройствах и оптимизации кода, и так как это сложно в осуществлении (если говорить обо всех четырех типах устройств). В то же время, мы понимаем, что одновременное использование системы несколькими пользователями без ограничений также может мешать сравнениям и оптимизации (так как создаваемый другими пользователями уровень загрузки будет меняться). Поэтому, когда потребуется, мы поможем координировать взаимодействие участников - чтобы каждый мог проверить производительность своего кода на выбранном им устройстве без посторонней загрузки (в согласованное время и/или проверив соответствующей командой, что устройство простаивает).
Что касается майнеров, я думаю, что попыток злоупотребления предоставленными ресурсами для майнинга, при этом без участия в разработке соответствующего майнера, будет мало. Bitcoin уходит на ASIC'и. Если же кто-нибудь возьмется реализовать Litecoin mining на Xeon Phi и опубликовать полученный код, это будет только хорошо.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

7. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..." +/–

Сообщение от Аноним (??) on 25-Окт-13, 02:58

> Если же кто-нибудь возьмется реализовать Litecoin mining на Xeon Phi
А что, OpenCL ядра там не соберутся?

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

8. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..." +/–

Сообщение от solardiz (ok) on 25-Окт-13, 13:03

> А что, OpenCL ядра там не соберутся?
Есть шанс что соберутся и даже что будут работать, но почти наверняка неэффективно. Программировать под Xeon Phi желательно используя OpenMP и intrinsics, или хотя бы OpenMP и авто-векторизацию средствами icc. Вместо OpenMP, по вкусу, можно pthreads или даже fork() (240 раз), если делать полностью native-сборку (а не offload с хост-системы) - я проверял, работает. Векторизация в их OpenCL на данный момент не работает, если она там вообще есть. Т.е. через OpenCL получается только использование скалярной части 60-ти ядер (которая там времен первого Pentium, разогнанного на 1+ GHz), тогда как 512-битные SIMD units простаивают.
Еще одна мелкая особенность, если всё же использовать OpenCL: программы могут проверять на тип OpenCL-устройства - CL_DEVICE_TYPE_CPU или CL_DEVICE_TYPE_GPU - в то время как Xeon Phi не считает себя ни тем, ни другим, и выдает CL_DEVICE_TYPE_ACCELERATOR. Так что может потребоваться правка кода, чтобы он делал разумный для случая Xeon Phi выбор, увидев CL_DEVICE_TYPE_ACCELERATOR.
Для Litecoin mining надо подбирать оптимальный time-memory tradeoff. В майнерах соответствующий параметр назван gap, и для GPU его обычно ставят равным 2. Я не удивлюсь, если для Xeon Phi более оптимальным окажется 1, т.е. сохранение всех 128 KB (в L2 cache, которого как раз по 512/4 = 128 KB на один hardware thread), что позволит упростить и чуточку ускорить код. Ну и реализацию Salsa20 с помощью intrinsics наверняка можно написать лучше, чем это сделает компилятор - тем более, что надо реализовать от 4 до 16 экземпляров Salsa20 в одном векторе (он 512-бит, тогда как Salsa20 использует максимум 128) и выбрать какой вариант окажется эффективнее.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

5. "HPC Village от Openwall: доступ к гибридной HPC-системе..." +/–

Сообщение от arisu (ok) on 24-Окт-13, 20:06

здорово.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..."	+4 +/–
Сообщение от inferrna (ok) on 24-Окт-13, 09:24
Интересно, майнеров будут сразу банить или немного погодя?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..."	+/–
	Сообщение от Аноним (??) on 24-Окт-13, 10:45
	Казалось бы, при чем тут биткоины?
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	6. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..."	+1 +/–
	Сообщение от Аноним (??) on 25-Окт-13, 02:56
	Ну почему же сразу биткоины? Лайткоины еще есть :).
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	3. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..."	–1 +/–
	Сообщение от Аноним (??) on 24-Окт-13, 12:55
	Ты уверен, что тебе дадут мощности бльше чем в твоем старом писюке с бюджетной видяхой? Для ознакомления с технологиями тебе и 200Мгц одного ядра хватит. Даже код будет быстрее))
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	4. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..."	+1 +/–
	Сообщение от solardiz (ok) on 24-Окт-13, 16:25
	Мы не планируем ограничивать предоставляемую одному человеку вычислительную мощность, так как это помешало бы сравнению производительности на разных устройствах и оптимизации кода, и так как это сложно в осуществлении (если говорить обо всех четырех типах устройств). В то же время, мы понимаем, что одновременное использование системы несколькими пользователями без ограничений также может мешать сравнениям и оптимизации (так как создаваемый другими пользователями уровень загрузки будет меняться). Поэтому, когда потребуется, мы поможем координировать взаимодействие участников - чтобы каждый мог проверить производительность своего кода на выбранном им устройстве без посторонней загрузки (в согласованное время и/или проверив соответствующей командой, что устройство простаивает). Что касается майнеров, я думаю, что попыток злоупотребления предоставленными ресурсами для майнинга, при этом без участия в разработке соответствующего майнера, будет мало. Bitcoin уходит на ASIC'и. Если же кто-нибудь возьмется реализовать Litecoin mining на Xeon Phi и опубликовать полученный код, это будет только хорошо.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	7. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..."	+/–
	Сообщение от Аноним (??) on 25-Окт-13, 02:58
	> Если же кто-нибудь возьмется реализовать Litecoin mining на Xeon Phi А что, OpenCL ядра там не соберутся?
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	8. "HPC Village от Openwall: доступ к гибридной HPC-системе для ..."	+/–
	Сообщение от solardiz (ok) on 25-Окт-13, 13:03
	> А что, OpenCL ядра там не соберутся? Есть шанс что соберутся и даже что будут работать, но почти наверняка неэффективно. Программировать под Xeon Phi желательно используя OpenMP и intrinsics, или хотя бы OpenMP и авто-векторизацию средствами icc. Вместо OpenMP, по вкусу, можно pthreads или даже fork() (240 раз), если делать полностью native-сборку (а не offload с хост-системы) - я проверял, работает. Векторизация в их OpenCL на данный момент не работает, если она там вообще есть. Т.е. через OpenCL получается только использование скалярной части 60-ти ядер (которая там времен первого Pentium, разогнанного на 1+ GHz), тогда как 512-битные SIMD units простаивают. Еще одна мелкая особенность, если всё же использовать OpenCL: программы могут проверять на тип OpenCL-устройства - CL_DEVICE_TYPE_CPU или CL_DEVICE_TYPE_GPU - в то время как Xeon Phi не считает себя ни тем, ни другим, и выдает CL_DEVICE_TYPE_ACCELERATOR. Так что может потребоваться правка кода, чтобы он делал разумный для случая Xeon Phi выбор, увидев CL_DEVICE_TYPE_ACCELERATOR. Для Litecoin mining надо подбирать оптимальный time-memory tradeoff. В майнерах соответствующий параметр назван gap, и для GPU его обычно ставят равным 2. Я не удивлюсь, если для Xeon Phi более оптимальным окажется 1, т.е. сохранение всех 128 KB (в L2 cache, которого как раз по 512/4 = 128 KB на один hardware thread), что позволит упростить и чуточку ускорить код. Ну и реализацию Salsa20 с помощью intrinsics наверняка можно написать лучше, чем это сделает компилятор - тем более, что надо реализовать от 4 до 16 экземпляров Salsa20 в одном векторе (он 512-бит, тогда как Salsa20 использует максимум 128) и выбрать какой вариант окажется эффективнее.
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору

5. "HPC Village от Openwall: доступ к гибридной HPC-системе..."	+/–
Сообщение от arisu (ok) on 24-Окт-13, 20:06
здорово.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору