Опубликовано несколько новых открытых проектов в области машинного обучения:- DeOldify (https://github.com/jantic/DeOldify) - проект, использующий наработки в области глубинного машинного обучения для автоматического раскрашивания чёрно-белых фотографий и восстановления качества старых изображений. Основной системы является генеративно-состязательная (https://ru.wikipedia.org/wiki/%D0%93%D0%... сеть (GAN), включающая две нейронные сети - одна генерирует образцы, а вторая отбраковывает недостаточно реалистичные результаты.
В разработке используются библиотеки Fast.AI (https://github.com/jantic/fastai), PyTorch (https://pytorch.org/) и Tensorboard (https://github.com/lanpa/tensorboardX) (надстройка над Tensorflow для PyTorch). Модель обучена на структурированной коллекции изображений ImageNet (http://image-net.org/download). Для повышения качества фотографий используется та же модель, что и для раскраски, которая расширена элементами для корректировки яркости и контраста и обучена с использованием симуляции выцветших фотографий и фотографий снятых на старые или плохие фотоаппараты. Код проекта опубликован (https://github.com/jantic/DeOldify) под лицензией MIT.
- Компания Facebook открыла (https://code.fb.com/ml-applications/horizon/) исходные тексты платформы Horizon (https://research.fb.com/publications/horizon-facebooks-open-... которая преподносится как первая платформа обучения с подкреплением (https://ru.wikipedia.org/wiki/%D0%9E%D0%... (RL), которую можно использовать для оптимизации систем в крупных промышленных окружениях. Horizon уже более года используется в различных приложениях Facebook для решения таких задач, как персонализация рекомендаций в мессенджере, принятие решений о частоте и доставке уведомлений (пользователь получает только наиболее релевантные уведомления о новых публикациях и комментариях) и оптимизация качества потокового видео (выбор битрейта и корректировка параметров на лету во время воспроизведения видео в режиме 360-градусов на основе оценки качества канала связи и состояния буферизации).Horizon предоставляет готовые компоненты для обучения с использованием популярных алгоритмов обучения с подкреплением, обработки и преобразования данных, распределённого обучения, выбора оптимальных стратегий и оптимизации. Платформа рассчитана на решение прикладных задач, в которых фигурируют массивы данных в миллионы и миллиарды наблюдений и
достаточно медленный цикл обратной связи (по сравнению с симулятором).
В отличие от других платформ, которые прежде всего рассчитаны на проведение экспериментов и создание исследовательских прототипов, Horizon изначально развивается как готовое решение, пригодное для внедрения на предприятиях.
Платформа использует PyTorch 1.0 (https://github.com/pytorch/pytorch) для моделирования и обучения, и применяет Caffe2 (https://github.com/caffe2/caffe2) для хранения и обработки моделей. Поддерживаются алгоритмы
Q-обучения (https://ru.wikipedia.org/wiki/Q-%D0%BE%D0... (DQN, Deep Q-Network) Discrete-Action DQN, Parametric-Action DQN (https://storage.googleapis.com/deepmind-media/dqn/DQNNatureP... Double DQN (https://arxiv.org/abs/1509.06461), Dueling DQN (https://arxiv.org/abs/1511.06581) и Dueling Double DQN (https://arxiv.org/abs/1710.02298), а также алгоритмы DDPG (https://arxiv.org/abs/1509.02971) (Deep Deterministic Policy Gradient) и SAC (https://arxiv.org/abs/1801.01290) (Soft Actor-Critic). Код платформы написан на языке Python и опубликован (https://github.com/facebookresearch/Horizon) под лицензией BSD.
- Компания Google опубликовала (https://github.com/google-research/bert) реализацию метода машинного обучения BERT (Bidirectional Encoder Representations from Transformers) и готовые натренированные модели к нему. BERT позволяет создавать системы для обработки информации на естественном языке (NLP, Natural Language Processing). Например, BERT может применяться для построения автоответчиков, ботов и различных диалоговых систем, отвечающих на задаваемые вопросы и определяющих смысл фраз.В тесте SQuAD F1 решение на базе BERT продемонстрировало уровень точности ответов на вопросы в 93.2%, что на 2% лучше, чем результат, полученный при прохождении данного теста человеком. В тесте GLUE система BERT показала уровень точности в 80.4% (на 7.6% лучше прошлого рекорда), в тесте MultiNLI - 86.7% (на 5.6% лучше). Система построена на базе фреймворка TensorFlow и поставляется (https://github.com/google-research/bert) под лицензией Apache 2.0. Для загрузки также доступно несколько натренированных моделей, которые также распространяются под лицензией
Apache 2.0.URL: https://code.fb.com/ml-applications/horizon/
Новость: https://www.opennet.dev/opennews/art.shtml?num=49550
Артефачит нехило, нейронка хуже фотошопера.
Если свободное сообщество запилит что-то, что будет похоже на это хотя бы на 1/10, то я съем свой галстук.
> Код проекта опубликован под лицензией MIT.Лицензия MIT недостаточно свободна?
Я про "свободных энтузиастов", которых так расхваливает сообщество. А этот код написан проклятыми корпорациями. Или вы уже переобулись и теперь Гугл с Фейсбуком белые и пушистые?
И "сообщество", и "корпорации" состоят из одинаковых элементов. Из людей. И код пишут именно люди, а не абстрактные сообщества/корпорации. Кстати, одни и те же люди зачастую входят в оба множества.
Свободных энтузиастов в OSS всегда было крайне мало. В основном OSS пилят и пилили люди за зарплату. Это делается корпорациями по ряду причин; например, открытый софт и закрытый, в одной и той же корпорации отличается как мёд от дeрьмa - второй просто стыдно показывать.Но есть, конечно, ниши, где рулят именно энтузиасты - это, например, Scan Kromsator/Scan Tailor. Ничего близкого по качеству корпорации не осилили сделать.
>отличается как мёд от дeрьмa - второй просто стыдно показывать.Посмотри в сторону реализации DRM для AMDшных карт в линуксовом ядре и скажи это еще раз
> Посмотри в сторону реализации DRM для AMDшных карт в линуксовом ядре и
> скажи это еще разЭто означает, что внутрикорпоративный софт там вообще ад-и-израиль.
Есть вариант, что нормальные люди не захотели участвовать в этой части проекта, по личным мотивам.
Это сложно сказать, наличие смеси snake_case и СamelCase уже говорит о качестве кода.
Хотя программа выглядит бесспорно впечатляюще.
> Это сложно сказать, наличие смеси snake_case и СamelCase уже говорит о качестве
> кода.В данном случае это неважно - сделанных корпорациями аналогов, позволяющих что-то подобное просто нет. Ну и вообще, это же не библиотеки.
> Хотя программа выглядит бесспорно впечатляюще.
Там алгоритмы вбиты впечатляющие - результаты работы в библиотеке КОЛХОЗА.
Кто - "вы"? Сам себе придумал гипотетического оппонента?
Покупай галстук из кожи — они легче перевариваются.
Комиты трёхлетней давности. Оно вообще живо? Работает?
Проверь сам. Скорми ему черно-белую фотку, на которой ты жуешь галстук.
Ешь галстук!
Ты и сюда добрался. Смотри, и отсюда попрут как миленького, когда задолбаешь всех и вся.
Пожирание галстука отменяется, эх... Для работы этой программы нужен несвободный датасет (CC-NC-SA), так-что попытка хорошая, но мимо - https://github.com/satoshiiizuka/siggraph2016_colorization/b...
Лицензии CC — это семейство свободных лицензий.
CC-NC-SA не является свободной! Она не аппрувлена FSF.
> CC-NC-SA не является свободной! Она не аппрувлена FSF.Аппрувленность FSF не требуется для определения свободы лицензии.
Алсо, расшифруй букву «S» в слове FSF и пойми, что FSF вообще не имеет к этому вопросу.
Фото с феями из статьи, обработанное siggraph2016_colorization
http://susepaste.org/images/70831673.jpg
IMHO, так даже лучше -- сети из новости явно переборщили с фиолетовым (например, пальцы и правая нога девушки, держащей руку на поясе)
> IMHO, так даже лучше -- сети из новости явно переборщили с фиолетовым
> (например, пальцы и правая нога девушки, держащей руку на поясе)Зато "свободные" сети ни с чем не переборщили и фото по-прежнему осталось чёрно-белым.
придётся есть, т.к. временные рамки ты не указал
> придётся есть, т.к. временные рамки ты не указалNiet. "Старая недоделка" != "полноценный продукт". Я могу создать хэллоуворлд и сказать, что это замена Фотошопу, которого в Линуксе нет, просто он ещё не готов. Или не могу?
>> придётся есть, т.к. временные рамки ты не указал
> Niet. "Старая недоделка" != "полноценный продукт". Я могу создать хэллоуворлд и сказать,
> что это замена Фотошопу, которого в Линуксе нет, просто он ещё
> не готов. Или не могу?Она раскрашивает фото? Раскрашивает. Она даёт результат хотя бы на 10% от другой свободной программы? Даёт.
Иди жри уже.
Можно применить сверху вторую нейросеть, которая будет убирать шумы.
Например, эту: https://github.com/cchen156/Learning-to-See-in-the-Dark
А кто знает, что там на этих фотках сейчас было бы, используй фотограф цветной техпроцесс. В любом случае без артефактов вряд ли обошлось бы, и, скорее всего, они были бы посерьёзнее ошибок сетки. А дорисовать за хорошей нейронкой может оказаться быстрее (т.е. дешевле), чем всё делать руками с нуля.
Конец человечеству, восстание роботов близзко...
Я вот всё джва года жду, чтобы Доктора Стрейнджлава раскрасили.
Штирлица тебе мало?
если все так круто с этими вашими нейросетями и прочим, то где онлайн сервисы по расскраске изображений, рассцензурке японской порнографии и т.д.? где они?
ведь даже если 1$ бакс брать за 1 изображение можно нехило так поднять бабла... но их нет почему-то ;)
Дык и что? Выводы-то ты какие делаешь? Эта новость -- фейк?
Сайт запилить это вам не нейросеть натренировать. В представлениях технарей бизнес так легко делается...
> если все так круто с этими вашими нейросетями и прочим, то где
> онлайн сервисы по расскраске изображений, рассцензурке японской порнографии и т.д.? где
> они?
Ну довольно очевидно, что нейросеть не может раскрасить абсолютно правильно эти фотки, т.к. у нее нет контекста. Скажем, если брать того же Штирлица, то правильно раскрасить фельд-грау можно, если предварительно сходить в музей.Поэтому, скорее всего, еще довольно долго можно будет жить на переводе "оффлайна" в онлайн.
Какой цвет мундира будет у Штирлица по версии Гугла?
Прозрачный
Ну так легко проверить жеж, у них и демка есть..Вот что они выдали на первоый кадр из фильма
https://s3.amazonaws.com/algorithmia-demos/colorization/9e26...Темносиний у него, по этой версии, мундир..
Мне кажется у бабки в миске не паприка, а уголь,не?
Скорее всего, так как в этих тазик либо уголь держали, либо свежее выжать белье. А ещё таз у печки стоит. Так что неросети вам ещё и не такое покажут.
Посмотри во что красный превращается на черно-белом фото и удивись.
А уголь превращается в перец, а вода в вино?
забавный случай ненамеренной манипуляции прошлым, если бы не комментарий я бы даже не присмотрелся к тем "яблокам в тазу"
А девушки скорее с красными кружевами были. Так что не, не пойдёт. Разве что для жанра фэнтези.
> А девушки скорее с красными кружевами были. Так что не, не пойдёт.
> Разве что для жанра фэнтези.Это-то ладно, но вот вряд ли тогда были доступны "воздушно-прозрачные" колготки (см. левую девушку, да и у правой одна нога "просвечивает") или была мода красить ладони/шею (хорошо заметно у правой) ;)
;)
Там, скорее всего, была проблема с материалами для обучения. Сложно найти достаточное количество цветных фотографий из эпохи, когда еще не было цветной фотографии. Поэтому, наверное, обучали на современных фотографиях (уж у гугла/фейсбука с ними проблем нет), в лучшем случае накладывая на них фильтры для состаривания фотографий. Поэтому и цвета одежды могут быть более современными (где-то читал, что раньше розовый цвет ассоциировался с мальчиками, а голубой с девочками. Сейчас наоборот, розовый цвет - девчячий. Т.ч. на фотографии с баллеринами оригинальный цвет, возможно, был голубой, но нейронку обучали на современных фотографиями с детьми и там часто могут попадаться розовые платья)ъ
> Поэтому и цвета одежды могут быть более современными (где-то читал,
> что раньше розовый цвет ассоциировался с мальчиками, а голубой с девочками."Претензии" были не столько к цвету (тут-то и человек далеко не всегда угадает), сколько к "произвольной" раскраске части тел (см. фиолетовые ладони и шея у девушек и серые зомби-руки женщины).
>когда еще не было цветной фотографиидержи http://www.veinik.by
Прокудин-Горский - пионер цветной фотографии в России
Да оно итак понятно что рандомно раскрасили. Просто похоже на правду, но нет.
Body-art вместо штанов.
Врать сети будут 100%:
> В эпоху черно-белого телевидения в камерах использовались красные фильтры, которые буквально съедали весь красный цвет, и губы дикторов получались очень бледными и невыразительными. Чтобы этого избежать, гримеры красили их помадой зеленого цвета.
Кто-нибудь разобрался как запустить процесс конвертации фото? А то ни один из модулей не содержит прямых ссылок на папку с фотками
Нельзя не упомянуть https://github.com/deeppomf/DeepCreamPy
Вот настоящая наука! Примеры использования сами погуглите
