Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Компания xAI, созданная Илоном Маском, открыла большую языковую модель Grok, opennews (??), 18-Мрт-24, (0) [смотреть все] Ну спасибо,это они конечно помогли 4070 хватит Качаю и проверю , Аноним (1), 11:57 , 18-Мрт-24, (1) // Не хватит Забей пока на эту модель, пока там прошаренные не разберутся , мяя (?), 12:02 , 18-Мрт-24, (3) +1 // А сколько надо памяти Есть ещё 3090, Аноним (1), 12:02 , 18-Мрт-24, (4) // Чем больше, тем лучше https habana ai products gaudi2 https www nvidia com , Аноним (7), 12:10 , 18-Мрт-24, (7) +4 Должно же быть референсное значение, а не всё хорошее против всего плохого , Аноним (11), 12:25 , 18-Мрт-24, (11) +1 Обычно, если половина модели в память помещается, то производительность становит, ptr (ok), 17:55 , 18-Мрт-24, (65) +2 Там больше 400 гигабайт видеопамяти надо 3090 не хватит даже 10 штук , X86 (ok), 01:28 , 19-Мрт-24, (95) Ну так возьми 20 , Аноним (100), 08:28 , 19-Мрт-24, (100) +1 На каждый GPU, для получения приемлемой производительности, нужно хотя бы 8 лини, ptr (ok), 09:15 , 19-Мрт-24, (104) +1 Да, поддерживает только pcie4 Надо хотя бы pcie5 с другой стороны подключать с, Аноним (100), 10:50 , 19-Мрт-24, (109) –1 Обычно чуть больше, чем сама модель 300 гигов Сколько там на твоей 3090, гиго, ОноНим (?), 10:07 , 20-Мрт-24, (116) на 3090 24 гигабайта памяти , X86 (ok), 08:00 , 21-Мрт-24, (121) Тут чел который виртуалками торгует говорил,что у него только рамы 128 гигов и г, сщта (?), 12:04 , 18-Мрт-24, (6) если квант 8 битный, то 8 штук h100 по 80 гб 360 гб в суммеесли 4 бит, то приме, Эксперт (?), 12:58 , 18-Мрт-24, (13) +4   // 80 8 640, что имелось в виду У 4090 вроде всего 24 гигабайта, Аноним (100), 14:29 , 18-Мрт-24, (32) –1   // какая еще 4090 забудьте микрогеймерские затычки Tesla H100 ставят для таких де, x (?), 15:47 , 18-Мрт-24, (40) +7   Одной Тут целый парк нужен , Аноним (25), 14:00 , 18-Мрт-24, (25) Гиблое дело Даже с разделением памяти видюхи и оперативки не взлетит Поиграться, Аноним (50), 16:50 , 18-Мрт-24, (50) Вот столько должно быть VRAM Если столько VRAM RAM, будет медленней Может сдел, Аноним (91), 00:35 , 19-Мрт-24, (91) АЛИСА, что-ли , Аноним (2), 12:01 , 18-Мрт-24, (2) –2 // Да, Аноним12345 (?), 12:20 , 18-Мрт-24, (8) –2 Алиса не LLM Там древний подход на основе интентов Нейросеть используется толь, Шарп (ok), 12:21 , 18-Мрт-24, (9) +3 // Уже ЛЛМ, но кажется какой-то тюненый вариант https yandex ru alice beta, Анонус (?), 13:00 , 18-Мрт-24, (14) –1 // Спросил у нее Говорит, что нет , Аноним (2), 14:33 , 18-Мрт-24, (33) +2 Спросил у ИИ, является ли он ИИ Ответил, что нет , Аноним (66), 17:59 , 18-Мрт-24, (66) +1 а зачем по-вашему мелафон , dannyD (?), 18:13 , 18-Мрт-24, (70) Мне ответила, что да, размер - 1 6 миллиардов параметров, Аноним (89), 23:09 , 18-Мрт-24, (89) Мне кажется, что Алиса сама не знает, как она устроена и придумывает факты С 1,6, Аноним (50), 09:03 , 19-Мрт-24, (102) +1 разбудите когда она научится озвучивать и пересказывать порно фильмы , cheburnator9000 (ok), 20:50 , 18-Мрт-24, (84) +1 Алиса никогда не будет озвучивать порно потому, что зацензурирована Меня больше , Аноним (50), 08:30 , 19-Мрт-24, (101) +2 потому что твоя болтовня стоит яндексу денег, namenotfound (?), 15:53 , 20-Мрт-24, (119) +2 майор не успевает от руки переписывать и в папочку подшивать, нейм (?), 12:02 , 24-Мрт-24, (123) +1 REDUCE дистрибутив чуть более, чем 20 Мб не годится , Аноним (2), 12:04 , 18-Мрт-24, (5) // Можно ссылку , Другой анон (?), 15:05 , 18-Мрт-24, (37) // Видимо http www reduce-algebra com имелось в виду , Аноним (38), 15:14 , 18-Мрт-24, (38) https sourceforge net projects reduce-algebra Также книжка на русском есть , Аноним (53), 17:28 , 18-Мрт-24, (53) Мы в MatLab делали Было забавно В любом случае, это всё не то В ВУЗ идут им, Аноним (45), 16:44 , 18-Мрт-24, (45) // В инженерном деле можно А также для проверки , Аноним (53), 17:33 , 18-Мрт-24, (57) REDUCE - это извращение Современная математика плюс-минус есть только в FriCAS , Аноним (96), 05:01 , 19-Мрт-24, (96) // Извращение - это когда увеличивают память, количество ядер и частоту вместо вмес, Аноним (2), 07:25 , 19-Мрт-24, (98) Оказывается это Илон Маск друг опенсорса, а вы его ругали , Аноним (11), 12:23 , 18-Мрт-24, (10) // https opennet ru 53083-falcon9, Аноним (7), 12:47 , 18-Мрт-24, (12) +3 А переписка с Сутскевером https openai com blog openai-elon-musk утверждает об, Аноним (24), 13:32 , 18-Мрт-24, (24) // Если только с позиции Сутскевера , Аноним (124), 08:36 , 26-Мрт-24, (124) Вот надо чтобы литкод решала и потом устроиться к ним же удаленно на работу и н, Вы забыли заполнить поле Name (?), 13:05 , 18-Мрт-24, (15) // Ага А потом Маск допрет сделать то же самое И тут ты такой, с кредитом на маши, Аноним (-), 16:53 , 18-Мрт-24, (52) // Мечтай Такая строчка в резюме еще 10 лет кормить будет , голос из леса (?), 19:30 , 18-Мрт-24, (81) // Ну вот как рах тебя и вышибут из уже почти совсем оплаченной квартиры - чтобы дж, Аноним (-), 22:10 , 18-Мрт-24, (88) +1 Ну всё, теперь эту модель понавтыкают в техподдержку все кому не лень, и достуча, Аноним (16), 13:06 , 18-Мрт-24, (16) +2 // И так по 10 минут музыку слушаешь в ожидании Кожаные мешки обгадились в который, сщта (?), 13:17 , 18-Мрт-24, (17) +2 // Это еще вот зачем Видимокарта и ее охлаждение - деньгов стоют Так что СНАЧАЛА п, Маск (?), 14:28 , 18-Мрт-24, (31) +3 А смысл до него достукиваться Чем он тебе из своего Улан-Удэ поможет , Chel (?), 13:19 , 18-Мрт-24, (19) +2 Только когда оно станет работать на тостерах и пылесосах Пока ей нужно вот это , Anonim (??), 14:09 , 18-Мрт-24, (26) +1 // не будут 8212 мешкам надо зряплату платить Несколько зряплат как раз на карт, Аноним (24), 14:13 , 18-Мрт-24, (28) –1 // А тот кластер инстансев с GPU для прокручивания того добра на меньшем не зарабо, Anonim (??), 14:23 , 18-Мрт-24, (29) Там еще толпу админов и разрабов нужно в этот кластер Эффективный манагер мышко, Anonim (??), 14:26 , 18-Мрт-24, (30) +1 Зачем DGX GH200 что-то помимо макбука , Аноним (100), 14:58 , 18-Мрт-24, (34) +1 всего каких-то 24 стойки, кстати, для справки, Аноним (100), 15:02 , 18-Мрт-24, (36) Потому что робота украдут, а тот, кто украдёт таджика 8212 сам об этом крупно, Аноним (39), 15:31 , 18-Мрт-24, (39) +1 И так давно уже навтыкали роботов Я так им и пишу отвали робот, позови челове, Аноним (45), 16:46 , 18-Мрт-24, (46) +3 Облом С моими 64 гигами памяти больше 70В не запустить , Аноним (50), 13:18 , 18-Мрт-24, (18) +1 // Вот так так топовое профессиональное железо превращается в кор два дуба Рекомен, сщта (?), 13:19 , 18-Мрт-24, (20) +1 // Топовым мой Ryzen 7 2700 был лет пять назад А сейчас это просто калькулятор Бол, Аноним (50), 13:26 , 18-Мрт-24, (23) –1 // Мощно протроллил тех кто тут всерьез сидит с калькуляторов типа кор два дуба И , Аноним (-), 17:46 , 18-Мрт-24, (62) +1 У меня rk3566 с 4гб оперативы и мне хватает, работает как терминал клиент фактич, Мне хватает (?), 07:45 , 19-Мрт-24, (99) почему только 64Gb Разве венда не поддерживает терабайты ОЗУ Подумаешь, немног, Аноним (45), 16:49 , 18-Мрт-24, (48) +1 Была публикация, что китайские ученые при решении некоторой задачи за счет оптим, Аноним (53), 17:37 , 18-Мрт-24, (58) // Посчитай затраты на человеко-часы такоц оптимизации и на эквивалент в банальном , Аноним (-), 17:43 , 18-Мрт-24, (61) // Придется поработать, да Но есть один нюанс Оптимизированная задача будет испол, Аноним (2), 09:16 , 19-Мрт-24, (105) 400 гб видеопамяти - это не суперкомпьютер Просто корпорациям не нужно жмотитьс, X86 (ok), 08:07 , 21-Мрт-24, (122) Году эдак в 1989-м, я, будучи студентотою на базе нпо машиностроение прилежно ко, beck (??), 18:38 , 18-Мрт-24, (73) // ну не надо думать что в китае дураки, так помнится сша думали, когда после распа, 1 (??), 19:23 , 18-Мрт-24, (80) Цензура есть , Аноним (24), 13:20 , 18-Мрт-24, (21) // Опять собираешься написать у ем слово мел , Аноним (45), 16:50 , 18-Мрт-24, (51) –1 Установив модель на свой комп ты можешь делать с ней что хочешь Естественно, в , Аноним (-), 17:40 , 18-Мрт-24, (60) // Опечатка в слове инвесторы , Аноним (66), 18:00 , 18-Мрт-24, (67) // Любое государство это 171 стационарный бандит 187 Инвесторы, как и любой кр, Аноним (-), 18:08 , 18-Мрт-24, (69) –1 Мне AI сочиняет хвалебные поэмы про Ленина Обожаю их читать Даже иллюстрации нар, Аноним (50), 18:00 , 18-Мрт-24, (68) –1 // поэму в студию я хочу видеть этого человека с , 1 (??), 19:09 , 18-Мрт-24, (75) Я такое боюсь публиковать Там такая трешевая тема и содержание Вдруг это оскор, Аноним (50), 19:15 , 18-Мрт-24, (76) да ладно, ну не сша, не закенселят, 1 (??), 19:19 , 18-Мрт-24, (79) –1 Лет десять дам ему всего, за пропаганду чегонельзяназывать , товарищ майор (?), 21:21 , 18-Мрт-24, (87) –1 ссылку добавьте https huggingface co xai-org grok-1, Аноним (24), 13:22 , 18-Мрт-24, (22) о, как раз для местных сидельцев на третьем пне 300 ГБ винты с ИДЕ точно были, , Аноним (41), 16:11 , 18-Мрт-24, (41) +1 // Если с ИДЕ винта грузить данные, то скорость генерации токенов будет просто волш, Проыыфыс (?), 16:26 , 18-Мрт-24, (43) // Главный вопрос жизни, вселенной и вообще Через 10 лет ответ на третьем пне сгене, Аноним (50), 16:37 , 18-Мрт-24, (44) // ну так вроде 7 миллионов лет считалось в оригинале, крутой третий пень то оказыв, 1 (??), 19:04 , 18-Мрт-24, (74) +1 На IDE были даже терабайтники, правда мало Причем на IDE133 750 ГБ юзал лично , Alexey V. Pautov (?), 20:57 , 18-Мрт-24, (85) // То были универсальные банки Продавались в одном корпусе, как с IDE, так и с SAT, Михаил Сергеевич (?), 00:36 , 19-Мрт-24, (92) +1 Дык возьми btrfs или bcachefs, набей веников в бигтауэр, и будет тебе новая поша, Аноним (-), 16:49 , 18-Мрт-24, (49) Ты тоже будешь через несколько лет сидеть на каком-нибудь мак про м3, который к , Аноним (-), 17:38 , 18-Мрт-24, (59) +1 Были самсунги 500ки IDE, через меня проходили эти диски , doorsfan (?), 21:04 , 18-Мрт-24, (86) // Эти банки были последними устройствами, которые поддерживали как IDE, так и SATA, Михаил Сергеевич (?), 00:34 , 19-Мрт-24, (90) +1 Чет пустая какая то репа https github com xai-org grok-1 tree main, K_AHTOH (ok), 16:20 , 18-Мрт-24, (42) –3 // ну магнет есть на веса, 1 (??), 19:17 , 18-Мрт-24, (78) Нихрена себе, это Элон Маск забэкапал свой мозг чтоли , Аноним (-), 16:48 , 18-Мрт-24, (47) +1 // Всего лишь водна клетка человеческого организма с размером ДНК 6 миллиардов ос, Михаил Сергеевич (?), 00:44 , 19-Мрт-24, (94) +1 Представить даже боюсь какое железо для этого нужно, чтобы оно хотя бы просто ше, Аноним (-), 17:31 , 18-Мрт-24, (56) +1 // https www opennet ru opennews art shtml num 59840, Аноним (7), 15:56 , 19-Мрт-24, (112) +1 Мудрое название для модели Хайнлайн аплодирует , Аноним (63), 17:46 , 18-Мрт-24, (63) // Когда сказать нечего, но хочется блеснуть умом Даже крохотная Mistral 7B модел, Проыыфыс (?), 07:27 , 21-Мрт-24, (120) Чтоб это затестить, придётся арендовать майнинг ферму 129322 Явно не для конс, Михаил Сергеевич (?), 00:39 , 19-Мрт-24, (93) +3 Читал, к лету 2023 завершат работу над GPT-5, говорили что это будет чуть ли не , Аноним (103), 09:08 , 19-Мрт-24, (103) +2 // Подозреваю, что модель есть, но нужно новое поколение железа, чтобы ее можно был, Аноним (50), 09:21 , 19-Мрт-24, (106) Gpt-4 пока не впечатляет Сносно по сравнению с gpt-3 и тем более gpt-2, но это , Аноним (100), 11:53 , 19-Мрт-24, (110) // Под узкозаточенные задачи ИИ может быть офигительно эффективным уже сейчас А поп, Аноним (50), 13:14 , 19-Мрт-24, (111) // Согласен Модели на основе llama с несоизмеримо меньшим кол-вом параметров, но н, Аноним (-), 18:46 , 19-Мрт-24, (113) Это проблема непонимания контекста заданного тобою ввода Например, пишешь 171, Аноним (-), 18:54 , 19-Мрт-24, (114) +1 // Нет, ты говоришь сгенерируй мне sql, а тебе в ответ код с малоприметными ошибкам, Аноним (100), 23:15 , 19-Мрт-24, (115) Живые программисты в таком же стиле работают Так что производительность труда в, Аноним (117), 11:34 , 20-Мрт-24, (117) +1 Проблема в том, что там ошибки такие, которые здоровый человек не допустит никак, Аноним (100), 14:39 , 20-Мрт-24, (118) 1,2,5,10,15,16,18,21,22,41,42,47,56,63,93,103

Сообщения

[Сортировка по времени | RSS]

	13. "Компания xAI, созданная Илоном Маском, открыла большую языко..."	+4 +/–
	Сообщение от Эксперт (?), 18-Мрт-24, 12:58
	если квант 8 битный, то 8 штук h100 по 80 гб. 360 гб в сумме если 4 бит, то примерно в два раза меньше, не считая размера окна контекста 2 бита - вопросы к качеству, но если цель просто запустить, посмотреть, то в связку rtx 4090(3090) + 192 гб озу должно влезть. скорость инференса сложно прикинуть, но скорее всего будет больно
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	32. "Компания xAI, созданная Илоном Маском, открыла большую языко..."	–1 +/–
	Сообщение от Аноним (100), 18-Мрт-24, 14:29
	80*8=640, что имелось в виду? У 4090 вроде всего 24 гигабайта
	Ответить | Правка | Наверх | Cообщить модератору

	40. "Компания xAI, созданная Илоном Маском, открыла большую языко..."	+7 +/–
	Сообщение от x (?), 18-Мрт-24, 15:47
	какая еще 4090? забудьте микрогеймерские затычки. Tesla H100 ставят для таких дел
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема