https://opennet.ru/openforum/vsluhforumID3/54454.html Команда разработчиков системы распределенных вычислений Yahoo объявила (http://developer.yahoo.net/blogs/hadoop/2009/05/hadoop_sorts_a_petabyte_in_162.html) о том, что используя Apache Hadoop, они смогли побить мировой рекорд в сортировке неспецифичных (general purpose) данных. Новое значение рекорда &#8212; 1 терабайт за 62 секунды или петабайт за 16.25 часа. Измерения проводились на кластере Yahoo Hammer, который содержит приблизительно 3800 серверов, в каждом из которых по 2 четырех ядерных процессора Xeon 2.5ГГц, 4 SATA диска, 16Гб ОЗУ, 1Гбит сетевая карта. В качестве ОС используется REHL 5.1, а для обработки данных Sun Java JDK версий 1.6.0_05-b13 и 1.6.0_13-b03.<br><br>Apache Hadoop &#8212; это открытая среда для проведения процессороемких распределенных вычислений. Ее использование позволяет приложениям получать доступ к массивам не структурированной информации петабайтного объема. Проект начал развиваться в качестве открытой альтернативы Google File System (GFS) и приприетарной реал...<br><br>URL: http://news.cn https://opennet.ru/openforum/vsluhforumID3/54454.html#67 Tue, 19 May 2009 10:38:38 GMT &gt;вынесем за скобки сомнительный пассаж про неподдатливых программеров. <br>&gt;платформа java популярна, потому что крупным игрокам дешевле прикупить железа, чем нанять <br>&gt;хороших специалистов. <br><br>И это правильно!<br>50 грамм кремния должны стоить дешевле двух кило мозга!<br> https://opennet.ru/openforum/vsluhforumID3/54454.html#66 Tue, 19 May 2009 10:20:10 GMT &gt;почему Java стал и остаётся одним из самых популярных языков программирования.<br>&gt;Отнюдь не из-за пиара, в программерской среде он не играет роли.<br><br>вынесем за скобки сомнительный пассаж про неподдатливых программеров.<br>платформа java популярна, потому что крупным игрокам дешевле прикупить железа, чем нанять хороших специалистов.<br> https://opennet.ru/openforum/vsluhforumID3/54454.html#65 Tue, 19 May 2009 08:29:51 GMT Под виртуальную машину сотню мегабайт на каждом компьютере - и всё. Остальное так же. Пора бы вам признать поражение, а также то, почему Java стал и остаётся одним из самых популярных языков программирования. Отнюдь не из-за пиара, в программерской среде он не играет роли.<br> https://opennet.ru/openforum/vsluhforumID3/54454.html#64 Tue, 19 May 2009 04:15:20 GMT &gt;Вы что - будете генерировать 10 выполнимых файлов под все возможные процессоры?<br><br>Компилятор, не?<br><br>&gt;JIT может все<br><br>Никто не сомневался, что java - зрелая и развитая технология.<br>Только для исполнения она требует немного - а если считать память, то в десятки и сотни раз - больше машинного ресурса. Вот собственно всё.<br> https://opennet.ru/openforum/vsluhforumID3/54454.html#63 Mon, 18 May 2009 23:59:29 GMT &gt;(и я не даю методу завершится, чтоб не вынуждать JVM делать замену кода на лету). <br><br>s/и я не даю/и я даю/<br> https://opennet.ru/openforum/vsluhforumID3/54454.html#62 Mon, 18 May 2009 23:57:58 GMT &gt;Ну так побейте вон сишную версию того же quicklz хотя-бы на яве.<br><br>Ну я запустил этот QuickLZ. У меня на 2GHz Celeron 550 оно показывает скорость сжатия в ~380MBps после того, как код отработает хотя-бы секунду (и я не даю методу завершится, чтоб не вынуждать JVM делать замену кода на лету). У него на Core 2 Duo 2.6GHz сишный код сжимает со скоростю 263MBps. Может он просто ошибся в бенчмарке (там много граблей)?<br><br>У меня:<br>Intel(R) Celeron(R) CPU 550 @ 2.00GHz<br>Linux 2.6.27.21-170.2.56.fc10.x86_64 #1 SMP Mon Mar 23 23:08:10 EDT 2009 x86_64 x86_64 x86_64 GNU/Linux<br>java version "1.6.0_12"<br>Java(TM) SE Runtime Environment (build 1.6.0_12-b04)<br>Java HotSpot(TM) 64-Bit Server VM (build 11.2-b01, mixed mode)<br> https://opennet.ru/openforum/vsluhforumID3/54454.html#61 Mon, 18 May 2009 18:53:57 GMT &gt;<br>&gt;&gt;А потому что JIT оптимизирует код под конкретный процессор с конкретной величиной <br>&gt;&gt;кеша и набором команд, а не под сферического коня в вакууме <br>&gt;&gt;как делает это Си компилятор. <br>&gt;<br>&gt;-march и про остальные опции вы, видимо, не слыхали. <br><br>Слыхали, а вот вы не понял сути вопроса. Вы что - будете генерировать 10 выполнимых файлов под все возможные процессоры?<br><br><br>&gt;Вообще-то это умеет и gcc, о чем вы снова не слыхали. Что <br>&gt;такое openmp, знаете? В 4.4 есть то же самое, но "на <br>&gt;лету". <br><br>Знаем, не надо наездов.<br><br>&gt;<br>&gt;&gt;Зная runtime информацию можно сгенерировать более оптимальный код нежели не зная ее. <br>&gt;<br>&gt;Конечно, так вас и допустят профилировать реальные процессы. А тестовый код, да, <br>&gt;отпрофайлят на ура, только потом эту информацию никак не подсунуть jit <br>&gt;с реальной задачей :) <br><br>JIT может все. И чем дальше тем больше он будет уметь. Вот собственно все.<br> https://opennet.ru/openforum/vsluhforumID3/54454.html#60 Mon, 18 May 2009 18:49:52 GMT &gt;&gt;МОЖЕТ!!! Да может же! <br>&gt;<br>&gt;А проверки характерные для managed кода куда денутся?Испарятся? <br>&gt;<br><br>На численных алгоритмах все обычно без managed проверок идет (их еще компилятор удаляет, до jit даже не доходят). А основное время как раз числодробилки и занимают.<br><br>&gt;[оверквотинг удален]<br>&gt;<br>&gt;&gt;JIT может автоматически распараллеливать циклы на многопроцессорных машинах. <br>&gt;<br>&gt;Это не только JIT может.И?Кстати а что если сишники-сиплюсплюсники тоже отпрофилируют и <br>&gt;заинлайнят?Они то с включенным мозгом могут это и получше безмозглой железяки <br>&gt;сделать в принципе.Или вообще читерство: мелкий кус на асме оптимизнуть.Вон кодеки-когда <br>&gt;скорости мало - програмеры творят чудеса.<br>&gt;А так - у меня есть H.264 файлик который мой процессор еле-еле <br>&gt;декодирует в реалтайме юзая x264 (с его си+асм вставками).А давайте вы <br>&gt;его на яве натянете?<br><br>А ведь никто не спорил что руки творят чудеса. Да, включив мозг можно побить и сишный компилер и jit, но мы вроде речь ведем про обычную написанную программу.<br><br>Но уверен https://opennet.ru/openforum/vsluhforumID3/54454.html#59 Mon, 18 May 2009 18:01:17 GMT <br>&gt;А потому что JIT оптимизирует код под конкретный процессор с конкретной величиной <br>&gt;кеша и набором команд, а не под сферического коня в вакууме <br>&gt;как делает это Си компилятор. <br><br>-march и про остальные опции вы, видимо, не слыхали.<br><br>&gt;А также JIT например ничего не мешает профилировать методы на лету, инлайнить <br>&gt;наиболее часто выполняющиеся, а не все и т.п. <br><br>Любая профилировка - огромные накладные расходы, так что такую статистику собирать не станут, а заинлайнят согласно статическому анализу - как в С, так и jit.<br><br>&gt;JIT может автоматически распараллеливать циклы на многопроцессорных машинах. И отрыв от Си <br>&gt;все дальше и дальше. <br><br>Вообще-то это умеет и gcc, о чем вы снова не слыхали. Что такое openmp, знаете? В 4.4 есть то же самое, но "на лету".<br><br>&gt;Зная runtime информацию можно сгенерировать более оптимальный код нежели не зная ее. <br><br>Конечно, так вас и допустят профилировать реальные процессы. А тестовый код, да, отпрофайлят на ура, только потом эту информацию никак не подсунуть jit с реально