| |
| 2.76, User294 (ok), 22:37, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
>Все гениальное просто
Тем не менее, удаление файла ~30 секунд XFSом я видел :P. Всего-то 4Gb торент сдуру слитый без преаллокации. Представляю себе что будет если такой же вермишелью записать 7Tb...
| | |
|
| 1.2, abigor (?), 14:35, 01/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
 Понимаю, что это флуд. Но что может занимать столько места одним файлом? Делаю предположение, что это может быть видео?
| | |
| |
| |
| |
| 4.15, pavlinux (ok), 16:40, 01/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
>На 7ТБ? база данных чего?
http://community.livejournal.com/ru_linux/2289534.html
> PS. Предвосхищая вопросы. Железка это многоузловой промконтроллер, управляющих огромным
> (450 тыс. тонн) газохранилищем. В связи с событиями на СШ ГЭС, начальством было
> приказано debuglevel увеличить на 2 пункта (условно с 1 до 4 при максимальном 6).
> Если раньше 7Тб эти набегали в лучшем случае за 50-60 суток, то сейчас эти 7 Тб
> заполняются за 18-20 часов. | | |
| |
| 5.28, Karbofos (??), 01:03, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
фигасе, и это все дело одним файлом? в принципе, объясняет многое уровень русского языка у того коллеги. совсем плохо, если он живет в России. уровень языков программирования, надеюсь, у него выше...
оттого и бешеные проблемы преодолением трудностей, которые создали себе сами. дебаг-инфу можно создавать и в компактной форме, вплоть до битовой кодировки. а дальше уже и на лету компримировать и прочее, если мощности позволяют.
да, конечно, зависит от "запущенности" софта
| | |
| |
| |
| 7.34, Karbofos (??), 01:57, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
основная проблема это "Некий java софт"? проверить, не так уж и сложно, экспериментируя с меньшими размерами файла проверять элементарно в top, что происходит. есть и другие подручные средства линукс
| | |
| 7.35, Анонумоис (?), 01:57, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
>Как минимум в голову приходит PNG.
Это если данные от датчиков поступают в бинарном виде. Если это лог, то сжимать его еще проще, т.к. 90%(из головы взял) данных одинаковые. Ну не верю я, что датчик выдает каждую секунду разные данные + штамп времени, там меняется всего 1,2,3 бита! Идентификатор датчика не меняется вовсе. Есть преобразования Фурье, есть, да чего только нет... Было бы желание.
| | |
| 7.37, Karbofos (??), 02:17, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
> Уровень русского языка ничего не объясняет, он же не поэт и не писатель?
часто показывает на уровень образования. к примеру, мне тут один птушник пыталя давеча доказать, что логические и битовые операции - вещи идентичные.
но, с русским языком я могу и заблуждаться. :)
| | |
| |
| 8.38, Pilat (ok), 02:22, 02/09/2009 [^] [^^] [^^^] [ответить] | +/– | Правильное владение русским языком очень важно Наприимер, сколько Ваших, Karbof... текст свёрнут, показать | | |
|
| 7.52, Iv945n (ok), 18:25, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
> Как минимум в голову приходит PNG.
Чо? Газохранилище генерирует картинки (фотографии газа? :-)) ) и сохраняет их в базу (нафига? учили же что лучше в файловой системе картинки хранить).
| | |
| |
| |
| 9.56, Iv945n (ok), 21:11, 02/09/2009 [^] [^^] [^^^] [ответить] | +/– | Оффтопик, речь о файловых системах И что мешает завести под блобы отдельный раз... текст свёрнут, показать | | |
|
|
| 7.102, нер (?), 15:48, 05/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
> Уровень русского языка ничего не объясняет
Заблуждение. Невозможно много читать и не знать языка. Плохой русский - мало читал. Какой он тогда, к жукам майским, специалист, если он за всю жизнь 3 книги прочёл? Под хвост сразу таких гнать надо с таких проектов. Понимаете?
| | |
|
| 6.43, lora (?), 12:02, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
А что не так с русским языком у автора того топика на ЖЖ?
| | |
|
|
|
|
|
| |
| 2.10, pavlinux (ok), 15:55, 01/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
# unlink /BIGFILE.sql
не?
mount -o remount,barrier=0 /dev/superraid
не?
| | |
|
| 1.5, Serg (??), 14:53, 01/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Однако, решение никак не коррелирует с заголовком статьи ;( Если уже есть файл, поменять ФС вряд ли удастся на лету. Лучше наябедничать разработчикам, чтобы поправили явный баг.
| | |
| |
| 2.12, Анонумоис (?), 16:07, 01/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
А Линус кого нибудь не придушит? :D Помню, предыдущие "явные" баги в емаксах, "жёстких дисках", "сетевых картах", самбах вели в хозяйство Линуса, а он на попытки их исправить обвинял бедолагу в неадекватности, говорил про вещества :D Угрожал покинуть пост, как в мультике "либо он, либо я" :D
| | |
| |
| 3.27, Zenitur (?), 00:19, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
 Прям как злые тролли в России. Которые тоже не понимают очевидность бага и отвечают несерьёзно. "Тормозит KDE 4? У тебя просто кривые руки".
| | |
|
|
| |
| 2.113, mmm62 (?), 11:14, 09/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>echo "0" > ./bigfile.db
>rm ./bigfile.db
>
>?
нет
time echo 1 > big0
real 0m2.705s
user 0m0.000s
sys 0m0.367s
time rm -f big0
real 0m2.370s
user 0m0.001s
sys 0m0.347s
| | |
|
| |
| 2.77, User294 (ok), 22:40, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
>Use ZFS, Luke!
И, конечно, это панацея и всем станет хорошо? :) А вы, к слову, проверяли ее под такой нагрузкой? А то реально любопытно как оно будет выкручиваться если такой файл записать на нее в виде вермишели (мелкими порциями без преаллокации). А то версионники сами то к фрагментации склонны (дозапись логов же). Если специально подогнать клинический случай то что будет? Любопытно :). Вы хотите это любопытство удовлетворить? Камон, you're welcome.
| | |
| |
| 3.83, iZEN (ok), 23:46, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>>Use ZFS, Luke!
>
>И, конечно, это панацея и всем станет хорошо? :)
"В общем, да." (c) Парацельс
>А вы, к слову, проверяли ее под такой нагрузкой?
Зачем спрашивать? Нет ещё.
>А то реально любопытно как оно будет выкручиваться если такой файл записать на нее в виде
>вермишели (мелкими порциями без преаллокации).
Вот и мне тоже. Любопытно. Хотелось бы посмотреть динамику изменения потребляемой оперативки прежде всего.
| | |
|
|
| 1.16, MoHaX (ok), 17:12, 01/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
 пробил колесо на машине, при попытке ехать с пробитым колесом машину тянет в сторону...
Решение: купить новую машину...
| | |
| |
| 2.17, pavlinux (ok), 17:27, 01/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
Не эквивалентное сравнение, уместнее было бы сравнивать с дорогой по которой ездите.
Думается Ваша Ламборджина от Сургута до Норильска долго будет ехать.
А колесо, это например используемая софтина.
| | |
|
| 1.19, Warhead Wardick (?), 18:33, 01/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
Тем кто тут умничал - В САД!
У парня производство а не ваши домашние суперкластеры ... У него под управлением большая пром система, ему в игры "отправь баг главному пингвину и посмотри как он станет красиво прыгать и ругаЦЦЦО" играть некогда. В такой ситуации нужно искать выход, ЗДЕСЬ И СЕЙЧАС! И он не струсил - не вернул всё в виндовс (где всё работало) - а пофиксил ситуацию.
Но вам, супер админам супер домашних супер кластеров этого не понять, с ваших высот такую "бытовуху" не видно :))
| | |
| |
| |
| |
| |
| 5.78, User294 (ok), 22:44, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
>rhel, sles - неа, а вот Убунта идет.
Она там пока идет как не-дефолтная ФС. В таком виде она и остальных есть - ядро у всех кроме наиболее махровых некрофилов уже давно умеет с ней работать. А юзеж неумолчательных настроек... позволю себе боянную цитату про рис.1 :)
---------
Мы установили немало умолчаний. Они нам нравятся. Если бы это было не так, мы бы сделали умолчаниями что-нибудь другое. Так что уберите свои грязные руки от наших умолчаний. Не трогайте их. Считайте их предопределенными. "Предопределенные умолчания" - звучит неплохо! Если вы их измените и ваша система зависнет, заткнитесь. См. pис. 1.
---------
| | |
|
|
|
|
| 1.21, Filosof (?), 20:01, 01/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
 exFat поддерживает до 2х ексабайт - разделы -:)))))
кажется так они хвастались. Правда как он посмотрит на 7ТБ файл мне действительно
интересно
Автору - незачёт. Тема не разкрыта.
В коментах вижу более интересные решения.
Зающие товарищи, подпишите пожалуйста, кто из них работает?
XFS -это кончено хорошо, и мне нравится. Но формтить ради операции удаления... Вы простите.
| | |
| |
| 2.23, Pilat (ok), 20:54, 01/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
 >Автору - незачёт. Тема не разкрыта.
как раз раскрыта, решение найдено. В коментах другого проверенного нет.
| | |
| |
| |
| 4.26, Pilat (ok), 00:18, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>80Gb за 3 сек., это на буке с 5400 rpm винтом, 25Mb
>свободной оператифки.
>
>7терабаб должны за ~300 сек. удалится, думается будет быстрее.
>
>Что-то у чувачка хренова с настройками РЭЙД/ядра/прокладки ....
7 терабайт фигурирует в сообщении, а не 7 гигабайт и не 70 гигабайт, это совершенно разные вещи и из удаления 80-гигабайтного файла никаких выводов сделать нельзя.
| | |
| |
| 5.30, pavlinux (ok), 01:28, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
Да ну?! Доказательства в студию?
Скорость винта? Щаз. При 5400 это примерно
# dd if=/dev/urandom of=/TEST count=10 bs=10000k
10+0 записей считано
10+0 записей написано
скопировано 102400000 байт (102 MB), 16,8704 c, 6,1 MB/c
6 mb/s - это 80 Гб за 13400 сек.(~4 часа).
-------
Не уж-то все 80 Гб в ОЗУ влезли и оттуда удалились???
3 Гига, и пипец...
Да, 80Гб не 7 Тб, но оба размера гораздо больше всевозможных кэшей, аптимизилок, LARGEFILE64, PAE, итп...
Так что я убежден что оно пойдет линейно, а именно за 300 сек. исчезнет, 7Тб.
| | |
| |
| 6.31, Pilat (ok), 01:32, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
>Да ну?! Доказательства в студию?
Человек привёл доказательство в первом же посте. Можно ему верить, можно не верить, но аргументировать своё недоверие некорректно проведённым тестом нельзя.
Как аргумент в защиту ТС: http://inf.by/linux/?tgid=4204
| | |
| |
| 7.49, pavlinux (ok), 17:05, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>>Да ну?! Доказательства в студию?
>
>Человек привёл доказательство в первом же посте. Можно ему верить, можно не верить
Я ему верю, в том что них..я не работает, но не в том, что виновата ext4
Он это вывел методом исключения, учёл почти всё кроме самодельной сборки ядра 2.6.30.5,
на сколько мне известно, ни в одном дистрибутиве его ещё нет!
| | |
|
| 6.32, Karbofos (??), 01:37, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
да можно даже создать табличку зависимостей скорости удаления от размера файла. ;) ежели человек не верит. только в реале еще может быть куча трансакций к этому винчестеру, отчего io wait может прыгнуть вверх.
| | |
| 6.41, iZEN (ok), 09:34, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>Да ну?! Доказательства в студию?
>
>Скорость винта? Щаз. При 5400 это примерно
>
># dd if=/dev/urandom of=/TEST count=10 bs=10000k
>10+0 записей считано
>10+0 записей написано
> скопировано 102400000 байт (102 MB), 16,8704 c, 6,1 MB/c
>
>6 mb/s - это 80 Гб за 13400 сек.(~4 часа).
50МБ/сек на ноутбучном Western Digital серии Scorpio Blue (WD3200BEVT, 320 ГБ; SATA 3 Гб/с; Кэш 8 МБ; 5400 об/мин):
% dd if=/dev/zero of=/dev/ad10p3 bs=100m
dd: /dev/ad10p3: short write on character device
dd: /dev/ad10p3: end of device
3032+0 records in
3031+1 records out
317921280000 bytes transferred in 5836.782166 secs (54468587 bytes/sec)
| | |
| 6.69, John Lepikhin (ok), 08:23, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
 1. Как минимум, странно мерить скорость винта, читая из медленного /dev/urandom. Читайте из /dev/zero.
2. Не надо мерить скорость винта, записывая файлик 100MB размером. Либо выключите write-cache, либо пишите в несколько раз больше, чем есть оперативки.
3. Нет линейной зависимости между размером файла и скоростью его удаления. И размер файла — далеко не единственный фактор, влияющий на это. В особенности при удалении с раздела, находящегося на программном рейде.
| | |
|
|
|
|
| 2.40, iZEN (ok), 09:28, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>exFat поддерживает до 2х ексабайт - разделы -:)))))
>кажется так они хвастались. Правда как он посмотрит на 7ТБ файл
>мне действительно
>интересно
>
>Автору - незачёт. Тема не разкрыта.
>В коментах вижу более интересные решения.
>Зающие товарищи, подпишите пожалуйста, кто из них работает?
Готов лично протестировать массив на 10ТБ с ZFSv13 при условии предоставления жёстких дисков, блока питания и двух 4-х портовых PCI(PCI-E)-контроллёров для SAS/SATA-интерфейсов HDD.
| | |
| |
| 3.50, pavlinux (ok), 17:17, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>[оверквотинг удален]
>>мне действительно
>>интересно
>> Автору - незачёт. Тема не разкрыта.
>> В коментах вижу более интересные решения.
>> Зающие товарищи, подпишите пожалуйста, кто из них работает?
> Готов лично протестировать массив на 10ТБ с ZFSv13 при условии предоставления жёстких
> дисков, блока питания и двух 4-х портовых PCI(PCI-E)-контроллёров для SAS/SATA-интерфейсов
> HDD.
Купи, потесть, и расскажи другим.
| | |
|
|
| 1.25, Zenitur (?), 00:18, 02/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
лоол! И как это добавили? И сколько времени это стирается на XFS? Минута? Секунда?
| | |
| |
| 2.47, Aleksey (??), 16:57, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
В блоге написали:
"Народ, попробовав xfs все поехало как надо, стирание не более 1 минуты занимает."
| | |
|
| 1.46, Aleksey (??), 15:58, 02/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– | |
Капец. Это называется форум администраторов. У человека возникла проблема с удалением файла, а ему говорят, что нефиг создавать такие большие файлы (писать на русском языке, использовать БД и т.д.).
Типа его кто-то спрашивает о том, какого размера файлы надо создавать. Его задача - решать конкретные производственные задачи (в данном случае упаковывать логи и записывать на носитель), все остальное - вне уровня его компетенции. Такое ощущение, что в крупных организациях никто не работал.
| | |
| |
| 2.55, Karbofos (??), 20:57, 02/09/2009 [^] [^^] [^^^] [ответить] | +/– | 1 это не только форум админов 2 решение проблемы подразумевает также объяснени... большой текст свёрнут, показать | | |
| |
| 3.58, lora (?), 22:17, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>2. решение проблемы подразумевает также объяснение причин. решения типа "если программа не
>работает, переустановите виндовс" можно считать решениями? если начальство после этого отстанет
>- может даже и прокатит. а если сложные ситуации возникают систематически
>и начальству нужно объяснение причины?
Объяснения были даны: ext и reiser из рук вон плохо работают с большими файлами. Большего для решения задачи поставленной автором и не нужно.
>3. птушные знания порождают птушные решения, уж извините.
Афтар тот может быть кандидатом наук или доктором, между прочем, и заниматься он совсем не программингом и админством, а совсем другими делами, коих дофига на подобных объектах. Ему не нужно лезть в нюансы линукса, он решил свою задачу. То что вас отчислили из ПТУ это ваши личные половые проблемы. Да и так никто и не дождался, в чем проблема с грамотностью у автора??? Покажите пожалуста.
>5. ситуация с файлами описана очень неконкретно, обычно идет разбор полетов после
>более деталированного описания. методом тыка нашли решение?
Еще раз внимательно читайте тот топик в ЖЖ, там ясно сказали, reiser и ext плохо работают с большими файлами, или грамотность не позволяет читать?
>6. если у автора после найденного решения пропала головная боль, то это
>может и хорошо для него, только другим подобные решения не могут
>подойти вовсе. хотя бы, потому что файловую систему нельзя, в силу
>некоторых причин, поменять.
У кого нет возможности поменять, тот пускай разбирается, у автора того топика была простейшая задача положить ВРЕМЕННО файл, завернуть в архив и удалить.
>7. тут уж не к автору, но тем не менее: за подобные
>софтверные решения, типа террабайтных лог-файлов принято по башке стучать и по
>рукам - за решения на яве. налабали шустро пионэры чего-то там
>за пару дней и как-бы на данный момент это всех устраивает.
>а через неделю?
Это да, по Российски, наверняка еще и бабла стоит немерянно. Откат рулит.
| | |
| 3.63, Pilat (ok), 23:47, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>7. тут уж не к автору, но тем не менее: за подобные
>софтверные решения, типа террабайтных лог-файлов принято по башке стучать и по
>рукам - за решения на яве. налабали шустро пионэры чего-то там
>за пару дней и как-бы на данный момент это всех устраивает.
>а через неделю?
пионеры... налабали... Вам хоть раз доверяли делать софт такого уровня?
И заметьте, у человека был-таки припасён дисковый массив на 7 терабайт, наверно не случайно. Хорошо что всё работает - и именно это является критерием качества, а не эстетика.
| | |
| |
| 4.64, lora (??), 23:50, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>пионеры... налабали... Вам хоть раз доверяли делать софт такого уровня?
>И заметьте, у человека был-таки припасён дисковый массив на 7 терабайт, наверно
>не случайно.
угу, он же там прямо пишет, что и раньше 7Тб не редкость было, просто набиралось за больший срок.
Хорошо что всё работает - и именно это является
>критерием качества, а не эстетика.
И я к этому тоже веду.
| | |
| 4.72, Developer (?), 14:24, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
то есть ты сейчас начинаешь рассуждать о материях, в которых даже не разбираешься (это про софт такого уровня)?
| | |
| 4.80, Karbofos (??), 23:38, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
люди на запорожцах тоже катаются. они же передвигаются, задача решена. значит это - критерий качества. не так ли?
а софт подобного уровня приходится писать, да и софт для тестирования нагрузочных способностей программ, даже ошибки в драйверах приходится отлавливать. т.к. система с этим софтом должна справляться с нагрузками и выполнять свою задачу годами. в среднем - от 5 до 10 лет. а что?
| | |
|
| 3.65, Aleksey (??), 00:33, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– | |
> 6. если у автора после найденного решения пропала головная боль, то это может и хорошо для него, только другим подобные решения не могут подойти вовсе. хотя бы, потому что файловую систему нельзя, в силу некоторых причин, поменять.
Странно, файловую систему менять нельзя, а программный комплекс переписывать значится можно. Оригинальная логика. Я бы из двух этих вариантов однозначно выбрал смену ФС, т.к. это наиболее простая и легко осуществимая операция.
| | |
| |
| 4.73, Developer (?), 17:28, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
вы путаете божий дар с яичницей. нарочно? скорее всего - да. ибо вам выгораживать свою глупость, наверное, не привыкать...
писалось о том, что? на сколько я понял, поясняю: далеко не во всех случаях можно просто так поменять файловую систему. а если рухнет однажды серверок и на альтернативной файловой системе вообще ничего восстановить не сможешь? тогда кто по башке получит? подобные шуточки у нас на работе были, оттого и нельзя было в свое время reiserfs3 устанавливать. это чисто наш рабочий пример, в тестирование у нас входит тест на поднятие системы после сбоя системы питания, если электроника не сгорела, то система должна быть запушена без потери работоспособности.
софт часто проще переписать, тем более, когда речь идет о простом логгинге инфы. хотя, если люди любят преодолевать трудности, записывая инфу террабайтами...
| | |
| |
| 5.75, _umka_ (??), 18:19, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
угу. и начинать тестирование с 0 ибо потом окажется что запись в log вызвала свиг по времени выполнения и вылез какой нить race conditionals который и раньше был - но был менее вероятным.
Ну есть еще ошибки в коде самого логера - который может уронить систему.. в прочем чего объяснять - вы же и так знаете ?:)
| | |
| |
| 6.85, Karbofos (??), 23:56, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
да, знаю. не по наслышке. мне вот предстоит переписать симулятор, который заменяет оборудование. причем, переписывать с нуля, за исключением мелочей. потому как старый не расчитан на большие нагрузочные способности (на яве написан). пишется, тестируется программерами. потом тестируется пользователеми. код вылизыватся и все.
просто наступил момент, когда со старым софтом ну вообще никак. и у вас такой момент наступит, рано или поздно. ;)
| | |
|
| 5.79, Pilat (ok), 22:59, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>софт часто проще переписать, тем более, когда речь идет о простом логгинге
>инфы. хотя, если люди любят преодолевать трудности, записывая инфу террабайтами...
Проще, только самое сложное - найти идиота, который подпишется под приказом переписать работающий софт такого назначения. Потом более простой этап - найти идиота, который согласится сменить испытанный софт на новодел. Ну а потом, после первого же ЧП, проблем вообще не будет.
| | |
| |
| 6.81, Karbofos (??), 23:43, 03/09/2009 [^] [^^] [^^^] [ответить]
| –1 +/– |
для этого существует тестирование вообще-то. тестирование поризводится в условиях, приближенных к рабочим, плюс запас на будущее. вы про такое не слышали? есть даже книжки по этой тематике.
| | |
| |
| 7.82, Pilat (ok), 23:46, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>для этого существует тестирование вообще-то. тестирование поризводится в условиях, приближенных к рабочим,
>плюс запас на будущее. вы про такое не слышали? есть даже
>книжки по этой тематике.
Как-то я читал воспоминания одного научного сотрудника. Он работал в институте, занимающемся усовершенствованием атомных электростанций. По его словам, все их предложения принимались, высоко оценивались, но никогда не внедрялись. Потому что есть старый инженерный принцип - "работает - не трогай". Подтверждений ему - море.
| | |
| 7.84, Pilat (ok), 23:50, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>для этого существует тестирование вообще-то. тестирование поризводится в условиях, приближенных к рабочим,
>плюс запас на будущее. вы про такое не слышали? есть даже
>книжки по этой тематике.
Я представляю начальника, к которому приходит администратор с предложением остановить завод на месяц для тестирования новой системы логов. Или тот же начальник, слушающий сообщение админа, что из-за недостатка места в дисковом массиве придётся запустить тестирование системы и на это надо миллион баксов и пол-года человекочасов...
| | |
| |
| 8.87, iZEN (ok), 00:16, 04/09/2009 [^] [^^] [^^^] [ответить] | +/– | Тестовая конфигурация не так уж дорого стоит 8 винчестеров по 1ТБ 5000 руб ... текст свёрнут, показать | | |
| |
| |
| |
| |
| 12.93, Pilat (ok), 02:39, 04/09/2009 [^] [^^] [^^^] [ответить] | +/– | Как-то я читал про отличие ученика из школы для отсталых от ученика обычной школ... текст свёрнут, показать | | |
| |
| |
| 14.98, lora (??), 12:55, 04/09/2009 [^] [^^] [^^^] [ответить] | +/– | А у вас есть мнение относительно такого поведения ext4 на большом файле Озвучте... текст свёрнут, показать | | |
|
|
|
|
|
| 9.97, lora (??), 12:52, 04/09/2009 [^] [^^] [^^^] [ответить] | +/– | 2 диска для системы У автора того топика большой раид был сделан софтово полно... текст свёрнут, показать | | |
| |
| 10.105, iZEN (ok), 23:34, 05/09/2009 [^] [^^] [^^^] [ответить] | +/– | Я высказался про альтернативу Ведь Linux не может предложить ничего более вменя... текст свёрнут, показать | | |
| |
| |
| 12.109, iZEN (ok), 20:41, 06/09/2009 [^] [^^] [^^^] [ответить] | +/– | gt оверквотинг удален А мне не нужно ТУДА набивать винтов Я предложил АЛЬТЕРН... текст свёрнут, показать | | |
|
|
|
|
|
|
|
|
|
|
|
| |
| 2.53, Pilat (ok), 18:27, 02/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>Эм, а ничего что ext3 файлы на 7 ТБ не поддерживает?
>
А ничего что ext4 ?
| | |
| |
| 3.70, _umka_ (??), 09:26, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>>Эм, а ничего что ext3 файлы на 7 ТБ не поддерживает?
>>
>
>А ничего что ext4 ?
тут недавно в ext4 всплывали проблемы с девайсами объемом больше 8Т - где-то упирались в переполнение - так что смена ext4 на что-то другое, пока что оправдана.
Проблемы с soft-lookup упоминаемые выше - собственно - это тажа проблема что в начале топика - длительные операции (больше 10с) без вызова schedule() на что сразу начинает ругаться тупой soft-lookup detector.
Из той же оперы вариант уложиться линух - на 16-32 core system - вызывать sysrq-t на сколько нибудь загруженой машинке (~1k процессов) имея подключеный serial console на 9600,8n1 - (предвидя коментарии скажу что смена на 115200,8n1 - проблемы нефига не решает) - баста - машинка умирает :-) постоянно пытается что-то записать в serial и на другое времени не остается - все забито soft-lookup.
| | |
| |
| 4.71, _umka_ (??), 09:40, 03/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
>[оверквотинг удален]
>другое, пока что оправдана.
>Проблемы с soft-lookup упоминаемые выше - собственно - это тажа проблема что
>в начале топика - длительные операции (больше 10с) без вызова schedule()
>на что сразу начинает ругаться тупой soft-lookup detector.
>Из той же оперы вариант уложиться линух - на 16-32 core system
>- вызывать sysrq-t на сколько нибудь загруженой машинке (~1k процессов)
>имея подключеный serial console на 9600,8n1 - (предвидя коментарии скажу что
>смена на 115200,8n1 - проблемы нефига не решает) - баста
>- машинка умирает :-) постоянно пытается что-то записать в serial и
>на другое времени не остается - все забито soft-lookup.
в догонку. посмотрев репорты в убунте (https://bugs.launchpad.net/ubuntu/+source/linux/+bug/340628 и прочие)
все это очень сильно напоминает на тот баг в jbd2 что фиксили недавно у себя.
"Добрый" Alan Cox - добавил оптимизацию - что бы уменьшить нагрузку и количество wakeup в системе - в результате чего - время wakeup на таймере транзакции оказывается в "прошлом" - и следующий start transaction дуплил пытаясь дождаться когда же закончится предыдущее.
исправление примерно вот такое
--- linux-2.6.27.21-0.1.orig/fs/jbd2/transaction.c 2009-06-10 11:11:41.000000000 -0600
+++ linux-2.6.27.21-0.1/fs/jbd2/transaction.c 2009-06-10 11:12:32.000000000 -0600
@@ -54,7 +54,7 @@
INIT_LIST_HEAD(&transaction->t_inode_list);
/* Set up the commit timer for the new transaction. */
- journal->j_commit_timer.expires = round_jiffies(transaction->t_expires);
+ journal->j_commit_timer.expires = transaction->t_expires;
add_timer(&journal->j_commit_timer);
J_ASSERT(journal->j_running_transaction == NULL);
| | |
|
|
|
| 1.101, Slavaz (ok), 19:02, 04/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– | |
>Решение: проблема исчезает при использовании файловой системы XFS.
А с именованными пайпами поиграться не пробовали?
Типа, создать пайпу с таким же именем, как и этот огроменный файл. С другой стороны к пайпе присоединяется некий демон (на си, перле, питоне, ...), который "нарезает" поток данных из пайпы на порции: архивирует, копирует на ленту и т.д.
| | |
| 1.112, eplumber (??), 16:43, 08/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
хм, а у меня недавно XFS на руках умерла...
Всего-то было около 450 Гб. Благо ничего серьезного не содержала, лишь видеонаблюдение за неделю.
Монтируется, а в каталог зайти не дает.. xfs_check молотит минут 15, потом выходит без объяснений.
Что делать? Перешел на reiserfs..
| | |
| |
| 2.114, Karbofos (??), 23:25, 12/09/2009 [^] [^^] [^^^] [ответить]
| +/– |
reiserfs тоже не без огрешек. но если вывал будет, всю партицию сложно будет восстановить, если вообще возможно.
| | |
|
| 1.116, Игорь (??), 17:08, 22/09/2009 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
в свое время лет 6 назад, читал про файловые системы чтоб под базу выбрать, тоже остановился на xfs и не пожалел,
хоть старовата но рулит до сих пор, не разу не падвела тьфу-тьфу
кстати на ext4 не пробовали удалять так
"nice -n 19 rm -f bigfile &"
мне помогало продолжить работу, а фоном заканчивалась операция удаления
| | |
|