forum.opennet.ru - "Раздел полезных советов: Ускоряем загрузку больших файлов из..." (21)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Раздел полезных советов: Ускоряем загрузку больших файлов из..."

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Раздел полезных советов: Ускоряем загрузку больших файлов из..."	+/–
Сообщение от auto_tips (??) on 04-Сен-07, 18:36
Задача - скачать ISO образ линукса за короткое время. Самое простое это: wget ftp://ftp.rediris.es/sites/releases.ubuntu.com/releases/feis... Но на зеркалах стоят лимиты на ширину канала для каждого подключения, а так как нам важно время, мы будем использовать несколько зеркал одноврменно. В первую очередь устанавливаем программу CURL: sudo apt-get install curl Далее, ISO образ имеет объём 700Мб. Мысленно режем его на несколько частей по 100Мб и выбираем 4 зеркала с этим образом. создаём файл ubuntu.sh: vim ubuntu.sh в него вписываем: #!/bin/sh url1=http://ubuntu.intergenia.de/releases/feisty/ubuntu-7.04-desk... url2=http://ubuntu.virginmedia.com/releases/7.04/ubuntu-7.04-desk... url3=http://es.releases.ubuntu.com/7.04/ubuntu-7.04-desktop-i386.iso url4=http://ftp-mirror.internap.com/pub/ubuntu-releases/7.04/ubun... curl --range 0-199999999 -o ubuntu-iso.part1 $url1 & curl --range 200000000-399999999 -o ubuntu-iso.part2 $url2 & curl --range 400000000-599999999 -o ubuntu-iso.part3 $url3 & curl --range 600000000- -o ubuntu-iso.part4 $url4 & url1, url2, url3, url4 - переменные содержащие в себе ссылки на iso образ на разных зеркалах. аргумен --range указывает с какого по какой байт надо скачать. --range 600000000- указывает что надо скачать начиная с 600000000 и до конца. ubuntu-iso.part1 и т.д. - названия файлов под которыми будут сохранены скачанные части iso образа делаем скрипт исполняемым: $chmod u+x ubuntu.sh и запускаем его: $./ubuntu.sh в конечном итоге получаем 4 файла: ubuntu-iso.part1 ubuntu-iso.part2 ubuntu-iso.part3 ubuntu-iso.part4 склеиваем их в один iso образ: cat ubuntu-iso.part? > ubuntu-7.04-desktop-i386.iso Получили готовый образ системы за относительно короткое время. URL: http://openkazan.info/node/207 Обсуждается: http://www.opennet.dev/tips/info/1453.shtml
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

Ускоряем загрузку больших файлов из интернета., switch, 18:36 , 04-Сен-07, (1)

Ускоряем загрузку больших файлов из интернета., АН, 18:57 , 04-Сен-07, (2)

Ускоряем загрузку больших файлов из интернета., anonymous, 19:39 , 04-Сен-07, (3)
Ускоряем загрузку больших файлов из интернета., Alexander Sheiko, 05:14 , 05-Сен-07, (4)

Ускоряем загрузку больших файлов из интернета., sn, 08:58 , 05-Сен-07, (5)

Ускоряем загрузку больших файлов из интернета., sn, 09:04 , 05-Сен-07, (6)
Ускоряем загрузку больших файлов из интернета., anonim, 12:04 , 05-Сен-07, (7)
Ускоряем загрузку больших файлов из интернета., VinilNavigator, 13:25 , 05-Сен-07, (8)

Ускоряем загрузку больших файлов из интернета., Alexander Sheiko, 13:53 , 05-Сен-07, (9)

Ускоряем загрузку больших файлов из интернета., anonim, 14:37 , 05-Сен-07, (10)

Ускоряем загрузку больших файлов из интернета., anonymous, 21:48 , 05-Сен-07, (11)
Ускоряем загрузку больших файлов из интернета., Аноним, 23:39 , 05-Сен-07, (12)
Ускоряем загрузку больших файлов из интернета., av5, 08:32 , 06-Сен-07, (13)
Ускоряем загрузку больших файлов из интернета., cmp, 05:07 , 07-Сен-07, (15)

Ускоряем загрузку больших файлов из интернета., av5, 05:20 , 07-Сен-07, (16)

Ускоряем загрузку больших файлов из интернета., Аноним, 06:30 , 07-Сен-07, (17)

Ускоряем загрузку больших файлов из интернета., Z3, 01:57 , 13-Сен-07, (18)
Ускоряем загрузку больших файлов из интернета., sneer, 15:48 , 13-Сен-07, (19)
Ускоряем загрузку больших файлов из интернета., Аноним, 00:15 , 21-Сен-07, (20)
Ускоряем загрузку больших файлов из интернета., wombat, 01:30 , 24-Сен-07, (21)
Ускоряем загрузку больших файлов из интернета., Ajaja, 01:59 , 05-Окт-07, (22)

Сообщения по теме [Сортировка по времени | RSS]

1. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от switch (??) on 04-Сен-07, 18:36

Так, а в чем скорость, если стоит ограничение на сервере по скорости для хоста. То ты будет лить файлик со скорость 100Кб, одним потомком, что 4 потока по 25Кб.
Ну а так параметры CURL для кругозора расширил, спасибо.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от АН on 04-Сен-07, 18:57

тут льют с 4 зеркал

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от anonymous (??) on 04-Сен-07, 19:39

Есть программа "axel" (http://wilmer.gaast.net/main.php/axel.html), делает тоже самое, только без лишней восни.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от Alexander Sheiko on 05-Сен-07, 05:14

Поохоже в мире юникс открыли многопоточную закачку с зеркал :).
Если же серьёзно - нет никакого смысла так извращаться в виду наличия кучи многопоточных даунлоад клиентов, позволяющих выбирать зеркала.
Кроме того - в статье ошибка в операции склеивания. Это только для первого файла хватит одной угловой скобки:
cat ubuntu-iso.part? > ubuntu-7.04-desktop-i386.iso

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от sn (??) on 05-Сен-07, 08:58

Нету ошибки.
cat ubuntu-iso.part? Развернётся оболочкой в cat ubuntu-iso.part1 ubuntu-iso.part2 ubuntu-iso.part3 ubuntu-iso.part4

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от sn (??) on 05-Сен-07, 09:04

То же самое можно сделать с помощью wget, воспользовавшись ключом --header="Range: bytes=200000000-399999999"

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от anonim on 05-Сен-07, 12:04

а вот за расширение кругозора о wget действительно спасибо, в винде адреса зеркал берутся прямо ссервера если я не ошибаюсь, что из линуховских клиентов может также?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от VinilNavigator on 05-Сен-07, 13:25

Не берутся они в винде ни с какого сервера, если ты имеешь ввиду всякие флэшгеты и регеты, то они качают с одного зеркала в несколько потоков. Еще есть автоматический поиск зеркал через поисковики в таких менеджерах, но у меня он ни разу не находил ничего из того что я качал и ни разу не учавствовал в скачивании.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от Alexander Sheiko on 05-Сен-07, 13:53

>Не берутся они в винде ни с какого сервера, если ты имеешь
>ввиду всякие флэшгеты и регеты, то они качают с одного зеркала
>в несколько потоков. Еще есть автоматический поиск зеркал через поисковики в
>таких менеджерах, но у меня он ни разу не находил ничего
>из того что я качал и ни разу не учавствовал в
>скачивании.
Многие позволяют задать зеркала вручную.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от anonim on 05-Сен-07, 14:37

в корневиках иногда валяются файлы mirrors 20kb трафика проверить их наличие, не больше чем нужно чтобы проверить наличие свежей версии той же флэшгет, что сложно прикрутить эту проверку при скачивании >20М

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от anonymous (??) on 05-Сен-07, 21:48

люди,
простите за глупый вопрос,
но есть ли какие теоретические основы закачки файлов?
интересует, в первую очередь ефективность прикладных протоколов для транспортировки файлов

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от Аноним on 05-Сен-07, 23:39

А может заменить протокол http на более подходящий в данной ситуации bittorrent?
Он и "зеркала" сам поищет, и за целостностью файла проследит.
PS: А ещё есть aria2 которая делает тоже что твой скрипт, только без скрипта и 1 программой ;)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от av5 on 06-Сен-07, 08:32

Нахрена это все?
поставил на закачку и занимайся другим.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

15. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от cmp (??) on 07-Сен-07, 05:07

Когда тянешь ISO по диалапу - другим значит уйти в запой на месяц

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

16. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от av5 on 07-Сен-07, 05:20

а чем загрузка с многих мест поможет диалапу?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

17. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от Аноним on 07-Сен-07, 06:30

дайоапу уже ничем не поможешь... как и его владельцу.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

18. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от Z3 on 13-Сен-07, 01:57

FYI: банальным битторентом убунта с официальной раздачи качается на 5-мбитном канале прогружая канал в сторону даунлоада на 100% - куда уж быстрее??И до кучи еще и целостность файла торент качественно проверяет, поблочно.Даунлоады гарантировано не битые.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

19. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от sneer (??) on 13-Сен-07, 15:48

да кста убунту как-то качал вгетом а там как-раз тока исо выложили долго тянуло сипец а как скачал файл битый оказался

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

20. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от Аноним on 21-Сен-07, 00:15

Debian и Ubuntu имеют штатную механизьму закачки с проверкой - jigdo. Штатную - потому что они .jigdo и .template файлы для каждого релиза выкладывают. И рекомендуют они именно через jigdo качать.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

21. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от wombat on 24-Сен-07, 01:30

спасибо! познавательно

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

22. "Ускоряем загрузку больших файлов из интернета." +/–

Сообщение от Ajaja on 05-Окт-07, 01:59

После того как Reget мне пару закачек запорол я и в винде перешел на Curl ;) Лучше немного повозиться с curl --range ... и copy /b ..., чем перезакачивать потом сотни мегабайт.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от switch (??) on 04-Сен-07, 18:36
Так, а в чем скорость, если стоит ограничение на сервере по скорости для хоста. То ты будет лить файлик со скорость 100Кб, одним потомком, что 4 потока по 25Кб. Ну а так параметры CURL для кругозора расширил, спасибо.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	2. "Ускоряем загрузку больших файлов из интернета."	+/–
	Сообщение от АН on 04-Сен-07, 18:57
	тут льют с 4 зеркал
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

3. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от anonymous (??) on 04-Сен-07, 19:39
Есть программа "axel" (http://wilmer.gaast.net/main.php/axel.html), делает тоже самое, только без лишней восни.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

4. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от Alexander Sheiko on 05-Сен-07, 05:14
Поохоже в мире юникс открыли многопоточную закачку с зеркал :). Если же серьёзно - нет никакого смысла так извращаться в виду наличия кучи многопоточных даунлоад клиентов, позволяющих выбирать зеркала. Кроме того - в статье ошибка в операции склеивания. Это только для первого файла хватит одной угловой скобки: cat ubuntu-iso.part? > ubuntu-7.04-desktop-i386.iso
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	5. "Ускоряем загрузку больших файлов из интернета."	+/–
	Сообщение от sn (??) on 05-Сен-07, 08:58
	Нету ошибки. cat ubuntu-iso.part? Развернётся оболочкой в cat ubuntu-iso.part1 ubuntu-iso.part2 ubuntu-iso.part3 ubuntu-iso.part4
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

6. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от sn (??) on 05-Сен-07, 09:04
То же самое можно сделать с помощью wget, воспользовавшись ключом --header="Range: bytes=200000000-399999999"
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

7. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от anonim on 05-Сен-07, 12:04
а вот за расширение кругозора о wget действительно спасибо, в винде адреса зеркал берутся прямо ссервера если я не ошибаюсь, что из линуховских клиентов может также?
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

8. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от VinilNavigator on 05-Сен-07, 13:25
Не берутся они в винде ни с какого сервера, если ты имеешь ввиду всякие флэшгеты и регеты, то они качают с одного зеркала в несколько потоков. Еще есть автоматический поиск зеркал через поисковики в таких менеджерах, но у меня он ни разу не находил ничего из того что я качал и ни разу не учавствовал в скачивании.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	9. "Ускоряем загрузку больших файлов из интернета."	+/–
	Сообщение от Alexander Sheiko on 05-Сен-07, 13:53
	>Не берутся они в винде ни с какого сервера, если ты имеешь >ввиду всякие флэшгеты и регеты, то они качают с одного зеркала >в несколько потоков. Еще есть автоматический поиск зеркал через поисковики в >таких менеджерах, но у меня он ни разу не находил ничего >из того что я качал и ни разу не учавствовал в >скачивании. Многие позволяют задать зеркала вручную.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	10. "Ускоряем загрузку больших файлов из интернета."	+/–
	Сообщение от anonim on 05-Сен-07, 14:37
	в корневиках иногда валяются файлы mirrors 20kb трафика проверить их наличие, не больше чем нужно чтобы проверить наличие свежей версии той же флэшгет, что сложно прикрутить эту проверку при скачивании >20М
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

11. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от anonymous (??) on 05-Сен-07, 21:48
люди, простите за глупый вопрос, но есть ли какие теоретические основы закачки файлов? интересует, в первую очередь ефективность прикладных протоколов для транспортировки файлов
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

12. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от Аноним on 05-Сен-07, 23:39
А может заменить протокол http на более подходящий в данной ситуации bittorrent? Он и "зеркала" сам поищет, и за целостностью файла проследит. PS: А ещё есть aria2 которая делает тоже что твой скрипт, только без скрипта и 1 программой ;)
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

13. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от av5 on 06-Сен-07, 08:32
Нахрена это все? поставил на закачку и занимайся другим.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

15. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от cmp (??) on 07-Сен-07, 05:07
Когда тянешь ISO по диалапу - другим значит уйти в запой на месяц
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	16. "Ускоряем загрузку больших файлов из интернета."	+/–
	Сообщение от av5 on 07-Сен-07, 05:20
	а чем загрузка с многих мест поможет диалапу?
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	17. "Ускоряем загрузку больших файлов из интернета."	+/–
	Сообщение от Аноним on 07-Сен-07, 06:30
	дайоапу уже ничем не поможешь... как и его владельцу.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

18. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от Z3 on 13-Сен-07, 01:57
FYI: банальным битторентом убунта с официальной раздачи качается на 5-мбитном канале прогружая канал в сторону даунлоада на 100% - куда уж быстрее??И до кучи еще и целостность файла торент качественно проверяет, поблочно.Даунлоады гарантировано не битые.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

19. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от sneer (??) on 13-Сен-07, 15:48
да кста убунту как-то качал вгетом а там как-раз тока исо выложили долго тянуло сипец а как скачал файл битый оказался
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

20. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от Аноним on 21-Сен-07, 00:15
Debian и Ubuntu имеют штатную механизьму закачки с проверкой - jigdo. Штатную - потому что они .jigdo и .template файлы для каждого релиза выкладывают. И рекомендуют они именно через jigdo качать.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

21. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от wombat on 24-Сен-07, 01:30
спасибо! познавательно
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

22. "Ускоряем загрузку больших файлов из интернета."	+/–
Сообщение от Ajaja on 05-Окт-07, 01:59
После того как Reget мне пару закачек запорол я и в винде перешел на Curl ;) Лучше немного повозиться с curl --range ... и copy /b ..., чем перезакачивать потом сотни мегабайт.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору