The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Релиз GNU Wget 1.13"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Релиз GNU Wget 1.13"  +/
Сообщение от opennews (??) on 15-Авг-11, 18:25 
После двух лет разработки доступна (http://ftp.gnu.org/gnu/wget/) новая версия программы для автоматизации загрузки контента с использованием протоколов HTTP и FTP - GNU Wget 1.13 (http://www.gnu.org/software/wget/). По сравнению с прошлой версией отмечено только одно существенное улучшение - реализация поддержки HTTP/1.1.  Так же в новой версии: улучшена работа по разбору страниц, содержащих незакрытые тэги; диагностические сообщения теперь выводятся в stderr вместо stdout; при использовании "--no-parent" теперь несколько раз не загружаются одинаковые страницы, доступные как по HTTP, так и по HTTPS; для вывода всех определенных для заданного домена IP-адресов добавлена опция "show_all_dns_entries". Другие изменения в основном  связаны с исправлением ошибок и улучшением переносимости кода.

URL: http://ftp.gnu.org/gnu/wget
Новость: http://www.opennet.dev/opennews/art.shtml?num=31486

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Релиз GNU Wget 1.13"  +/
Сообщение от Аноним (??) on 15-Авг-11, 18:25 
>>реализация поддержки HTTP/1.1

непонятно, а раньше разве не было? а partial content как тогда работал?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Релиз GNU Wget 1.13"  +/
Сообщение от Andrey Mitrofanov on 15-Авг-11, 18:28 
>partial content как тогда работал?

Успешно и ненавязчиво... http://ru.wikipedia.org/wiki/HTTP#HTTP.2F1.1

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Релиз GNU Wget 1.13"  +/
Сообщение от Аноним (??) on 15-Авг-11, 18:46 
Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло? Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Релиз GNU Wget 1.13"  +/
Сообщение от Аноним (??) on 15-Авг-11, 18:58 
Нету программистов, которым это было бы интересно.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Релиз GNU Wget 1.13"  +/
Сообщение от Аноним (??) on 15-Авг-11, 20:41 
> Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло?

А что там разрабатывать? Инструмент закончен и умеет всё что от него требуется, из изменений остаются в основном багфиксы.

> Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему?

Что вы подразумеваете под динамикой? JS? Тогда не может, никогда не сможет и никто не сможет, потому что динамика для качания не приспособлена абсолютно, и это только один из десятков причин не использовать её.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

7. "Релиз GNU Wget 1.13"  +/
Сообщение от Аноним (??) on 15-Авг-11, 23:45 
Под динамикой подразумеваю пхпшный сайт, вики - http://pcl.catap.ru/doku.php?id=pcl . Рекурсивное скачивание не пошло, выкачивает только первую страницу.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

9. "Релиз GNU Wget 1.13"  +9 +/
Сообщение от stellgenossen.ru email on 16-Авг-11, 00:05 
$ man wget
...
While doing that, Wget respects the Robot Exclusion Standard (/robots.txt).

$ wget -qO - http://pcl.catap.ru/robots.txt
User-agent: *
Disallow: /

Поясню: wget при рекурсивном обходе по умолчанию следует правилам robots.txt, а на указанном вами сайте robots.txt запрещает обход.
Используйте ключик "-e robots=off", все скачается.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

12. "Релиз GNU Wget 1.13"  +/
Сообщение от Аноним (??) on 16-Авг-11, 08:03 
Спасибо, Вы мне очень помогли, о тонкостях robots.txt я ничего не знал
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

6. "Релиз GNU Wget 1.13"  +/
Сообщение от WhereWolf on 15-Авг-11, 22:48 
Полазил по их FTP - даже не думал, что в рамках проекта GNU было написано СТОЛЬКО ВСЕГО!
ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs ))
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Релиз GNU Wget 1.13"  +/
Сообщение от XoRe (ok) on 15-Авг-11, 23:46 
> Полазил по их FTP - даже не думал, что в рамках проекта
> GNU было написано СТОЛЬКО ВСЕГО!
> ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs ))

В рамках проекта GNU была написана бОльшая часть юзерленда linux.
В том числе, GCC.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

10. "Релиз GNU Wget 1.13"  +1 +/
Сообщение от Цекака Паэсэс on 16-Авг-11, 00:05 
> Полазил по их FTP...

в данном случае единственно верный способ полазить по их ftp это выполнить:

wget -m -np http://ftp.gnu.org/gnu/

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Релиз GNU Wget 1.13"  +/
Сообщение от ptr (??) on 16-Авг-11, 07:45 
Интересно, а может ли он что-то, чего не может curl? Я думал его забросили именно из-за развития последнего.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Релиз GNU Wget 1.13"  +/
Сообщение от Аноним (??) on 16-Авг-11, 08:05 
У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные взаимодействия с сервером и доступен как библиотека. Сайт скачать им не получится
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

14. "Релиз GNU Wget 1.13"  +/
Сообщение от ptr (??) on 16-Авг-11, 09:56 
> У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные
> взаимодействия с сервером и доступен как библиотека. Сайт скачать им не
> получится

Только им, да. Там в поставке перловский скрипт был для мирроринга. Зато wget не умеет POST, что, бывает, очень сильно мешает в целях того же мирроринга.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

16. "Релиз GNU Wget 1.13"  +/
Сообщение от Andrey Mitrofanov on 16-Авг-11, 10:50 
>Зато wget не умеет POST, что, бывает, очень сильно мешает

--post-data=string
--post-file=file
    Use POST as the method for all HTTP requests and send the specified data in the equest body.

Угадай - откуда?!! Две... Нет, три! попытки.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

17. "Релиз GNU Wget 1.13"  +/
Сообщение от ptr (??) on 16-Авг-11, 11:05 
>>Зато wget не умеет POST, что, бывает, очень сильно мешает
>
--post-data=string 
> --post-file=file
>     Use POST as the method for all HTTP
> requests and send the specified data in the equest body.

> Угадай - откуда?!! Две... Нет, три! попытки.

Последний раз проводил эксперименты лет 5 назад. Надо было на роутере через веб морду pppd перезапускать. На wget не получилось. На curl завелось сразу. Может с тех пор такое ощущение и сохранилось. Извиняюсь, значит заблуждался.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

15. "Релиз GNU Wget 1.13"  +/
Сообщение от Аноним (??) on 16-Авг-11, 10:04 
Мой клиент дефолтный клиент для скачивания, прелесть. Пользуюсь практически каждый день :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Релиз GNU Wget 1.13"  +/
Сообщение от Sergey722 (ok) on 16-Авг-11, 11:29 
Штука хорошая, но почему он не качает в несколько потоков?
Т.ч. в некоторых случаях Aria2!!!
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

19. "Релиз GNU Wget 1.13"  +1 +/
Сообщение от EuPhobos (ok) on 16-Авг-11, 17:14 
Очень часто пользую wget в целях просто скачать тарбольчик с сырцами на сервак, или скачать http страничку, распарсить awk-ом и вытянуть всё нужное.
Но почитав комменты, не перестаю удивляться, что ещё умеет wget.

ЗЫ да-да, знаю, в мане слишком много букаф ;) Да и не всегда все тонкости wget-а бывают нужны, а когда нужны - то тогда да, ман.. )

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Релиз GNU Wget 1.13"  +/
Сообщение от VictorVG email(??) on 22-Авг-11, 02:31 
На GNU FTP новейшие исходники отыскал только 1.12. И где взять 1.13? Я вроде по всем зеркалам просмотрел. Не успели выложить или я с усталости пропустил?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Релиз GNU Wget 1.13"  +/
Сообщение от VictorVG email(??) on 22-Авг-11, 02:34 
Оценку снизил за бумажность анонса. Эти только сайт SamLab "славится", но так они на этом зарабатывают.:)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Релиз GNU Wget 1.13"  +/
Сообщение от Alex_Piggy on 22-Авг-11, 18:59 
2VictorVG, all
Добрый день
15 августа исходники были, 16 августа выпустили 1.13.1. Сейчас (22 августа) их нет.
Согласно www.linux.org.ru/forum/talks/6642712  его убрали из-за глючности.
Осталась только копия на launchpad.net
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру