форумы  помощь  поиск  регистрация  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Представлена распределённая система доставки web-контента Ca..."	+/–
Сообщение от opennews (??) on 24-Окт-16, 10:50
Опубликован первый выпуск проекта CacheP2P (http://www.cachep2p.com/), в рамках которого развивается распределённая система доставки контента, построенная из клиентских браузеров, которые выполняют роль узлов для отдачи прокэшированных страниц. Исходные тексты проекта распространяются (https://github.com/guerrerocarlos/CacheP2P) под лицензией MIT. Для использования CacheP2P достаточно (http://www.cachep2p.com/documentation.html) добавить на страницы загрузку предоставляемой проектом JavaScript-библиотеки, которая сформирует сеть для отдачи контента из браузерного кэша посетителей сайта. Каждый новый посетитель становится участником сети, зеркалирует у себя открытые страницы и открывает совместный доступ к прокэшированным страницам  для других пользователей, позволяя получить эти страницы без прямого обращения к сайту. Подобная P2P-сеть может использоваться как для обхода блокировок, так и для снижения нагрузки на сервер и сохранения доступа в случае выхода сервера из строя.    Распределённая сеть из клиентских браузеров строится (http://www.cachep2p.com/api.html) при помощи технологии WebTorrent (https://www.opennet.dev/opennews/art.shtml?num=43690), предоставляющей реализацию клиента BitTorrent, работающего на стороне браузера в форме web-приложения, не требующего для работы внешней серверной инфраструктуры и браузерных плагинов. Для организации прямого P2P-канала связи между браузерами применяется протокол  WebRTC (https://ru.wikipedia.org/wiki/WebRTC). CacheP2P рассматривает каждый URL в качестве отдельного торрента, для которого формируется идентификатор TorrentID, хэш SHA1 для верификации прокэшированных вариантов страниц и параметры для определения времени жизни данных в кэше. URL: https://news.ycombinator.com/item?id=12752168 Новость: http://www.opennet.dev/opennews/art.shtml?num=45364
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Представлена распределённая система доставки web-контента Ca..."	+1 +/–
Сообщение от Аноним (??) on 24-Окт-16, 10:50
Я хочу зайти на rutracker (и он установил себе CachP2P). Допустим, у меня сайт заблокирован, но у Васи есть VPN - он его себе открыл и закэшировал. Как я теперь найду Васю?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	4. "Представлена распределённая система доставки web-контента Ca..."	+5 +/–
	Сообщение от Вася (??) on 24-Окт-16, 10:54
	А ты как думаешь? Через треккер, очевидно. Технология bittorrent же.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	10. "Представлена распределённая система доставки web-контента Ca..."	+3 +/–
	Сообщение от name (??) on 24-Окт-16, 11:36
	DHT уже не тот?
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	28. "Представлена распределённая система доставки web-контента Ca..."	+1 +/–
	Сообщение от Аноним (??) on 24-Окт-16, 18:09
	А если серьёзно, то видимо с этой хренью никакого сертификата подделывать не надо, или специальные российские сертификаты вводить, достаточно загрузить страницу первым, и можно проводить MITM. На самом деле подобные технологии нужны только для тяжелого контента.
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	30. "Представлена распределённая система доставки web-контента Ca..."	+2 +/–
	Сообщение от Аноним (??) on 24-Окт-16, 21:29
	Новость не читаем, сразу отвечаем? >хэш SHA1 для верификации прокэшированных вариантов страниц
	Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

	20. "Представлена распределённая система доставки web-контента Ca..."	+2 +/–
	Сообщение от Аноним (??) on 24-Окт-16, 14:59
	Не надо искать этого Васю, потому что серьёзные люди найдут его раньше тебя, и все, кто ищет Васю, попадут на них.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Представлена распределённая система доставки web-контента Ca..."	+2 +/–
Сообщение от Аноним (??) on 24-Окт-16, 10:54
чем это лучше строящихся поверх IPFS аналогов или даже вебсерверной версии собснов bittorent-а, например ? :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	7. "Представлена распределённая система доставки web-контента Ca..."	+2 +/–
	Сообщение от Аноним (??) on 24-Окт-16, 11:29
	Ну это, видимо, такой костыль на время, пока IPFS еще не захватил вселенную.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	18. "Представлена распределённая система доставки web-контента Ca..."	–1 +/–
	Сообщение от arzeth (ok) on 24-Окт-16, 14:43
	Не знаю, но по крайней мере размером лучше: $ curl -sL https://unpkg.com/cachep2p/cachep2p.min.js | gzip -c4 | wc -c 81601 $ curl -sL https://unpkg.com/ipfs/dist/index.min.js | gzip -c4 | wc -c 449445 Однако, может быть эта разница нивелируется, если IPFS быстрее работает (у js-ipfs под капотом не WebTorrent) — надо побенчмарчить, только не знаю как, надо ведь много сидов откуда-то взять.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	33. "Представлена распределённая система доставки web-контента Ca..."	+/–
	Сообщение от Аноним (??) on 25-Окт-16, 03:10
	А js-ipfs уже работоспособен? Ну, в любом случае, IPFS — штука гораздо более универсальная, так что соотношение размеров неудивительно.
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

3. "Представлена распределённая система доставки web-контента Ca..."	+8 +/–
Сообщение от Аноним (??) on 24-Окт-16, 10:54
Хорошо, пусть доставляет!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Представлена распределённая система доставки web-контента Ca..."	+10 +/–
Сообщение от Аноним (??) on 24-Окт-16, 11:21
т.е. я могу данные из кеша других пользователей запрашивать? зашибись, чо... а можно список сайтов, на которых эта либа установлена? чтобы случайно на них не зайти...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Представлена распределённая система доставки web-контента Ca..."	+8 +/–
Сообщение от Аноним84701 on 24-Окт-16, 11:34
http://www.cachep2p.com/documentation.html > Security hashes allow you to define the only content that is valid and that is in sync with the latest content of your website. > Step 4 > Add the three files to the <footer> of all the pages: <script src="cachep2p.min.js"></script> <script src="cachep2p.security.js"></script> <script src="init.js"></script> > It's important to have them in the correct order. Я правильно понимаю, что при некотором "везении" и расположении рук клепателя сайта (причем, даже не главного, а какого нибудь очередного "оптимизатора", котороый слышал звон и решил осчастливить всех подряд) чуть поближе к седалищу, будет кэшироваться и отдаваться посторонним и то, что для взора этих самых посторонних совсем не предназначено (типа "site/pm/1/read")?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Представлена распределённая система доставки web-контента Ca..."	+/–
Сообщение от QuAzI (ok) on 24-Окт-16, 11:34
Очень нужен инструмент, который даже не то что обходить будет цензуру, а позволит достучаться к заведомо утерянной информации. Регулярно умирают сайты, закрываются интересующие статьи на хабре, пропадает контент за давностью времени - это всё очень сильно бесит. Как в этой штуке реализована поддержка динамики? Как убедиться, что содержимое страницы актуально, а не тухляк недельной давности? Как убедиться, что нет посторонних вставок?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	11. "Представлена распределённая система доставки web-контента Ca..."	+3 +/–
	Сообщение от freehck (ok) on 24-Окт-16, 11:57
	> Как в этой штуке реализована поддержка динамики? Никак, вестимо. Пока есть люди, у которых открыт/в кэше нужный тебе контент - контент есть. Как только интерес пропадает, контента уже нету. Недельной давности контент не выживет. > Как убедиться, что содержимое страницы актуально, а не тухляк недельной давности? Кэш браузера учитывает http-заголовки expire, так что можно дать определённые гарантии, что не тухляк. > Как убедиться, что нет посторонних вставок? Контент ведь ищется по контрольным суммам, как в DHT. Суммы берутся от содержимого страницы.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	12. "Представлена распределённая система доставки web-контента Ca..."	+1 +/–
	Сообщение от QuAzI (ok) on 24-Окт-16, 12:02
	>> Контент ведь ищется по контрольным суммам, как в DHT. Суммы берутся от содержимого страницы. Контрольные суммы нужно откуда-то получить. Если я и так делаю запрос к основному сайту чтобы получить данные, то мне уже поздно опрашивать пиров, проще и надёжнее сразу получить готовые данные. Если конечно речь всё ещё про веб, а не тупо файлопомойку с варезом. Вообще по хорошему хотелось бы иметь что-то типа набора метатегов с указанием зеркал, где можно найти эту же страницу в случае смерти основного сайта. Плюс поддержка таких "множественных" ссылок браузерами при добавлении страницы в закладки. Что-то похожее есть в металинке - если основная ссылка не работает - есть альтернативные, ну или можно форснуть нужный источник. В том числе torrent, как один из источников. Конечно с динамикой в этом плане беда, но хотя бы базовое со статическим содержимым (статьи, документация и т.п.) будет гораздо живее, чем сейчас.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	17. "Представлена распределённая система доставки web-контента Ca..."	+/–
	Сообщение от Sw00p aka Jerom on 24-Окт-16, 14:42
	Новостные сайты идут лесом, эт технология больше подойдёт сайтам вроде википедии. Хотя эта же технология есть банальный CDN
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	22. "Представлена распределённая система доставки web-контента Ca..."	+/–
	Сообщение от QuAzI (ok) on 24-Окт-16, 15:27
	> Новостные сайты идут лесом, эт технология больше подойдёт сайтам вроде википедии. Хотя > эта же технология есть банальный CDN Опишите кейс, когда банальный CDN в долгосрочной перспективе (т.е. автора сбил автобус и он больше не платит за CDN) решит вопрос с доступностью контента в случае выпадания основного сайта?
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	31. "Представлена распределённая система доставки web-контента Ca..."	+/–
	Сообщение от Sw00p aka Jerom on 24-Окт-16, 21:54
	В случае если вас беспокоит понятие высокой доступности, то необходимо применить один из методов обеспечения высокой доступности - резервирование (избыточность). (в данном конкретном случае (человеческий фактор) - завести второго админа, соучредителя, фин менеджера и тд) Пс: в случае с браузерным п2п кешированием лучше использовать MRU.
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	23. "Представлена распределённая система доставки web-контента Ca..."	+2 +/–
	Сообщение от freehck (ok) on 24-Окт-16, 15:27
	>>> Контент ведь ищется по контрольным суммам, как в DHT. Суммы берутся от содержимого страницы. > Контрольные суммы нужно откуда-то получить. Если я и так делаю запрос к > основному сайту чтобы получить данные, то мне уже поздно опрашивать пиров, > проще и надёжнее сразу получить готовые данные. Если конечно речь всё > ещё про веб, а не тупо файлопомойку с варезом. Проще - да. Но вот с надёжностью есть сомнения. Если ресурс массовый, то возможно будет иметь смысл отправить каркас с хэш-суммами, а загрузку данных по этим хэшам оставить на откуп браузеру пользователя. Это может выйти: а) быстрее для пользователя б) менее накладно для опрашиваемого ресурса. > Конечно с динамикой > в этом плане беда, но хотя бы базовое со статическим содержимым > (статьи, документация и т.п.) будет гораздо живее, чем сейчас. А вот это кстати интересный вопрос. Если будет возможность такие вот magnet-ссылки формировать для веб-содержимого, это было бы весьма неплохо.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	19. "Представлена распределённая система доставки web-контента Ca..."	+2 +/–
	Сообщение от FSA (??) on 24-Окт-16, 14:43
	> позволит достучаться к заведомо утерянной информации archive.org, не? Правда его самого надо открывать через обход блокировки. Уроды те, кто это сделал!
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	21. "Представлена распределённая система доставки web-контента Ca..."	+2 +/–
	Сообщение от QuAzI (ok) on 24-Окт-16, 15:09
	>> позволит достучаться к заведомо утерянной информации > archive.org, не? Правда его самого надо открывать через обход блокировки. Уроды те, > кто это сделал! 1) Он архивирует далеко не всё, что народ читает 2) На нём тоже есть случаи когда не весь контент заархивирован 3) Он тоже может умереть/заблокироваться и т.п. т.е. пиром больше, пиром меньше - в данном случае разница не шибко велика.
	Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

	34. "Представлена распределённая система доставки web-контента Ca..."	+/–
	Сообщение от FSA (??) on 25-Окт-16, 05:50
	>>> позволит достучаться к заведомо утерянной информации >> archive.org, не? Правда его самого надо открывать через обход блокировки. Уроды те, >> кто это сделал! > 1) Он архивирует далеко не всё, что народ читает > 2) На нём тоже есть случаи когда не весь контент заархивирован > 3) Он тоже может умереть/заблокироваться и т.п. > т.е. пиром больше, пиром меньше - в данном случае разница не шибко > велика. Я не сравниваю с сабжем, я просто предлгаю другой инструмент человеку.
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

	29. "Представлена распределённая система доставки web-контента Ca..."	+/–
	Сообщение от Balancer (ok) on 24-Окт-16, 19:24
	>Регулярно умирают сайты, закрываются интересующие статьи на хабре, пропадает контент за давностью времени - это всё очень сильно бесит. Вот тут особенно хорош ZeroNet. Пока копия сайта есть хоть у одного пользователя, он доступен всем.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	32. "Представлена распределённая система доставки web-контента Ca..."	–1 +/–
	Сообщение от Ergil (ok) on 24-Окт-16, 22:38
	> закрываются интересующие статьи на хабре, sohabr.net и расширение «Всегдабр» тебе в помощь. И ничего пропадать не будет.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

13. "Представлена распределённая система доставки web-контента Ca..."	–1 +/–
Сообщение от Kroz (ok) on 24-Окт-16, 13:45
Идея классная. Я бы даже сказал, что это Internet Next Generation. Но пока что возникает много вопросов: - сохранение контента: как/кто будет решать что хранится на моем компе? Говорили про "хорошие сайты, которые исчезают": а если сайт хороший, но я на него зашел один раз и просто добавил в букмарки на будущее: как долго он просуществует на моем компе? - privacy 1: как/кто будет решать кому отдавать. Если раздавать всем, то по сути каждый может узнать, хранится ли на твоем компе определенный контент или нет. - privacy 2: как будет решаться проблема "персонализированного" контента? - performance: какое будет время от момента ввода URL до момента начала загрузки? Думаю, многое можно взять у прокси-серверов (а ведь де факто это распределенный прокси-сервер), но не всё. В любом случае, технология интересна.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	15. "Представлена распределённая система доставки web-контента Ca..."	+/–
	Сообщение от QuAzI (ok) on 24-Окт-16, 14:07
	>> просто добавил в букмарки на будущее: как долго он просуществует на моем компе? Да, это самый бедовый вопрос. Некоторый контент сохраняю через ScrapBook X, но он во первых не синхронизируется никак даже между только моими ПК/смартфоном/планшетом (что уже само по себе не удобно), во вторых никак не учитывает динамику. Страница запоминается "как есть", с таким же успехом можно в PDF пулять и на DropBox, только большинство PDF-илок не дают выделить из страницы нужное и сохраняют всё тупо как картинку (весит как не в себя).
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	24. "Представлена распределённая система доставки web-контента Ca..."	+1 +/–
	Сообщение от Michael Shigorin (ok) on 24-Окт-16, 15:45
	> Страница запоминается "как есть", с таким же успехом можно > в PDF пулять и на DropBox, только большинство PDF-илок не дают > выделить из страницы нужное и сохраняют всё тупо как картинку > (весит как не в себя). Продайте козу, бишь не пуляйте в PDF? :)
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

14. "Представлена распределённая система доставки web-контента Ca..."	+3 +/–
Сообщение от Аноним (??) on 24-Окт-16, 13:59
Мне интересно как теперь пользователи из Европы и США, с их автоматическими системами обнаружения скачивания торрентов, будут доказывать, что просто зашли на сайт
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	16. "Представлена распределённая система доставки web-контента Ca..."	+1 +/–
	Сообщение от Mail on 24-Окт-16, 14:31
	Доказывает следствие.
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	25. "Представлена распределённая система доставки web-контента Ca..."	–1 +/–
	Сообщение от Michael Shigorin (ok) on 24-Окт-16, 15:47
	> Доказывает следствие. Это смотря где.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

26. "Представлена распределённая система доставки web-контента Ca..."	+/–
Сообщение от Аноним (??) on 24-Окт-16, 16:39
Уже которая по счёту. Сможет преуспеть только если будет встраиваться в браузеры и обладать эксклюзивным контентом.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

27. "Представлена распределённая система доставки web-контента Ca..."	+/–
Сообщение от AlexAT (ok) on 24-Окт-16, 17:04
SHA1 для верификации? Надёжненько А вообще идея мне нравится, можно снизить нагрузку на доставку определённых частей контента. Не для маленьких HTML/JS, конечно, нет - задержки на поиск с вероятностью 99% окажутся неприемлемы.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

35. "Представлена распределённая система доставки web-контента Ca..."	+/–
Сообщение от Нет on 25-Окт-16, 08:10
Я не хочу участвовать в отдаче своего кэша всем подряд. Но я зашел на сайт, к которому Вася прикрутил этот скрипт. Будет ли меня браузер уведомлять, что теперь я раздаю свой кэш? Нет. Будет ли хоть одна нормальная контора доверять раздачу контента от своего имени посторонним людям (да, я прочитал про sha-1)? Нет. Как технология - красиво, интересно. Как применение - пока не увидел ничего более достойного, чем распространение вирусов. Лендинги с ними и так долго не живут, а растащить свой дерьмо-контент по всему интернету, чтобы труднее было прибить - милое дело.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

36. "Представлена распределённая система доставки web-контента Ca..."	+/–
Сообщение от Аноним (??) on 26-Окт-16, 15:55
> распределённая система доставки контента, построенная из клиентских браузеров, которые выполняют роль узлов для отдачи прокэшированных страниц webRTC отключил глобально для всех. JS по умолчанию отключён. Если этого будет мало для получения контента напрямую без посредников, добавлю их JS скрипты в фильтры для privoxy.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	37. "Представлена распределённая система доставки web-контента Ca..."	+/–
	Сообщение от Аноним (??) on 27-Окт-16, 14:40
	Держите нас в курсе.
	Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема