Что такое файл обмена сетей
Файлообменная сеть — собирательное название одноранговых компьютерных сетей для совместного использования файлов, основанных на равноправии участвующих в обмене файлами, то есть каждый участник одновременно является и клиентом, и сервером [1] .
Самый известный пример
FTP может использоваться для чтения и, возможно, записи файлов, общих для определенного набора пользователей сайта FTP-сервера, с доступом по паролю. Многие FTP-сайты предлагают общий доступ к файлам или, по крайней мере, возможность просматривать или копировать данные, загружать их, используя общедоступный пароль (который является «анонимным»). Большинство разработчиков веб-сайтов используют эту систему для загрузки новых или пересмотренных файлов на сервер. Более того, сама Всемирная паутина может рассматриваться как крупномасштабная файлообменная сеть, в которой запрашиваемые страницы или файлы постоянно загружаются или копируются пользователями.
Обмен файлами - это практика совместного использования или предоставления доступа к цифровой информации или ресурсам, включая документы, мультимедиа (аудио/видео), графику, компьютерные программы, изображения и электронные книги. Это частное или публичное распространение данных или ресурсов в сети с разными уровнями привилегий на совместное использование. Еще одним примером такой системы можно назвать бесплатные файлообменники, которые позволяют загружать и получать данные для пользователей сети.
Виды файлообменных сетей
Обмен файлами можно выполнить несколькими способами. Наиболее распространенные методы их хранения, распространения и передачи включают в себя следующее:
- Съемные устройства хранения данных.
- Централизованные установки сервера (файлового хостинга в сетях).
- Веб-ориентированные гиперссылки.
- Распределенные одноранговые сети.
За что снимаются деньги
В случае, если абонент расходует интернет-трафик на скачивание контента через торрент-трекеры или P2P-сервисы, МТС списывает с его счета деньги за пользование файлообменными сетями. Данная опция отличается довольно высокой стоимостью (к примеру, с владельцев пакета «Тарифище» взимается плата в размере 75 рублей за каждые 5 гигабайт, которые были израсходованы на закачку из файлообменных сетей). Функционирует система по простому алгоритму: в случае скачивания контента с торрент-трекеров с баланса автоматически списывается фиксированная сумма, за которую начисляется интернет-трафик.
Оплата за сутки удерживается только в те дни, когда абонент использует услугу. Для того, чтобы предотвратить дальнейшие списания, необходимо отключить возможность скачивать контент через торрент-трекеры.
Несмотря на высокую стоимость услуги, скорость закачки файлов с торрент-трекеров и P2P-сервисов ограничена 128 Кбит/сек, что значительно ниже пропускной способности большинства домашних и общественных сетей. Пользователь пакета «Тарифище» может подключать безлимитный интернет или совершать международные звонки на выгодных условиях, однако не имеет права раздавать трафик на другие устройства и компьютеры.
Принципы работы
Основные принципы работы файлообмена заключаются в следующем:
- пользователь скачивает программу себе на компьютер;
- разрешает доступ другим пользователям к некоторой части своих ресурсов (этот процесс называется «расшариванием» англ.sharing );
- в каждой такой программе присутствует поиск, который ищет ресурсы, выложенные на компьютерах других пользователей для свободного скачивания.
Любой пользователь, используя поиск, может найти на компьютере любого другого пользователя те ресурсы, которые тот выложил в свободный доступ, и бесплатно скачать их. А так, как количество пользователей таких файлообменных программ исчисляется сотнями тысяч, а иногда даже миллионами, пользователь скорее всего найдет нужный ему файл.
Децентрализованные сети
Децентрализованные файлообменные сети функционируют без индексационных серверов. Хотя объём передаваемой служебной информации в них больше, надёжность их гораздо выше. Пока не существует способа насильно остановить функционирование такой сети. К децентрализованным сетям относятся Gnutella [1] , RetroShare, Overnet, Kad.
Типы организации файлообменных сетей
Службы синхронизации файлов и совместного доступа
Службы синхронизации и совместного использования файлов на основе облака реализуют автоматическую их передачу путем обновления файлов из выделенного каталога общего доступа на сетевых устройствах каждого пользователя. Данные, размещенные в этой папке, также обычно могут быть просмотрены и загружены через веб-сайт и мобильное приложение и могут быть доступны другим пользователям для просмотра или совместной работы. Такие услуги стали популярными благодаря ориентированному на потребителя предоставлению услуг файлообменных сетей, в частности, Dropbox и GoogleDrive.
Rsync - более традиционная программа, выпущенная в 1996 году, которая синхронизирует файлы на прямой машинной основе.Синхронизация данных в целом может использовать другие подходы к обмену данными. В качестве характерных примеров можно привести распределенные файловые системы, контроль версий или зеркала.
Что они собой представляют?
Файлообменные сети позволяют нескольким людям использовать один и тот же файл с помощью некоторой комбинации возможностей чтения или просмотра, записи или изменения, копирования или печати. Как правило, такая сеть имеет одного или несколько администраторов. Пользователи могут иметь одинаковые или разные уровни доступа. Обмен файлами также может означать наличие выделенного количества личного хранилища данных в общей файловой системе.
В течение многих лет файлообменная сеть представляла собой функцию многоэлементных и многопользовательских компьютерных систем. С появлением интернета широко используется система, называемая протоколом передачи файлов (FTP).
Как обеспечивается функциональность?
В большинстве задач файлообменной сети используются два основных набора сетевых критериев:
Peer-to-Peer (P2P), файлообменная сеть Peers или общий доступ к файлам: это самый популярный способ совместного использования данных, который обеспечивается за счет однорангового программного обеспечения. Пользователи сетевого компьютера определяют общие данные с помощью стороннего программного обеспечения. Обмен файлами P2P позволяет пользователям напрямую получать доступ, скачивать и редактировать данные. Некоторое стороннее программное обеспечение облегчает обмен P2P путем сбора и сегментации больших файлов на более мелкие части (например, Ares).
Файлообменная сеть как услуги хостинга файлов: эта альтернатива предоставляет широкий выбор популярных онлайн-материалов. Эти службы довольно часто используются с методами совместной работы в Интернете, включая электронную почту, блоги, форумы или другие среды, в которые могут быть включены прямые ссылки на скачивание из служб хостинга файлов. На этих веб-сайтах обычно размещаются файлы, позволяющие пользователям загружать их.
Когда пользователи загружают или используют файл с помощью сети обмена, их компьютер также становится частью этой системы, позволяя другим людям загружать данные со своего компьютера. На этом принципе основаны многие бесплатные файлообменники. Однако такой обмен данными, как правило, является незаконным, за исключением совместного использования материалов, которые не защищены авторским правом или являются собственностью.
Еще одна проблема с файлообменными приложениями - проблема шпионского или рекламного ПО, поскольку некоторые сайты обмена файлами размещают программы-шпионы на своих страницах. Эти шпионские приложения часто устанавливаются на компьютеры пользователей без их согласия и осведомленности.
Централизованные сети
Несмотря на то, что каждый участник файлообменной сети является и клиентом и сервером, необходима инфраструктура для объединения разрозненных клиентов между собой в определённое сообщество. В централизованных файлообменных сетях служебную информацию хранят индексационные серверы.
Достоинством такой сети является относительная простота программирования такой сети и небольшой объём служебной информации, передаваемой на серверы. Закрытие сетей Napster и WinMX показало ненадёжность централизованных файлообменных сетей [1] . Индексационные серверы могут быть отключены по разным причинам (технический сбой, разорение владеющей компании, судебное решение). В таком случае сеть перестаёт функционировать. К централизованным сетям относится Direct Connect.
Заключение
«Использование файлообменных сетей» представляет собой списание денежных средств с абонентов МТС за скачивание контента через торрент-трекеры и P2P-сервисы. В случае, если деньги были удержаны с баланса ошибочно, стоит обратиться в службу поддержки абонентов оператора мобильной связи МТС и сообщить о возникшей проблеме, потребовав оформить возврат списанных средств.
Известные децентрализованные и гибридные файлообменные сети
История развития файлообменных сетей
Сначала файлы обменивались с помощью съемных носителей. Компьютеры смогли получать доступ к удаленным данным с помощью установки файловой системы, систем досок объявлений (1978), Usenet (1979) и FTP-серверов (1985).
Возникшие позже InternetRelayChat (1988) и Hotline (1997) позволили пользователям общаться удаленно через чат и обмениваться файлами. В конце 1990-х годов широкое распространение получила кодировка mp3, которая была стандартизована в 1991 году и существенно уменьшала размер аудиофайлов.
В июне 1999 года был разработан Napster как неструктурированная централизованная одноранговая система, требующая сервера для индексирования и обнаружения других участников соединения. Gnutella, eDonkey2000 и Freenet были выпущены в 2000 году и сразу широко распространились по многим странам.
Так, Gnutella была первой децентрализованной сетью обмена файлами. В этой сети все соединительные программы считались равными, и поэтому она не имела центральной точки отказа. Freenet стала первой сетью, гарантирующей анонимность. Затем было выпущено клиентское и серверное программное обеспечение eDonkey2000, которое стало прообразом популярных сегодня торрентов.
В 2001 году были выпущены Kazaa и Poisoned для Mac. Их сеть FastTrack была распределена лучше, хотя, в отличие от Gnutella, она несла в себе больше трафика, чтобы повысить эффективность маршрутизации. Сеть была проприетарной и зашифрованной, и разработчики Kazaa в результате выиграли конкуренцию.
Многие абоненты МТС при просмотре детализации расходов сталкиваются с новым списанием за скачивание контента с помощью торрент-трекеров и P2P-сервисов. За данную опцию удерживаются суммы в размере от 75 до 225 рублей. Следующие рекомендации помогут отключить использование файлообменных сетей и сэкономить деньги.
Упоминания в литературе
Описание принципа децентрализованной сети:
— Храм должен был быть вечным. Как сама глубина. А значит, не зависеть ни от одного сервера. Создающие Храм программы свободно блуждают по сети, их фрагменты дублируются, рекомбинируются, самостоятельно организуются для работы. Чтобы Храм исчез, надо уничтожить все машины в сети. Точнее, более девяноста трёх процентов, на нынешний момент.
В подробных описаниях тарифов мобильных операторов нередко можно встретить понятие «файлообменные сети», особенно это касается тарифов с безлимитным интернетом. Иногда оператор ограничивает скорость абонента в файлообменных сетях, иногда – закрывает к ним доступ вообще, а МТС, например, недавно на новом «Тарифище», обновленном 13 февраля 2020 года, стал брать за использование файлообменных сетей 75 рублей в сутки. И некоторым абонентам стало очень интересно, что это за файлообменные сети вообще?
Файлообменная сеть – это собирательное название одноранговых компьютерных сетей для совместного использования файлов. Эти сети основаны на равноправии всех участников – каждый из них одновременно является и клиентом, и сервером. Говоря простыми словами, это сеть, в которой абоненты и качают, и раздают определенные файлы, при этом эти самые файлы хранятся не на сервере, а на компьютерах пользователей.
Файлообменные сети можно разделить на:
- Централизованные сети. Для объединения пользователей используется сообщество, а служебную информацию хранят индексационные серверы. При их отключении сеть перестаёт функционировать. Наиболее известный представитель – Direct Connect.
- Децентрализованные сети. Работают без индексационных серверов. Передаваемой служебной информации в таких сетях больше, но насильно функционирование такой сети остановить нельзя. Наиболее известный представитель – Gnutella.
- Гибридные сети (частично децентрализованные). Сочетают в себе скорость централизованных и надёжность децентрализованных сетей за счёт гибридных схем. Гибридные сети используют независимые индексационные серверы. При закрытии одного сеть продолжает функционировать, так как есть другие. Наиболее известные представители – eDonkey2000, Torrent.
BitTorrent – это пиринговый сетевой протокол для кооперативного обмена файлами через Интернет, т.е. для обмена файлами между пользователями. Технология относится к гибридным файлообменным сетям. Протокол используется клиентами BitTorrent и uTorrent, второй – более популярен.
Файлы передаются частями, а каждый торрент-клиент, т.е. человек, который качает файл, получая части этого самого файла начинает их раздачу другим торрент-клиентам, что снижает нагрузку и зависимость от каждого клиента-источника и обеспечивает избыточность данных. Говоря простыми словами, после того как пользователь скачал хотя бы небольшую часть файла, он начинает раздавать его другим пользователям.
Чтобы клиенты могли найти друг друга, существуют торрент-трекеры, то есть независимые индексационные серверы. Чтобы найти пользователей, от которых можно скачать файл, достаточно скачать очень маленький по объёму торрент-файл с торрент-трекера и запустить его при помощи торрент-приложения.
Файлообменные сети – это крайне удобный инструмент для огромного количества пользователей, позволяющий качать музыку, фильмы, игры, программы и т.п. Но не стоит забывать, что в подавляющем большинстве случаев нарушаются авторские права, поэтому нередко торрент-трекеры блокируются.
Не стоит путать файлообменные сети и файлообменники. К последним относятся как раз-таки специализированные серверы, на которые загружаются файлы для последующего их скачивания другими пользователями. То есть технологии кардинально отличаются.
Файлообменная сеть – собирательное название сетей для совместного использования файлов.
Часто в основе файлообменных сетей лежат одноранговые компьютерные сети, основанные на равноправии участвующих в обмене файлами, то есть каждый участник одновременно является и клиентом (потребителем информации), и сервером (поставщиком информации).
Основные принципы работы файлообмена заключаются в следующем:
– пользователь скачивает программу к себе на компьютер;
– дает доступ другим пользователем к части своих ресурсов (этот процесс называется «расшариванием»);
– в каждой такой программе присутствует поиск, который ищет ресурсы, выложенные на компьютерах других пользователей для свободного скачивания. Любой пользователь, используя поиск, может найти на компьютере любого другого пользователя те ресурсы, которые он выложил в свободный доступ, и совершенно бесплатно скачать их. А так как количество пользователей таких файлообменных программ исчисляется сотнями тысяч, а иногда даже миллионами, пользователь наверняка найдет интересующий его файл.
Эта технология получила название P2P (pear to pear), в переводе – децентрализованная.
Впервые термин peer-to-peer (P2P) был использован в 1984 г. компанией IBM при разработке сетевой архитектуры для динамической маршрутизации трафика через компьютерные сети с произвольной топологией (Advanced Peer to Peer Networking).
В существующих сегодня файлообменных P2P-сетях изначально был использован смешанный подход – с наличием выделенных узлов и/или серверов. Но в последние несколько лет во всех крупных сетях реализована поддержка протоколов, обеспечивающих полностью автономное функционирование сети без серверов, т. е. в чистом виде P2P-подход.
Сеть P2P – это множество узлов (компьютеров, смартфонов и пр.), объединенных в единую систему и взаимодействующих посредством протокола P2P, который обеспечивает возможность создания и функционирования сети равноправных узлов.
Среди файлообменных сетей по количеству узлов лидируют такие сети, как Bittorrent, eDonkey2000, Gnutella2, Gnutella.
Bittorrent
С целью инициализации узла в сети Bittorrent клиентская программа обращается к серверу (tracker), предоставляющему информацию о файлах, доступных для копирования, а также статистическую и маршрутную информацию об узлах сети. Сервер и после инициализации помогает узлам взаимодействовать друг с другом, хотя последние версии клиентских программ требуют наличия сервера только на стадии инициализации.
Если узел «хочет» опубликовать файл, то программа разделяет этот файл на части и создает файл метаданных (torrent file) с информацией о частях файла, местонахождении их и – опционально – сервера, который будет поддерживать распространение этого файла. Первый узел, опубликовавший файл, называется распространителем (seedеr). Узел, желающий скопировать файл, при копировании сам становится распространителем по принципу: сколько копирую я, столько разрешаю скопировать с меня.
Узлы, скопировавшие весь файл, становятся распространителями этого файла и вместе с узлами, скопировавшими файл не полностью, дают возможность другим узлам получать части файла из нескольких источников, что ускоряет копирование.
В сети BitTorrent используются протоколы Bittorrent и BitTorrent Azureus DHT. Последний основан на модифицированном протоколе Kademlia и используется для обеспечения работы с файлами метаданных, не привязанными к серверам, для децентрализованного поиска ресурса по ID и присваивания ресурсам комментариев и рейтинга. Вместо BitTorrent Azureus DHT некоторые клиенты поддерживают аналогичный ему по функциональности протокол BitTorrent Mainline DHT.
Наиболее распространенные клиентские программы – это Azureus, BitTorrent_client, µTorrent, BitSpirit, BitComet, BitTornado, MLDonkey.
Gnutella, Gnutella2
Gnutella – одна из первых пиринговых сетей, создана в 2000 г. Она функционирует до сих пор, хотя из-за серьезных недостатков алгоритма пользователи в настоящее время предпочитают сеть Gnutella2.
При подключении клиент получает от узла, с которым ему удалось соединиться, список из пяти активных узлов; им отсылается запрос на поиск ресурса по ключевому слову. Узлы ищут у себя соответствующие запросу ресурсы и, если не находят их, пересылают запрос активным узлам вверх по «дереву» (топология сети имеет структуру графа типа «дерево»), пока не найдется ресурс или не будет превышено максимальное число шагов. Такой поиск называется размножением запросов (query flooding).
Подобная реализация ведет к экспоненциальному росту числа запросов и соответственно на верхних уровнях «дерева» может привести к отказу в обслуживании. Чтобы избежать подобной ситуации разработчики усовершенствовали алгоритм, ввели правила, в соответствии с которыми запросы могут пересылать вверх по «дереву» только определенные узлы – так называемые выделенные (ultrapeers), остальные узлы (leaves) могут лишь запрашивать последние. Была введена система кеширующих узлов.
В таком виде сеть функционирует и сейчас, хотя недостатки алгоритма и слабые возможности расширяемости ведут к уменьшению ее популярности.
Недостатки протокола Gnutella инициировали разработку принципиально новых алгоритмов поиска маршрутов и ресурсов и привели к созданию группы протоколов DHT (Distributed Hash Tables) – в частности, протокола Kademlia, который сейчас широко используется в наиболее крупных сетях.
Каждый обычный узел имеет соединение с одним – двумя концентраторами. А концентратор связан с сотнями обычных узлов и десятками других концентраторов. Каждый узел периодически пересылает концентратору список идентификаторов ключевых слов, по которым можно найти публикуемые данным узлом ресурсы. Идентификаторы сохраняются в общей таблице на концентраторе.
Когда узел "хочет" найти ресурс, он посылает запрос по ключевому слову своему концентратору, последний либо находит ресурс в своей таблице и возвращает ID узла, обладающего ресурсом, либо возвращает список других концентраторов, которые узел вновь запрашивает по очереди случайным образом. Такой поиск называется поиском с помощью метода блужданий (random walk).
Примечательной особенностью сети Gnutella2 является возможность размножения информации о файле в сети без копирования самого файла, что очень полезно с точки зрения отслеживания вирусов. Для передаваемых пакетов в сети разработан собственный формат, похожий на XML, гибко реализующий возможность наращивания функциональности сети путем добавления дополнительной служебной информации. Запросы и списки ID ключевых слов пересылаются на концентраторы по UDP.
Наиболее распространенные клиентские программы для Gnutella и Gnutella2: Shareaza, Kiwi, Alpha, Morpheus, Gnucleus, Adagio Pocket G2 (Windows Pocket PC), FileScope, iMesh, MLDonkey.
EDonkey2000
Сеть EDonkey2000 появилась в 2000 г. Информация о наличии файлов в ней публикуется клиентом на многочисленных серверах в виде ed2k-ссылок, использующих уникальный ID ресурса.
Сейчас информацию о доступных файлах можно получать не только с серверов EDonkey. В 2004 г. в состав сети EDonkey2000 была интегрирована сеть Overnet – полностью децентрализованная сеть, позволяющая осуществлять взаимодействие между узлами без привязки к серверам, для чего используется DHT-протокол Kademlia.
Самой распространенной для сети EDonkey2000 клиентской программой с закрытым кодом (версия Pro – платная) является программа eDonkey, однако существует и клиент с открытым программным кодом – eMule, который, помимо сети EDonkey2000, может задействовать еще одну сеть P2P – Kad Network (Kademlia). Клиент eDonkey имеет очень интересное расширение, позволяющее копировать метафайлы .torrent, которые пользуются большим доверием пользователей, а также применять верификационную информацию из этих метафайлов для работы с файлами собственной сети. При этом если инициализировалась загрузка файла, соответствующего метафайлу, части файла, доступные в собственной сети EDonkey2000, тоже включаются в список источников для загрузки.
Такая интеграция возможностей разных сетей и дополнительная верификация способствовали развитию сети EDonkey2000. В нее стали переходить пользователи других сетей – например, сети FastTreсk, базирующейся на протоколе FastTreсk, который реализуется, в частности, таким популярным клиентом, как Kazaa.
Direct Connect
Одной из самых популярных в России файлоообменных сетей является Direct Connect. В данной сети клиенты подключаются к одному или нескольким серверам для поиска файлов, причем серверы не связаны между собой. Информация о файлах, доступ к которым узел «хочет» открыть, отсылается на сервер. Копирование файлов происходит напрямую между узлами, как и в классической P2P-сети.
В клиентскую программу встроены возможности для общения участников сети друг с другом; список файлов каждого пользователя можно получать в виде древовидной структуры папок; существует простой механизм поиска информации и возможность копирования целых каталогов.
Файлообменная сеть - это общий доступ к компьютерным данным или пространству в сети с различными уровнями. Несмотря на то что файлами можно легко обмениваться вне сети (например, просто передавая или отправляя их на физических носителях), вышеуказанный термин почти всегда означает совместное их сетевое использование, даже если это происходит в небольшой локальной сети.
Частично децентрализованные (гибридные) сети
Сочетая скорость централизованных сетей и надёжность децентрализованных, используются гибридные схемы, в которых используются независимые индексационные сервера, постоянно синхронизирующие информацию между собой. Таким образом, при выходе из строя одного из них, сеть продолжает функционировать. К частично децентрализованным файлообменным сетям относятся eDonkey2000, OpenNap.
Как отключить использование файлообменных сетей
У многих абонентов, обнаруживших списание за пользование файлообменными сетями, возникает логичный вопрос – можно ли деактивировать данную опцию. Обход алгоритмов МТС является довольно сложной задачей, поскольку тип интернет трафика распознает специальное сертифицированное оборудование. Списание денежных средств активируется автоматически. Выявляется такой трафик следующим образом:
- Сначала анализируются «Time to live» (TTL пакеты), которые помогают системе выявлять источник трафика.
- Затем происходит анализ доменов, DNS и IP-адресов файлообменников. Если со смартфона фиксируется обращение к торрент-трекерам, поток трафика воспринимается как «использование файлообменных сетей».
У МТС есть ряд других технологий и алгоритмов, использующихся для определения типа закачки с помощью мобильного интернета. В сети можно обнаружить различные инструкции, которые позволяют обойти подобное отслеживание. Простейшим способом считается подмена значений «Time to live». В случае передачи через Android-устройства TTL-значение равно 64 единицам, а при использовании устройств под управлением операционной системы Windows – 128 единицам. Система распознает источник посредством сверки данного числа и блокирует дальнейшую раздачу сетевого трафика.
Существуют специальные программы, позволяющие сменить значение «Time to live». Самыми популярными приложениями считаются «TTL Editor» и «TTL Master», которые предназначены для обхода ограничений во время использования режима модема. Процесс смены является автоматизированным. Настроить TTL на мобильном устройстве можно следующим образом:
- Запустить «TTL Master» или «TTL Editor».
- В разделе «Настройки» установить число 64.
- Выполнить сохранение изменений.
Для полноценного функционирования подобных программ требуется ROOT доступ. МТС постоянно борется с такими приложениями, поэтому положительный результат в случае их использования не гарантирован.
Содержание
Читайте также: