Какой протокол использует utorrent
Торрент | torrent - это сетевой протокол для обмена файлами. Файлы разбиваются на небольшие части и в таком виде передаются по сети. Торрент-клиент | torrent-client закачивает эти части и затем собирает у себя файл воедино. В процессе скачивания кусочков, клиент также отдает уже закачанные части, что позволяет передавать торренты с большой скоростью и без ожидания освобождения источника (сидера).
Датой появления торрента считается 4 апреля 2001 года, когда Брэмом Коэном был создан первый клиент, выход первой версии состоялся 2 июля 2001 года.
Супер-сид (Super seeding)
Супер-сид - это режим работы, когда имеется всего один раздающий. Раздающий торрент клиент отдает подключенным к нему часть торрента и останавливает его отдачу другим, до тех пор пока эта часть не появиться у любого другого torrent клиента. Так как не все участники обладают хорошей скоростью отдачи, а у некоторых заблокированы порты, то общая скорость распространения torrent файла сильно снижается. При нормальной работе каждый клиент получает ту часть файла, которую запрашивает, поэтому в этом режиме средняя скорость распространения обычно выше.
Супер-сид эффективен при участии большого количества скачивающих. При участии нескольких качающих их клиенты могут быть не способны соединяться между собой, что приведет практически к полной остановке. При количестве скачивающих более десяти, такая ситуация менее вероятна, поэтому достаточно раздать каждому свою часть. Клиент обменяется своим фрагментом со всеми остальными, и у всех в конечном итоге будет торрент целиком.
Двадцать лет назад относительно неизвестный в то время программист по имени Брэм Коэн в одиночку совершил революцию в сфере технологий обмена файлами. Тогда социальные сети ещё не были развиты, но BitTorrent особо и не нуждался в лайках. Со временем он был оценён по достоинству в ИТ-сообществе. В начале двухтысячных новый протокол обмена файлами изменил ход развития Интернета.
«Наконец-то заработало моё новое приложение BitTorrent, оно доступно по ссылке ниже», — написал Коэн на доске объявлений Yahoo. Это было 2-го июля 2001 года.
Вероятно, за всю историю ИТ это была одна из самых, мягко говоря, лаконичных PR-кампаний в поддержку запуска нового продукта. Не впечатлил и «дизайн» официального сайта с чёрным текстом на белом фоне: весь сайт — несколько строк HTML-кода. Тогда никто не мог представить, какую роль в развитии всего Интернета сыграет BitTorrent.
Полное отсутствие маркетинговой составляющей Брэм Коэн компенсировал за счёт технических характеристик продукта. Он ранее работал в стартапе, команда которого трудилась над одноранговой сетью MojoNation. Потом у этого проекта закончилось финансирование, и 25-летний разработчик сосредоточился на развитии собственного проекта — протокола для обмена файлами.
Коэн определённо был не единственным в этой нише. Обмен файлами набирал обороты, и появлялись десятки новых приложений. Например, к началу двухтысячных файлообменная пиринговая сеть Napster успела побыть первопроходцем на волне популярности обмена MP3-треками и получить иск от группы Metallica за слив демоверсии их новой песни. Это привело к смерти и реинкарнации Napster в статусе музыкального сервиса.
Принцип работы протокола торрент
Для того чтобы скачать торрент файл, клиент соединяется с торрент трекером | torrent tracker, передает ему информацию о своем IP адресе и хэш сумму файла, который требуется скачать. Трекер отправляет клиенту IP адреса других клиентов, также раздающих или качающих торрент. В процессе скачивания клиент регулярно общается с сервером, сообщая информацию о скачивании и получая обновленный список IP адресов.
Клиенты передают информация напрямую между собой без участия торрент-трекера. Трекер только собирает данные с клиентов о процессе скачивания, подключенных клиентах и другую информацию. Для оптимальной работы торрент протокола нужно, чтобы максимальное количество клиентов могли принимать и отдавать файлы. При некорректной настройке межсетевой экран/брандмауэра или трансляции адресов/NAT, скорость передачи может значительно уменьшиться или прекратиться совсем.
Когда клиенты подсоединяются друг к другу, они сразу же передают данные о кусочках торрента, имеющегося у них. Если у первого клиента есть недостающий сегмент, то второй клиент посылается запрос "скачать торрент". Первый клиент отдает запрашиваемую часть торрента, если есть такая возможность. После получения запрошенной части, второй клиент проверяет контрольную сумму и ставит в известность о том, что он также имеет эту часть, что все остальные подключенные клиенты могли скачать torrent с него.
Клиент может приостановить отдачу частей torrent файла другому клиенту, что делается для оптимизации раздачи. Приоритет отдается тому, который сам отдал Вам большее количество частей, то есть чем больше отдал Вам пир, тем больше вы отдаете ему. Благодаря такой особенности большую скорость скачивания получают те торрент клиенты, которые отдают с большой скоростью. Девиз torrent протокола: «Скачал сам, дай скачать другому!»
Торрент-трекер
Особенности торрент протокола
- Нет очередей скачивания, т. е. не требуется всем стоять в очереди к источнику / сидеру, для того чтобы скачать фильмы бесплатно.
- Торрент загружается частями; чем меньше распространен фрагмент файла, тем чаще он будет отдаваться. Это значит, что наличие раздающего / сидера не обязательно для того чтобы скачать torrent. Протокол распределяет фрагменты между клиентами, так чтобы в дальнейшем они могли обмениваться частями без участия раздающего.
- Клиенты работают напряму друг с другом. Торрент-трекер на прямую не принимает участия в обмене.
- Загруженные части файла сразу же становятся доступными для других.
- С помощью контрольной суммы отслеживается целостность для каждого скачанного кусочка.
- Передовать можно вложенные файлы, например каталог с файлами внутри.
BitTorrent и SEO
Протокол BitTorrent имел и другие преимущества. Например, торрент-сайты получили возможность проиндексироваться для поисковых систем. Также начал развиваться метапоиск торрент-ресурсов.
С помощью SEO и сарафанного радио торрент-сайты быстро росли. Например, The Pirate Bay, запущенный в 2003 году, несмотря на уголовное преследование и два полицейских рейда, остаётся крупнейшим в мире BitTorrent-индексатором и каталогом для поиска .torrent-файлов.
Экспоненциальный рост торрент-сайтов не ограничивался только появлением публичных трекеров общего назначения. Через некоторое время сформировались мелкие, нишевые сообщества.
Это трекеры, которые были в основном ориентированы на более узкие ниши и имели свои собственные правила обмена. Музыкальный торрент-трекер OiNK, например, когда-то был самой большой музыкальной библиотекой — задолго до того, как появились стриминговые сервисы. А после того, как OiNK закрылся, его место занял What.cd (потом и его тоже закрыли).
Первый «росток» интернет-революции
Брэм Коэн старался не связываться с сайтами-файлообменниками, заработавшими плохую репутацию. Тем не менее, он понимал, что среди широкой аудитории был крайне популярен «обмен мультимедиа». В конце 2001 года Etree стал одним из первых сайтов, использующих новый протокол BitTorrent.
«Etree — это сплоченное сообщество людей, которые распространяют записи живых концертов в Интернете», — писал Коэн. «Etree страдал от того, что спрос на загрузку [файлов] превышал предложение, и BitTorrent решил эту проблему».
Сегодня, 20 лет спустя, Etree по-прежнему предлагает торренты для загрузки тысяч концертов. Хотя затраты на обеспечение высокой пропускной способности уже не так велики, как раньше.
Сегодня это может показаться вовсе не критичным, но в эпоху коммутируемого доступа (dial-up) одной из причин внезапного успеха BitTorrent стала возможность тратить меньше денег на пересылку больших файлов по Интернету. На тот момент это была революция.
Как работает протокол BitTorrent
С торрентом в том или ином виде сталкивались, думаю, большинство пользователей ПК. И даже сейчас, когда лицензионный контент стоит относительно недорого, торренты не теряют своей популярности (да, вы скажете, что через торренты можно качать и лицензионное ПО, но думаю никто спорить не будет, что в России «торрент» и «пиратство» — синонимы). Причины, почему такой протокол многим полюбился, просты — простота (закинули небольшой файлик в клиент и вуаля, закачка пошла), удобство (клиенты есть под все платформы, начиная с iOS и заканчивая дистрибутивами Linux, при этом возможностей по настройке масса) и скорость (зачастую закачка через торрент идет ощутимо быстрее, чем напрямую с сайта). Но цель статьи — не обсудить плюсы или минусы этого протокола (хотя о них, конечно же, поговорим), а посмотреть, как же этот протокол работает.
Что включает в себя .torrent файл
Итак, собственно, сам файл торрента, который магическим образом преобразует несколько десятков килобайт кода в многогигабайтные файлы. Что же находится внутри «черного ящика»? Во-первых, самое основное — это ссылка на трекер. Что такое трекер? Это сервер, который хранит всю информацию о раздаче, а именно сколько людей ее качает, какую часть раздачи скачал каждый из них, и т.д. Зачем это нужно? Затем, чтобы торрент-клиент на вашем устройстве мог получить IP адреса тех, у кого эта раздача уже скачана (сиды), и тех, кто также, как и вы, хочет скачать или уже качает раздачу (личеры и пиры). После получения этих данных ваш торрент-клиент подключается к уже качающим и начинает обмениваться с ними данными по принципу «ты — мне, я — тебе».
Отсюда вытекает первая проблема торрента: если «убить» трекер, то новые люди, которые хотят скачать раздачу, сделать этого не смогут. Но те, кто уже качает файлы, скорее всего, смогут их докачать, так как список IP адресов сидов у них есть. Для защиты от такого совсем недавно, с бумом распределительных платформ, была придумана бестрекерная система работы: смысл ее в том, что в торрент-файл зашит адрес не сервера, а первого сида (или нескольких сидов). А они уже хранят адреса других сидов и пиров, и как только вы к нему подключаетесь, то они адресами с вами делятся. Поэтому теперь «убить» такую раздачу становится гораздо сложнее.
Что еще в обязательном порядке должен хранить торрент-файл? Разумеется, информацию о файлах в этой раздаче: их количество, вес, число блоков и их контрольные суммы (SHA1). В отличие от обычной закачки, раздача всегда поделена на множество блоков, размер которых зависит от веса раздачи и обычно составляет порядка 1 МБ. Зачем так делать? Во-первых, это позволяет скачать в раздаче только один или несколько нужных файлов — не нужно качать все (хотя все же качается чуть больше данных, чем весят нужные вам файлы, но об этом ниже). Во-вторых, так проще проверять файлы: согласитесь, будет обидно, скачав несколько сотен мегабайт, узнать, что этот кусок файла битый. В-третьих, при такой системе новый пир может быстрее начать участвовать в общем процессе: как только один из сегментов скачан и проверен, то ваш торрент-клиент оповещает трекер, что вы готовы этот сегмент отдавать другим.
Еще один достаточно важный параметр, который включает в себя торрент-файл — passkey. Это — ваш личный ключ, состоящий из цифр и букв, который присваивает вам трекер. Зачем он нужен? Затем, чтобы следить, сколько вы скачали и отдали, тем самым получая ваш ratio — отношение отданной к полученной информации. Зачем эта слежка? Увы — достаточно много людей заходят на трекеры чтобы просто скачать нужный торрент-файл, после чего скачать раздачу и уйти из нее навсегда. Конечно, многим это удобно, но это нарушает саму суть торрента: «ты — мне, я — тебе». Поэтому на многих трекерах введено ограничение: если ваш ratio ниже определенного (1, 0.5, бывает и 0.1-0.3), то вам запрещается качать с этого трекера, пока ваш ратио не поднимется. Поэтому появляется еще одно правило: если вы скачали торрент-файл на трекере, который мониторит ratio, не отдавайте этот файл никому — по понятным причинам другие люди могут быстро «слить» ваш ратио до нуля.
С развитием торрентов, в торрент-файлы стали включать дополнительную информацию о магнет-ссылках и веб-сидах. Магнет-ссылка — по сути ссылка напрямую на трекер, которая избавляет вас от «посредника» в виде файла. Веб-сид уже интереснее: очевидно, что обычный человек вряд ли сможет раздавать данные в режиме 24/7 (хотя такие есть), а вот сервер в интернете такое делать вполне себе способен. И такой сервер-сид и называется веб-сид — он постоянно отдает данные раздачи, ну и бонусом зачастую имеет скорость гораздо выше, чем у обычного человека.
Особенности обмена данными
Так уж получилось, что принцип работы протокола мы разобрали в части статьи, посвященной торрент-файлу. Однако тут есть тонкости, которые стоит разобрать, и самый главный вопрос: раздача поделена на множество небольших блоков — а как их закачивать? Самый первый вариант, который приходит на ум — последовательно, с первого до последнего. И если бы это была закачка с сервера, то да, пожалуй, это было бы логично. Но вот торренты мы качаем у других людей, и теперь представьте: у одного-единственного сида качают сразу десять пиров, и качают блоки последовательно, так что скорость, понятное дело, небольшая. И тут сиду через пару часов захотелось уйти. Что мы видим? Есть 10 человек, у которых скачаны первые несколько блоков, а остальных блоков ни у кого нет, и взять их не у кого. Так что до возвращения сида раздача мертва. Ладно, скажете вы — тогда давайте качать блоки рандомно. Ну, это уже разумнее — даже если через пару часов сид уйдет с раздачи, то у пиров вполне возможно окажутся все блоки, и они будут ими обмениваться, так что в итоге каждый получит все файлы. Однако и тут есть проблема — даже при рандоме всегда окажется так, что какой-то блок скачали меньшее число раз, чем другие. И опять же может быть так, что единственный человек с этим блоком с раздачи уйдет (или же у него ооочень медленный интернет) — это опять застопорит раздачу. Поэтому алгоритм закачки сделан хитро — блоки качаются вразнобой, но приоритет отдается самым редким из них. Таким образом поддерживается баланс скорости закачки и доступности каждого блока.
Выше я писал, что, если вы хотите закачать лишь часть раздачи, вы скорее всего закачаете больше, чем нужно. Такое происходит из-за того, что далеко не всегда файлы в раздаче нацело разбиваются на блоки — зачастую в одном блоке будет часть сразу двух файлов, а для того, чтобы не было сбоев, скачать блок придется целиком. Плюс никто не отменял передачу служебной информации на трекер и другим пирам, что при наличии в раздаче сотен и тысяч блоков тоже может вылиться в достаточно серьезную трату трафика.
Теперь представим, что вы закачали 99% данных, и вам осталось закачать всего пару блоков. И, наверное, вы замечали, что при этом скорость закачки катастрофически падает. Это вполне логично — пока торрент клиент может, он качает параллельно много блоков, стараясь держать скорость на том уровне, котором вы ее ограничили. Однако когда блоков для закачки остается мало, то скорость может просесть, так что тут нужно скачать оставшиеся блоки у самых быстрых пиров. Для этого создан специальный режим End Game, который в такой ситуации спрашивает наличии оставшихся блоков у всех пиров, тем самым позволяя найти человека с наибольшей скоростью и как можно быстрее докачать остаток.
Неприятной особенность торрентов стало развитие так называемых приватных трекеров. В чем их суть? Скачанный оттуда торрент-файл имеет метку private, и качать вы сможете только у других людей, у которых файлы имеет ту же метку. С одной стороны, это позволяет создать некоторое «закрытое сообщество», где можно передавать файлы только своим. С другой стороны — торренты испокон веков были бесплатными и общедоступными, так что приватные трекеры, где зачастую за регистрацию нужно платить, этот принцип нарушают.
Чем больше распространялся торрент, тем больше появлялось раздач со всякими книгами, картинками, кодами программ и просто с небольшими программами, вес которых не превышает пары мегабайт. Создавать полноценный .torrent файл, да и еще разбивать такую раздачу на части — «жирно», поэтому были придуманы .micro.torrent — файлы для раздач, где данные умещаются в один сегмент, а в самом микро-торренте хранится лишь контрольная сумма, размер и название файла в раздаче. При этом закачка ведется торрент-клиентом напрямую с веб-сервера.
Плюсы и минусы протокола
Теперь, когда устройство протокола стало понятным, поговорим о его достоинствах и недостатках, и начнем с последних. Самым основным недостатком являются мертвые раздачи: если у всех участников нет 100% блоков, то раздачу они не скачают никогда. При закачке с серверов таких проблем нет — пока файл хранится на сервере, он всегда будет доступен в полной мере. Второй серьезный минус — полное отсутствие анонимности: как только вы стали качать что-либо, на трекер отправляется ваш IP-адрес, и он же отдается и другим пирам. Так что если вы качаете что-то противозаконное — воспользуйтесь VPN (если что — шутка). Третий минус, который важен для лимитных соединений — отсутствие точного учета трафика: как я уже писал выше, если вы хотите скачать файлик на 10 МБ, вы вполне можете потратить 11-12 МБ трафика.
Плюсов тоже хватает: во-первых, это скорость закачки: если сервер может ее ограничивать, то в случае с популярной раздачей с сотней сидов единственное ограничение — скорость вашего интернета. Во-вторых — вы можете качать только нужные файлы из раздачи. По понятным причинам при закачке с серверов такого нет — вы или качаете файл весь, или не качаете его вообще. В-третьих — отсутствие всяких временных ограничений: зачастую при закачке с серверов нужно подождать 30 секунд, ввести капчу, сплясать , да и еще ссылка на файл будет действовать лишь некоторое время. С торрентом такого нет: пока раздача жива, вы всегда можете ее качать без ограничений.
BitTorrent ≠ Пиратство
Многие, не разобравшись в ситуации, часто ассоциируют BitTorrent с пиратством. Но, поверьте, многие нашли для этого протокола более достойное и интересное применение.
На протяжении многих лет крупные коммерческие и некоммерческие организации, включая Twitter, Google, Facebook, NASA и так далее, использовали технологию BitTorrent в своих проектах. Просто потому, что он отлично подходит для дешёвой и эффективной передачи файлов.
Многие программные продукты, включая культовые дистрибутивы Linux, по-прежнему предлагают загрузку через BitTorrent. Совсем недавно OpenStreetMap предложил пользователям использовать торренты для загрузки обновлённых версий своих карт.
С годами затраты на обеспечение высокой пропускной способности снизились, поэтому BitTorrent частично утратил своё конкурентное преимущество. Однако это по-прежнему хорошая технология, на базе которой можно создавать инновационные проекты. Мы не знаем, что будет дальше, но, безусловно, BitTorrent вошёл в историю развития Интернета.
Аренда серверов vds/vps с быстрыми NVMе-дисками и посуточной оплатой у хостинга Маклауд.
Торрент – это сетевой протокол для обмена файлами. Файлы разбиваются на небольшие части и в таком виде передаются по сети. Торрент-клиент закачивает эти части и затем собирает у себя файл воедино. В процессе скачивания клиент также отдает уже закачанные части, что позволяет передавать торренты с большой скоростью и без ожидания освобождения источника.
Торрент (torrent) – это сетевой протокол для обмена файлами. Файлы разбиваются на небольшие части и в таком виде передаются по сети. Торрент-клиент (torrent-client) закачивает эти части и затем собирает у себя файл воедино. В процессе скачивания кусочков, клиент также отдает уже закачанные части, что позволяет передавать торренты с большой скоростью и без ожидания освобождения источника (сидера).
Датой появления торрента считается 4 апреля 2001 года, когда Брэмом Коэном был создан первый клиент. Выход первой версии состоялся 2 июля 2001 года.
BitTorrent – самый первый torrent-протокол, созданный Брэмом Коэном, – оказался оптимальным для скачивания нескольких файлов по частям, а не сразу целиком. Тогда Коэн вместе со своим братом и партнером Ашвином Нэвином создал корпорацию BitTorrent, Inc. в Сан-Франциско. С тех пор протокол torrent стал очень популярным в мире. С каждым днем количество его пользователей увеличивается все более.
С увеличением количества файлов на торренте увеличилось и количество нарушений авторских прав. И компания Google после многих жалоб на нарушение законов США была вынуждена удалять ссылки из своих результатов по запросам пользователей на торрент-файлы P2P-сетей. В настоящее время корпорация Брэма Коэна продолжает разработки по протоколу BitTorrent и покупает самый популярный клиент Torrent.
Принцип работы протокола торрент
Для того чтобы скачать торрент-файл, клиент соединяется с торрент-трекером (torrent tracker), передает ему информацию о своем IP адресе и хэш-сумму файла, который требуется скачать. Трекер отправляет клиенту IP адреса других клиентов, также раздающих или качающих торрент. В процессе скачивания клиент регулярно общается с сервером, сообщая информацию о скачивании и получая обновленный список IP адресов.
Клиенты передают информацию напрямую между собой без участия торрент-трекера. Трекер только собирает данные с клиентов о процессе скачивания, подключенных клиентах и другую информацию. Для оптимальной работы торрент протокола нужно, чтобы принимать и отдавать файлы могло максимальное количество клиентов. При некорректной настройке межсетевого экрана брандмауэра или трансляции адресов/NAT, скорость передачи может значительно уменьшиться или прекратиться совсем.
Когда клиенты подсоединяются друг к другу, они сразу же передают данные о кусочках торрента, имеющегося у них. Если у первого клиента есть недостающий сегмент, то второй клиент посылается запрос "скачать торрент". Первый клиент отдает запрашиваемую часть торрента, если есть такая возможность. После получения запрошенной части второй клиент проверяет контрольную сумму и ставит в известность о том, что он также имеет эту часть, что все остальные подключенные клиенты могли скачать torrent с него.
Клиент может приостановить отдачу частей torrent файла другому клиенту, что делается для оптимизации раздачи. Приоритет отдается тому, который сам отдал Вам большее количество частей, то есть чем больше отдал Вам пир, тем больше вы отдаете ему. Благодаря такой особенности большую скорость скачивания получают те торрент клиенты, которые отдают с большой скоростью. Девиз torrent протокола: «Скачал сам, дай скачать другому!»
Особенности торрент-протокола
1. Нет очередей скачивания, т.е. не требуется всем стоять в очереди к источнику / сидеру, для того чтобы скачать файл.
2. Торрент загружается частями; чем меньше распространен фрагмент файла, тем чаще он будет отдаваться. Это значит, что наличие раздающего / сидера не обязательно для того, чтобы скачать torrent. Протокол распределяет фрагменты между клиентами, так чтобы в дальнейшем они могли обмениваться частями без участия раздающего.
3. Клиенты работают напрямую друг с другом. Торрент-трекер напрямую не принимает участия в обмене.
4. Загруженные части файла сразу же становятся доступными для других.
5. С помощью контрольной суммы отслеживается целостность для каждого скачанного кусочка.
6. Передавать можно вложенные файлы, например каталог с файлами внутри.
Файл метаданных
Для того чтобы можно было распространить информацию о торренте, требуется создать torrent файл, содержащий метаданные. Такой файл имеет расширение .torrent и содержит следующую информацию:
1. адрес (URL) трекера;
2. информацию о файле (атрибуты, размер и т. д.);
3. контрольную сумму / хэш сумму фрагментов.
Для того чтобы, скачать torrent, нужно получить его файл, содержащий метаданные. Сам он может быть передан любым доступным способом: по электронной почте, скачан с сайта или FTP сервера и т.д.
Торрент-трекер
2. описание торрент файла;
3. статистика скачиваний;
4. статистика сидиров / личеров и т. д.
Работа без торрент-трекера (torrents tracker)
В современной версии торрент протокола разработана поддержка работы без центрального трекера, режим DHT. В таком режиме, в случаи недоступности центрального сервера, клиенты могу продолжать работать поддерживая связь между собой.
Функция работы основана на протоколе Kademlia. При таком режиме работы торрент трекер доступен децентрализовано на клиентах в виде хеш таблиц.
В настоящий момент не все клиенты способны работать в этом режиме. Также протоколы работы без теркера реализованы в многих клиентах по-разному и поэтому они могут не работать друг с другом.
Супер-сид (Super seeding)
Супер-сид – это режим работы, когда имеется всего один раздающий. Раздающий торрент клиент отдает подключенным к нему часть торрента и останавливает его отдачу другим, до тех пор пока эта часть не появиться у любого другого torrent клиента. Так как не все участники обладают хорошей скоростью отдачи, а у некоторых заблокированы порты, то общая скорость распространения torrent файла сильно снижается. При нормальной работе каждый клиент получает ту часть файла, которую запрашивает, поэтому в этом режиме средняя скорость распространения обычно выше.
Супер-сид эффективен при участии большого количества скачивающих. При участии нескольких качающих их клиенты могут быть не способны соединяться между собой, что приведет практически к полной остановке. При количестве скачивающих более десяти, такая ситуация менее вероятна, поэтому достаточно раздать каждому свою часть. Клиент обменяется своим фрагментом со всеми остальными, и у всех в конечном итоге будет торрент целиком.
Основные термины
Торрент (torrent) – это идентификатор. Т.е. файл, который содержит в себе информацию о запрошенных файлах, а именно:
а) о размере и количестве фрагментов и контрольной сумме скачиваемого файла (файлов).
б) о трекере, на котором можно получить информацию о сидерах и личерах, распространяющих этот файл.
Сидер (seeder) – человек, который имеет на диске уже скачанный и полностью готовый к раздаче файл. Он же может быть инициатором раздачи файла (Аплодер)
Личер (leecher) – тот, кто в данный момент участвует в системе и качает куски файла, одновременно раздавая скачанные куски другим личерам. Как только личер скачал файл, он становится сидером.
Пир (peer) – участник сессии закачки или раздачи (сидер или личер).
Трекер (tracker) – это сайт, а точнее движок на сайте, на котором хранятся все торренты. Он обеспечивает связь между торрентами и раздает их всем клиентам, чтобы те качали друг у друга файлы, рассылает им информацию о сидерах и личерах, которые распространяют данный торрент, т.е. является связующим звеном между ними.
Ратио (ratio) – это отношение скачанной вами и переданной информации. Если вы хотите скачивать информацию, будьте добры поучаствовать в ее распространении. Собственно, Вам лично делать для этого ничего не надо. Просто не выключайте ваш БТ-клиент. Тем самым вы помогаете другим качать файлы с Вашего компьютера, как другие помогают Вам скачивать со своих. Имейте в виду, если вы будете только скачивать, администратор трекера может запретить Вам пользование его ресурсом.
Аннонс (announce) – это служебный адрес (URL), который содержится в торрент-файлах, а также воспринимается клиентами. Клиенты, используя этот адрес, обмениваются информацией с трекером. Он нужен лишь в одном случае: когда создаете торрент, введите его в соответствующее поле, чтобы клиенты, скачавшие этот торрент, знали, куда обращаться за содержимым.
Преимущества работы с торрентом:
– доступность практически любого необходимого файла, который по каким-то причинам отсутствует в Сети в свободном доступе;
– огромное количество информации, ограниченно, грубо говоря, лишь жесткими дисками пользователей торрентов, а их тысячи;
– хорошая скорость скачивания (в отличие от получения файлов через сервер) на торренте: чем больше людей скачивают, тем выше скорость;
– скачанные части файла (даже самые малые) сразу же становятся доступными другим пользователям торрента;
– возможность поделиться с множеством людей своей информацией: фильмами, играми, музыкой, программами, проч.
Сайт torrents.ru является крупнейшим файлообменником Рунета, через который распространяются пиратские музыка и фильмы. Через "торренты" пользователи выкладывают и скачивают музыку, фильмы, программы, которые зачастую защищены авторскими правами. При этом обмен данными осуществляется напрямую между компьютерами пользователей, а на сайте хранится общая информация о файле с указанием того, где его можно скачать.
По словам старшего юриста компании Magisters Павла Садовского, в России сложилась практика, когда правоохранительные органы сначала предупреждают администраторов сайтов о наличие противоправного контента. Если требования удалить пиратские материалы не выполняются, против нарушителей может быть возбуждено уголовное дело. Такой порядок определил в декабре 2008 года Высший арбитражный суд, руководствуясь нормами, которые действуют в странах Запада.
По словам Садовского из Magisters, правообладателям нет смысла ловить отдельных пользователей, так как проще обратиться к администратору, а если он откажется сотрудничать, закрыть ресурс.
Тем не менее, эффективность подобной практики сомнительна. В пример можно привести знаменитый торрент-портал Pirate Bay, создатели которого были приговорены к тюремному заключению. Несмотря на это, сайт продолжает существовать, хотя ему постоянно приходится мигрировать с одних серверов на другие. Некоторое время сервера сайта даже находились в ядерном бункере времен холодной войны.
Технически это означает что для продолжения обмена информацией вам необходимо сменить адреса трекеров в уже скачанных торрент-файлах с bt.torrents.ru на bt.rutracker.org, (вместо bt может быть bt2, bt3 и bt4) либо скачать эти торрент файлы заново (в них уже будет новый адрес трекера)", – сообщает сайт.
μTP — переимплементация TCP на основе протокола UDP с измененным контролем за переполнением, который реагирует раньше, чем соответствующий алгоритм в TCP. Таким образом, при увеличении загрузки канала μTP первым замедляется и отдает канал другим приложениям. При использовании TCP канал распределялся равномерно по соединениям, а поскольку у P2P программ обычно на порядок больше соединений, чем у других, они просто забирали под себя весь канал, увеличивая пинг и делая работу других приложений медленной или вообще невозможной.
μTP предназначен для более быстрого скачивания, так как работает по протоколу UDP, в котором обмен данными происходит быстрее, чем через протокол TCP. Ускорение достигается за счёт того, что торрент-клиент берёт на себя выполнение нужных функций, отсутствующих в UDP, например, клиент перепроверяет целостность данных и, если блок неверен, скачивает его заново. Также, провайдерам намного сложнее блокировать передачу данных через μTP, благодаря отсутствию строгих, формализованных отличий UDP пакетов обычного трафика (формируемого, к примеру, сетевыми играми) от трафика формируемого протоколом μTP, в отличие от TCP пакетов, по содержанию полей которых можно делать вывод о их принадлежности к p2p трафику.
μTP — переимплементация TCP на основе протокола UDP с измененным контролем за переполнением, который реагирует раньше, чем соответствующий алгоритм в TCP. Таким образом, при увеличении загрузки канала μTP первым замедляется и отдает канал другим приложениям. При использовании TCP канал распределялся равномерно по соединениям, а поскольку у P2P программ обычно на порядок больше соединений, чем у других, они просто забирали под себя весь канал, увеличивая пинг и делая работу других приложений медленной или вообще невозможной.
μTP предназначен для более быстрого скачивания, так как работает по протоколу UDP, в котором обмен данными происходит быстрее, чем через протокол TCP. Ускорение достигается за счёт того, что торрент-клиент берёт на себя выполнение нужных функций, отсутствующих в UDP, например, клиент перепроверяет целостность данных и, если блок неверен, скачивает его заново. Также, провайдерам намного сложнее блокировать передачу данных через μTP, благодаря отсутствию строгих, формализованных отличий UDP пакетов обычного трафика (формируемого, к примеру, сетевыми играми) от трафика формируемого протоколом μTP, в отличие от TCP пакетов, по содержанию полей которых можно делать вывод о их принадлежности к p2p трафику.
Будь в курсе последних новостей из мира гаджетов и технологий
BitTorrent Inc.
Брэм Коэн со временем преобразовал свой проект в технологический стартап BitTorrent Inc и привлёк миллионы долларов венчурных инвестиций.
BitTorrent Inc не имела ничего общего с пиратскими сайтами и сосредоточилась на разработке BitTorrent, помогая артистам и другим правообладателям делиться контентом.
В 2007 году компания открыла собственный видеомагазин Torrent Entertainment Network, который сотрудничал с такими крупными голливудскими студиями, как Warner Bros. Видеомагазин так и не стал прибыльным и через год закрылся.
В последующие годы BitTorrent Inc сосредоточилась на том, чтобы помогать артистам продвигать свой контент, в том числе через сервис BitTorrent Now, который всё ещё существует. Однако нельзя сказать, что этот сервис имел такой же оглушительный успех, как сам протокол.
Одна из самых удачных сделок BitTorrent — это покупка клиента uTorrent у шведского разработчика Людвига Стригеуса в 2006 году. Сегодня uTorrent по-прежнему является едва ли не самым популярным торрент-клиентом. Кстати, Стригеус тоже добился успеха, но уже с сервисом Spotify.
Работа без торрент трекера ( torrents tracker)
В современной версии торрент протокола разработана поддержка работы без центрального трекера, режим DHT. В таком режиме, в случаи недоступности центрального сервера, клиенты могу продолжать работать поддерживая связь между собой.
Функция работы основана на протоколе Kademlia. При таком режиме работы торрент трекер доступен децентрализовано на клиентах в виде хеш таблиц.
В настоящий момент не все клиенты способны работать в этом режиме. Также протоколы работы без теркера реализованы в многих клиентах по-разному и поэтому они могут не работать друг с другом.
Сетевые протоколы и порты
Торрент клиент подсоединяется к серверу по TCP протоколу (по умолчанию порт 6969).
Также в клиентах заложена возможность использовать UDP порты, но она не является официально утвержденной. Не все клиенты поддерживают ее. UDP порты используются для работы опции DHT, то есть для режима работы без связи с torrent трекером.
Коллективные скачивания и раздачи
Однако BitTorrent явно отличался от конкурентов, сосредоточив внимание на скорости загрузки файлов и децентрализации сети. Вместо того, чтобы просто делиться файлом с одним человеком за раз, один файл могли раздавать сразу несколько пользователей. Чем больше пользователей участвовало в раздаче, тем выше становилась скорость загрузки.
нагрузка на распространителя файла уменьшается благодаря тому, что клиенты начинают обмениваться данными сразу же, даже если файл не докачан ими до конца.
Идея децентрализации была довольно новой на тот момент. В большинстве инструментов для обмена файлами была реализована централизованная инфраструктура, доступ к которой осуществлялся с помощью единого управляющего софта. BitTorrent же позиционировался как открытый протокол.
Эти сайты позволяли пользователям загружать и обмениваться музыкой, фотографиями, программным обеспечением и даже фильмами. Раньше распространять такие тяжёлые файлы (часто полученные нелегально) среди широкой аудитории было накладно из-за слишком больших затрат на обеспечение высокой пропускной способности и хранение этих файлов.
Технология, лежащая в основе BitTorrent, позволяла размещать на сайтах-файлообменниках не сами файлы (с музыкой, фото и тд), а так называемые торренты (.torrent). Как оказалось, как раз эта технология и перевернула игру.
Файл метаданных с расширением .torrent — это, по сути своей, словарь, содержащий информацию о том, какие файлы привязаны к торренту, каким образом и из каких источников они будут скачаны.
Используя торренты, пользователи скачивают файлы не с какого-то централизованного сервера, а друг у друга — например, с жёстких дисков персональных компьютеров. При этом протокол BitTorrent будет выбирать наиболее быстрый источник, а если с ним что-то произойдёт (отключится или скорость резко уменьшится), то выберет другой источник. Кроме того, файлы скачиваются не последовательно, а параллельно и по частям, что позволяет очень гибко организовать раздачу. И всем этим управляет специальный софт (BitTorrent-клиент).
Файл метаданных
Для того чтобы можно было распространить информацию о торренте, требуется создать torrent файл, содержащий метаданные. Такой файл имеет расширение .torrent и содержит следующую информацию:
- адрес (URL) трекера;
- информацию о файле (атрибуты, размер и т. д.);
- контрольную сумму / хэш сумму фрагментов.
Для того чтобы скачать torrent нужно получить его файл, содержащий метаданные. Сам он может быть передан любым доступным способом: по электронной почте, скачан с сайта или FTP сервера и т. д.
Переломный момент
Некоторые инвесторы надеялись заработать по-крупному, вкладывая свои деньги в BitTorrent, но она так и не оправдала их ожиданий. Доходы от uTorrent помогали компании держаться на плаву, но большинство новых торрент-проектов в конечном итоге было закрыто.
Брэма Коэна тяготила эта ситуация и неоднократно посещали мысли о серьёзных переменах. В 2018 году блокчейн-компания TRON Foundation поглотила BitTorrent Inc., а месяц спустя создатель BitTorrent объявил о своём уходе.
В 2019 году был запущен токен BitTorrent (BTT). Пользователи могут расплачиваться им, чтобы увеличить скорость загрузки или просто зарабатывать во время раздачи в торренте.
Сам Коэн также проявил интерес к криптовалюте. Он является одним из криптоэнтузиастов и создателей «зелёной» монеты Chia, выпущенной в мае прошлого года.
Проблемы с торрент-трафиком
В начале 2000-х, когда торренты набирали обороты, это заметили — а потом и ощутили на собственной шкуре — интернет-провайдеры. В какой-то момент на BitTorrent приходилась треть суммарного интернет-трафика во всем мире.
Но обработка такого количества трафика оказалось тяжёлой задачей для инфраструктуры многих интернет-провайдеров. Поэтому некоторые из них (например, Comcast) начали ограничивать, фильтровать торрент-трафик.
Эти действия провайдеров были вовремя замечены и широко освещены в СМИ. По мнению некоторых экспертов, подобные ограничения нарушают «принцип нейтральности интернета» (или сетевого нейтралитета).
любая информация считается одинаково важной, независимо от её источника.
Специалисты провели ряд исследований, которые позволили пользователям выяснить, ограничивают ли интернет-провайдеры их трафик.
После этого разработчики во главе с Коэном обновили BitTorrent:
- было добавлено шифрование заголовков протокола (чтобы усложнить фильтрацию торрент-трафика);
- была реализована новая версия первоначального протокола (которая получила название uTP) для снижения нагрузки на интернет-провайдеров.
Читайте также: