Что такое трекеры в браузере яндекс
Разработчик трекера – третье лицо, но владелец сайта сам определяет, сколько трекеров должно быть на его ресурсе и какого типа. Некоторые сайты могут “похвастаться» шестью десятками трекеров, на других будет всего один трекер или ни одного.
Вы наверняка слышали как минимум об одном известном типе трекеров: файлах cookie («куки»). Но есть еще веб-маяки, флеш-куки и другие.
Не всегда трекеры служат для отслеживания ваших действий при посещении веб-сайтов. Некоторые трекеры используются только самим владельцем сайта чтобы оценить, сколько читателей его посещает и из каких регионов. Иногда трекеры технически необходимы для нормальной работы сайта.
Когда вы разрешаете использование файлов cookie для корректной загрузки сайта, то даете зеленый свет всем трекерам на сайте, включая те, которые отправляют информацию своим «хозяевам».
Что им нужно и зачем?
Трекеры собирают информацию о том, какие сайты вы посещаете, и о ваших устройствах.
Трекер может помогать владельцу сайта разобраться в онлайновом трафике, но другие трекеры могут принадлежать компаниям, чья главная цель – составление вашего профиля: сколько вам лет, где вы живете, что читаете, чем интересуетесь. Эту информацию можно обработать и продать рекламщикам, другим компаниям, правительствам.
Компании, которые вас отслеживают, не имеют отношения к посещаемым вами сайтам. Это «специалисты по данным», и названия у них часто соответствующие: DoubleClick, ComScore, cXense (хотя вообще-то DoubleClick принадлежит Google). Весь этот бизнес построен на продаже пользовательских данных.
В их рядах можно заметить и более известные компании. Некоторые трекеры хорошо заметны: например, красная кнопка G+ в Google, значок «лайк» в Facebook, маленькая голубая птичка в Twitter – все это трекеры.
В их рядах можно заметить и более известные компании. Некоторые трекеры хорошо заметны: например, красная кнопка G+ в Google, значок «лайк» в Facebook, маленькая голубая птичка в Twitter – все это трекеры.
Как компания может отслеживать мои устройства в сети?
Отпечаток браузера
Большинство компаний не упустит шанс идентифицировать вас в интернете по отпечатку вашего браузера.
Трекеры могут собрать множество данных о вашем устройстве, включая IP-адрес, историю браузера, размер экрана, часовой пояс, установленные приложения (плагины), тип операционной системы. Всё это вместе иногда называют «отпечатком браузера». Вы удивитесь тому, насколько уникален именно ваш браузер. Хотите протестировать отпечаток? Воспользуйтесь инструментом Panopticlick от EFF (en) и нажмите «Test Me». Мы тестировали этот инструмент на произвольном мобильном телефоне и обнаружили, что совпадения отпечатков браузеров встречаются раз на 3 миллиона (согласно обширной базе протестированных Panopticlick браузеров).
Трекеры могут собрать множество данных о вашем устройстве, включая IP-адрес, историю браузера, размер экрана, часовой пояс, установленные приложения (плагины), тип операционной системы. Всё это вместе иногда называют «отпечатком браузера». Вы удивитесь тому, насколько уникален именно ваш браузер. Хотите протестировать отпечаток? Воспользуйтесь инструментом Panopticlick от EFF (en) и нажмите «Test Me». Мы тестировали этот инструмент на произвольном мобильном телефоне и обнаружили, что совпадения отпечатков браузеров встречаются раз на 3 миллиона (согласно обширной базе протестированных Panopticlick браузеров).
Если у компании есть трекеры на множестве веб-сайтов по всему миру, они могут распознавать вас по отпечатку браузера.
Прилипчивые трекеры
Существуют особые трекеры, которые не исчезают, когда вы покидаете веб-сайт, а «прилипают» к вашему браузеру. С их помощью вас тоже могут отслеживать в интернете.
Как компании могут связать мой браузер с моей личностью?
Это не так уж трудно. Достаточно, если вы залогиниваетесь на веб-сайтах, сервисе e-mail и в социальной сети.
Миф об «анонимности»
Как правило, компании заявляют, что, составляя ваш профиль, они не связывают его с вашим именем. Но разве это имеет значение? Вас можно легко идентифицировать по другим данным.
УЗНАЙТЕ, КТО ЗА ВАМИ СЛЕДИТ
Lightbeam – дополнение для Firefox. Lightbeam показывает, какие именно «третьи лица» незримо присутствуют на сайте, куда вы зашли. Lightbeam покажет не только их активность на отдельно взятом сайте, но и кто из них следит за вами на других сайтах.
Установить дополнение можно в главном меню Firefox или со страницы Lightbeam (нажмите Добавить в Firefox ).
Для запуска нажмите значок Lightbeam в верхней части браузера → погуляйте немного по разным веб-сайтам → смотрите визуализацию.
Ghostery
Когда вы посещаете веб-сайт, то можете в точности видеть, кто вас отслеживает (и заблокировать его!). База данных Ghostery впечатляет — больше двух тысяч трекеров.
Особенно полезная функция Ghostery – возможность автоматической блокировки трекеров.
Установить Ghostery (en) можно прямо в браузере или с сайта Ghostery: выберите
Ghostery Browser Extension - Install It Now .
Новостные веб-сайты – замечательный источник информации о вас. Задумайтесь, какой новостной сайт вы читаете, какие именно статьи. Это может немало значить для того, кто захочет дать оценку вашим политическим взглядам, общим интересам и даже таким вещам, как сексуальные или религиозные предпочтения.
Откройте сайт Trackography (en) → выберите страну → выберите сайт, который обычно читаете --> посмотрите, сколько разных компаний заглядывает вам через плечо. Можно выбрать компанию и познакомиться с ее политикой приватности.
МОЖНО ЛИ УВИДЕТЬ МОИ ПРОФИЛИ, КОТОРЫЕ УЖЕ СОЗДАНЫ?
Зависит от того, в какой стране вы живете (в любом случае вы вряд ли получите исчерпывающую картину).
Жители США могут получить некоторую информацию на сайте крупной компании по обработке данных Acxiom (en) , владельца «самой большой в мире коммерческой базы потребителей».
Европейский союз
В странах ЕС компании обязаны отвечать на запросы лиц, предоставляя им информацию. Эта обязанность закреплена в принципе права на доступ к данным, части европейского права в области приватности:
«Всякий, кто взаимодействует с компанией или государственным органом из страны-члена ЕС, независимо от причины может запрашивать любые данные, которые на него имеются у этой компании или органа, и компания (орган) обязана их предоставить».** Arstechnica (en)
Вопрос в том, как реализовать это законодательство на практике, легли в основу крупнейшего юридического процесса в области приватности в Европе, известного как «Европа против Facebook» («Europe vs Facebook»). Процесс продолжался на момент написания этого текста. Инициатором процесса стал австрийский студент Макс Шремс (Max Schrems).
Другие регионы
На этом веб-сайте (en/de) можно узнать, как получить ваши данные Facebook, если вы живете за пределами США и Канады.
Существует несколько веб-сайтов с информацией по конкретным странам. Например, в Нидерландах это Privacy Inzage Machine (nl) . С его помощью шаг за шагом вы можете получить свои данные от компаний, работающих в стране – и это не только платформы вроде Google или Facebook, но и энергетические компании, банки, супермаркеты, больницы и спецслужбы.
Мы работаем над тем, чтобы список сайтов на этой странице пополнялся новыми адресами. Пожалуйста, если вы знаете подобный сайт в вашей стране, свяжитесь с нами по e-mail.
Насколько серьезны могут быть ошибки в профилях
Если вы в курсе того, как передаются ваши персональные данные (многие из которых сугубо приватные), то знаете, какой объем информации о вас накапливает та или иная компания. Более того: можно выяснить, насколько искаженным получается ваш портрет.
Так, исследователь Ева Ахерн (Eve Ahearn) была весьма удивлена (en) , когда стала разбираться в этой проблеме: «У них получился гибрид 'два человека в одном', я и моя дочь. Как будто у меня есть дочь 16-17 лет, о которой я ничего не знаю». Компания, которая отслеживала Еву некоторое время и затем поделилась собранными данными, сделала вывод о двух людях, живущих в одном доме. На самом деле это была одна, настоящая Ева Ахерн, но в разные периоды своей жизни.
Примечание: когда запрашиваете свой профиль, компания просит персональную информацию, чтобы подтвердить вашу личность. Значит, компания получит дополнительные данные о вас – или, как минимум, подтвердит корректность собранных ранее данных.
— это небольшие текстовые файлы, в которые браузер записывает данные с посещенных вами сайтов. Файлы cookie позволяют сайтам «запоминать» своих посетителей, например, чтобы каждый раз не переспрашивать их логин и пароль.
Владелец трекера может использовать эту информацию по-разному:
С помощью трекеров владелец сайта может оценивать, сколько читателей его посещает, из каких регионов, с каких устройств. Эти данные позволят ему оптимизировать сайт под нужды аудитории.
Трекеры от сайтов, которые вы посещали самостоятельно (например, социальные сети), с большой вероятностью используются добросовестно.
Примеры недобросовестного использования
Недобросовестные владельцы трекеров могут передавать и перепродавать сторонним компаниям введенные на сайте личные данные, такие как номер телефона или адрес электронной почты. В результате вы можете получать письма с нежелательной рекламой или раздражающие звонки от рекламодателей, которым не оставляли свой телефон.
Мы считаем недобросовестное использование данных трекерами нарушением вашей приватности. Чтобы защитить ее, Яндекс разработал специальную технологию YTP.
Что такое YTP?
В основе YTP лежит простое правило — запускать трекеры разрешено только сайтам, которые вы уже посещали. Только эти сайты могут передавать от сайта к сайту ваши данные, показывать вам релевантные рекламные объявления и использовать другие возможности кросс-сайтового взаимодействия. Если вы не посещали сайт в течение 45 дней, то браузер начинает блокировать его трекеры.
Благодаря рекламе вам не нужно платить за сайты в интернете, поэтому Яндекс ищет баланс между бесплатностью сервисов и полезной, ненавязчивой рекламой.
Таким образом, для вас интернет остается удобным (например, вы можете использовать общий логин для нескольких сайтов), а сайты могут поддерживать свое существование, не раздражая посетителей нерелевантной рекламой.
Кроме того, технология YTP позволяет вам посмотреть, какие именно трекеры работают на странице, и заблокировать те из них, которым вы не доверяете.
Блокировка трекеров для отдельного сайта
При загрузке страницы в Умной строке отображается значок с числом заблокированных трекеров:
Трекер будет заблокирован до следующего посещения сайта, которому он принадлежит.
Трекер будет заблокирован до момента, когда вы сами отмените блокировку.
Если сайт не работает
Некоторые сайты не могут нормально функционировать без использования сторонних cookie. Если\nсайт сломался, попробуйте полностью отключить блокировку трекеров:
Чтобы включить защиту от трекеров обратно:
Вы читаете справку приложения Яндекс для Android. Если у вас устройство с iOS — перейдите в справку для этой операционной системы.
Что такое трекеры?
— это небольшие текстовые файлы, в которые браузер записывает данные с посещенных вами сайтов. Файлы cookie позволяют сайтам «запоминать» своих посетителей, например, чтобы каждый раз не переспрашивать их логин и пароль.
Владелец трекера может использовать эту информацию по-разному:
С помощью трекеров владелец сайта может оценивать, сколько читателей его посещает, из каких регионов, с каких устройств. Эти данные позволят ему оптимизировать сайт под нужды аудитории.
Трекеры от сайтов, которые вы посещали самостоятельно (например, социальные сети), с большой вероятностью используются добросовестно.
Примеры недобросовестного использования
Недобросовестные владельцы трекеров могут передавать и перепродавать сторонним компаниям введенные на сайте личные данные, такие как номер телефона или адрес электронной почты. В результате вы можете получать письма с нежелательной рекламой или раздражающие звонки от рекламодателей, которым не оставляли свой телефон.
Мы считаем недобросовестное использование данных трекерами нарушением вашей приватности. Чтобы защитить ее, Яндекс разработал специальную технологию YTP.
Что такое YTP?
В основе YTP лежит простое правило — запускать трекеры разрешено только сайтам, которые вы уже посещали. Только эти сайты могут передавать от сайта к сайту ваши данные, показывать вам релевантные рекламные объявления и использовать другие возможности кросс-сайтового взаимодействия. Если вы не посещали сайт в течение 45 дней, то браузер начинает блокировать его трекеры.
Благодаря рекламе вам не нужно платить за сайты в интернете, поэтому Яндекс ищет баланс между бесплатностью сервисов и полезной, ненавязчивой рекламой.
Таким образом, для вас интернет остается удобным (например, вы можете использовать общий логин для нескольких сайтов), а сайты могут поддерживать свое существование, не раздражая посетителей нерелевантной рекламой.
Кроме того, технология YTP позволяет вам посмотреть, какие именно трекеры работают на странице, и заблокировать те из них, которым вы не доверяете.
Блокировка трекеров для отдельного сайта
При загрузке страницы в Умной строке отображается значок с числом заблокированных трекеров:
Нажмите значок в Умной строке.
Справа от трекера нажмите → Отозвать разрешение .
Трекер будет заблокирован до следующего посещения сайта, которому он принадлежит.
Нажмите значок в Умной строке.
Справа от трекера нажмите → Заблокировать навсегда .
Трекер будет заблокирован до момента, когда вы сами отмените блокировку.
Нажмите значок в Умной строке.
Справа от трекера нажмите → Разблокировать .
Если сайт не работает
Некоторые сайты не могут нормально функционировать без использования сторонних cookie. Если сайт сломался, попробуйте полностью отключить блокировку трекеров:
Нажмите значок в Умной строке.
Чтобы включить защиту от трекеров обратно:
Нажмите значок в Умной строке.
Файлы cookie бывают собственными и сторонними (трекеры).
— это небольшие текстовые файлы, в которые браузер записывает данные с посещенных вами сайтов. Файлы cookie позволяют сайтам «запоминать» своих посетителей, например, чтобы каждый раз не переспрашивать их логин и пароль.
С помощью трекеров владелец сайта оценивает, сколько читателей его посещает, из каких регионов, с каких устройств. Эти данные позволят ему оптимизировать сайт под нужды аудитории.
Трекеры позволяют использовать на нескольких сайтах общий логин или виджет соцсети. Например, вы можете зарегистрироваться на Яндексе под теми же логином и паролем, что и Вконтакте. И войдя на сайт Яндекса, вы будете автоматически авторизовываться на всех его сервисах.
Трекеры от сайтов, которые вы посещали самостоятельно (например, социальные сети), с большой вероятностью используются добросовестно.
Примеры недобросовестного использования
Недобросовестные владельцы трекеров могут передавать и перепродавать сторонним компаниям введенные на сайте личные данные, такие как номер телефона или адрес электронной почты. В результате вы можете получать письма с нежелательной рекламой или раздражающие звонки от рекламодателей, которым не оставляли свой телефон.
Мы считаем недобросовестное использование данных трекерами нарушением вашей приватности. Чтобы защитить ее, мы разработали для Яндекс Браузера специальную технологию YTP, входящую в систему активной защиты Protect.
Что такое YTP
Технология Your Tracking Protection (YTP) ограничивает работу трекеров и позволяет вам выбирать, каким ресурсам доверять данные.
В основе YTP лежит простое правило: запускать трекеры разрешено только сайтам, которые вы посещали. Лишь они могут передавать друг другу ваши данные и показывать вам релевантные рекламные объявления. Если вы не заходили на сайт 45 дней, то Браузер начинает блокировать его трекеры.
Благодаря рекламе владельцы интернет-сайтов получают доход, а вам не приходится платить за просмотр сайтов. Яндекс ищет баланс между бесплатностью сервисов и ненавязчивой рекламой.
Таким образом, для вас интернет остается удобным (например, вы можете использовать общий логин для нескольких сайтов), а сайты могут поддерживать свое существование, не раздражая посетителей нерелевантной рекламой.
Кроме того, технология YTP позволяет посмотреть, какие трекеры работают на странице, и заблокировать те, которым вы не доверяете.
Блокировка трекеров на сайте
При загрузке страницы в Умной строке отображается значок с числом заблокированных трекеров:
Трекер будет заблокирован до следующего посещения сайта, которому он принадлежит.
Файлы cookie бывают собственными и сторонними (трекеры).
— это небольшие текстовые файлы, в которые браузер записывает данные с посещенных вами сайтов. Файлы cookie позволяют сайтам «запоминать» своих посетителей, например, чтобы каждый раз не переспрашивать их логин и пароль.
С помощью трекеров владелец сайта оценивает, сколько читателей его посещает, из каких регионов, с каких устройств. Эти данные позволят ему оптимизировать сайт под нужды аудитории.
Трекеры позволяют использовать на нескольких сайтах общий логин или виджет соцсети. Например, вы можете зарегистрироваться на Яндексе под теми же логином и паролем, что и Вконтакте. И войдя на сайт Яндекса, вы будете автоматически авторизовываться на всех его сервисах.
Трекеры от сайтов, которые вы посещали самостоятельно (например, социальные сети), с большой вероятностью используются добросовестно.
Примеры недобросовестного использования
Недобросовестные владельцы трекеров могут передавать и перепродавать сторонним компаниям введенные на сайте личные данные, такие как номер телефона или адрес электронной почты. В результате вы можете получать письма с нежелательной рекламой или раздражающие звонки от рекламодателей, которым не оставляли свой телефон.
Мы считаем недобросовестное использование данных трекерами нарушением вашей приватности. Чтобы защитить ее, мы разработали для Яндекс Браузера специальную технологию YTP, входящую в систему активной защиты Protect.
Что такое YTP
Технология Your Tracking Protection (YTP) ограничивает работу трекеров и позволяет вам выбирать, каким ресурсам доверять данные.
В основе YTP лежит простое правило: запускать трекеры разрешено только сайтам, которые вы посещали. Лишь они могут передавать друг другу ваши данные и показывать вам релевантные рекламные объявления. Если вы не заходили на сайт 45 дней, то Браузер начинает блокировать его трекеры.
Благодаря рекламе владельцы интернет-сайтов получают доход, а вам не приходится платить за просмотр сайтов. Яндекс ищет баланс между бесплатностью сервисов и ненавязчивой рекламой.
Таким образом, для вас интернет остается удобным (например, вы можете использовать общий логин для нескольких сайтов), а сайты могут поддерживать свое существование, не раздражая посетителей нерелевантной рекламой.
Кроме того, технология YTP позволяет посмотреть, какие трекеры работают на странице, и заблокировать те, которым вы не доверяете.
Блокировка трекеров на сайте
При загрузке страницы в Умной строке отображается значок с числом заблокированных трекеров:
Трекер будет заблокирован до следующего посещения сайта, которому он принадлежит.
Недавно мы открыли для внешних пользователей Яндекс.Трекер – нашу систему управления задачами и процессами. В Яндексе его используют не только для создания сервисов, но даже для закупки печенья на кухни.
Как известно, чем меньше компания, тем более простые инструменты она может использовать. Если с утра вы можете поздороваться с каждым сотрудником лично, то вам хватит для работы даже чата в Telegram. Когда появляются отдельные команды, не только поприветствовать каждого лично не получится, но и в статусах задач можно запутаться.
Облако из слов в заголовках тикетов во внутреннем Яндекс.Трекере
На таком этапе важно сохранять прозрачность процессов: все стороны должны иметь возможность в любой момент узнать о ходе работы над задачей или, например, оставить свой комментарий, который не пропадёт в потоке рабочего чата. Для небольших команд трекер – это и вовсе своего рода новостная лента с последними новостями из жизни их компании.
Сегодня мы расскажем читателям Хабрахабра, почему Яндекс решил создать свой трекер, как он устроен внутри, и с какими сложностями нам пришлось столкнуться, открывая его наружу.
В Яндексе сейчас работает больше шести тысяч человек. Несмотря на то, что многие его части устроены как независимые стартапы со своими командами разного размера, необходимость понимать, что происходит у людей на соседнем этаже всегда есть – их работа может пересекаться с вашей, их улучшения могут помочь вам, а какие-то процессы наоборот могут негативно повлиять на ваши. В такой ситуации сложно, например, призывать коллегу из другого рабочего пространства в Slack. Особенно, когда прозрачность задачи важна для множества людей из разных направлений.
В какой-то момент мы начали использовать известную всем Джиру. Это хороший инструмент, функциональность которого в принципе всех устраивала, но его было сложно интегрировать с нашими внутренними сервисами. Кроме того, на масштабе в тысячи человек, которым нужно единое пространство, где каждый сможет сориентироваться без фонарика, Джиры переставало хватать. Случалось и такое, что она ложилась под нагрузкой, даже при том, что работала на наших серверах. Яндекс рос, количество тикетов также увеличивалось, а обновления на новые версии занимали всё больше времени (последний апгрейд занял полгода). Нужно было что-то менять.
В конце 2011 года у нас было несколько вариантов решения проблемы:
- Увеличить производительность старого трекера. Отбросили идею, т.к. переделывать архитектуру чужого продукта самим – плохо. Это значило бы как минимум поставить крест на обновлениях.
- Распилить трекер на несколько независимых копий (инстансов), чтобы снизить нагрузку на каждую. Идея не новая, её используют большие компании в аналогичных случаях. В итоге не работали бы сквозные отчеты, фильтрация, линковка и перенос задач между копиями. Всё это было критично для компании.
- Приобрести другой инструмент. Рассмотрели возможные варианты трекеров. Большинство из них не позволяют легко масштабироваться, то есть стоимость инфраструктурных доработок и последующих изменений под наши нужды получилась бы выше, чем стоимость собственной разработки..
- Написать свой трекер. Рискованный вариант. Дает больше всего свободы и возможностей в случае успеха. В случае неуспеха имеем проблемы с одним из ключевых инструментов разработки и планирования. Как вы уже догадались, мы рискнули и выбрали именно этот вариант. Ожидаемые плюсы перевесили минусы и риски.
Разработка собственного трекера началась в январе 2012 года. Первой свои задачи в новый сервис перевезла сама команда трекера через несколько месяцев после начала работы над проектом. Дальше начался процесс переезда остальных команд. Каждая команда выдвигала свои требования к функциональности, их прорабатывали, трекер обрастал новыми фичами, затем перевозили команду. На полный переезд всех команд и закрытие Джиры понадобилось два года.
Но давайте вернемся немного назад и посмотрим на список требований, который был составлен для нового сервиса:
- Отказоустойчивость. Как вы возможно слышали, в компании регулярно проводятся учения с отключением одного из ДЦ. Сервис должен переживать их незаметно как для пользователя, так и для команды, без необходимости выполнять ручные действия при начале учений.
- Масштабируемость. У задач в трекере нет срока давности. Разработчику или менеджеру может понадобиться как посмотреть на сегодняшнюю задачу, так и на ту, которая была закрыта ещё 7 лет назад. А это значит, что удалять или архивировать старые данные мы не можем.
- Интеграция с внутренними сервисами компании. Тесная провязка с нашими многочисленными сервисами требовалась большинству команд Яндекса: интеграции с сервисами по долгосрочному планированию, системами контроля версий, каталогом сотрудников и т.д.
А ещё в момент сбора требований мы определились с теми технологиями, которые будем использовать для создания трекера:
Как и для любых других публичных и внутренних сервисов Яндекса, нам пришлось также задуматься о требованиях к запасу производительности и масштабируемости сервиса. Пример для понимания ситуации. На момент начала проектирования системы у нас было порядка 1 млн задач и 3 тыс. пользователей. На сегодняшний день в сервисе почти 9 млн задач и более 6 тыс. пользователей.
Кстати, несмотря на довольно приличное количество пользователей во внутреннем Трекере, бОльшая часть запросов приходит в трекер, через API от сервисов Яндекса, интегрированных с ним. Именно они и создают основную нагрузку:
Мы стараемся регулярно оценивать будущую нагрузку на сервис. Строим прогноз на 1-2 года, затем с помощью Лунапарка проверяем, что сервис ее выдержит:
На этом графике видно, что API поиска задач начинает отдавать заметное число ошибок лишь после 500-600 rps. Это позволило оценить, что с учетом роста нагрузки от внутренних клиентов и роста количества данных мы выдержим нагрузку через 2 года.
Кроме высокой нагрузки с сервисом могут случаться и другие неприятные истории, с которыми надо уметь обращаться так, чтобы пользователи этого не замечали. Перечислим некоторые из них.
Отказ датацентра.
Весьма неприятная ситуация, которая тем не менее регулярно происходит благодаря учениям. Что происходит при этом? Худший случай, это когда мастер монги был в отключенном ДЦ. Но даже в этом случае не требуется вмешательство разработчика или админа благодаря автоматическому failover. В эластике ситуация немного иная: часть данных оказалась в единственном экземпляре т.к. фактор репликации у нас 1. Поэтому он создает новые шарды на уцелевших нодах, чтобы у всех шардов снова была резервная копия. Тем временем балансер над бекендом получает таймаут соединений в тех запросах, которые выполнялись на инстансах в отключенном ДЦ, либо ошибку от работающего бекенда, чей запрос ушел в пропавший ДЦ и не вернулся. В зависимости от обстоятельств, балансер может попытаться повторить запрос или вернуть ошибку пользователю. Но в итоге балансер поймет, что инстансы из отключенного ДЦ ему недоступны и перестанет отправлять туда запросы, проверяя в фоне, не заработал ли все-таки ДЦ и не пора ли возвращать туда нагрузку.
Потеря связности между бекендом и базой/индексом из-за проблем с сетью.
Чуть более простая ситуация на первый взгляд. Так как балансер над бекендом регулярно проверяет его состояние, то ситуация, когда бекенд не может достучаться до базы всплывает весьма быстро. И балансер опять уводит нагрузку с этого бекенда. Есть опасность, что если все бекенды потеряют связь с базой, то их всех же закроют, что в итоге повлияет на 100% запросов.
Высокая нагрузка запросов в поиск трекера.
Поиск по задачам, их фильтрация, сортировка и агрегация – весьма трудозатратные операции. Поэтому именно эта часть API имеет самые строгие лимиты по нагрузке. Раньше мы находили вручную тех, кто заваливал нас запросами и просили их сбавить нагрузку. Сейчас такое происходит всё чаще, поэтому включение rate limits позволило не замечать излишне активного клиента API.
Яндекс.Трекер – для всех
Нашими сервисом не раз интересовались другие компании – они узнавали о нашем внутреннем инструменте от тех, кто покидал Яндекс, но не мог забыть Трекер. И вот в прошлом году внутри мы решили готовить Трекер к выходу в мир – делать из него продукт для других компаний.
Мы сразу начали прорабатывать архитектуру. Перед нами встала большая задача по масштабированию сервиса до сотен тысяч организаций. До этого сервис годами разрабатывался для одной нашей компании, учитывал только её потребности и нюансы. Стало ясно, что текущая архитектура потребует сильных доработок.
В итоге у нас было два варианта решения.
- Минимальное количество изменений в уже написанном коде
- Дорогие ресурсы
- Сложный мониторинг
- Сложность выкладки и миграций
- Разумное использование ресурсов
- Быстрый деплой и относительно быстрые миграции
- Простой мониторинг
- Трудоемкость
Очевидно, что стабильность сервиса для внешних пользователей не менее важна, чем для внутренних, поэтому необходимо дублировать базы, поиск, бэкенд и фронтенд в нескольких датацентрах. Это делало первый вариант гораздо более сложным в обслуживании – получалось много точек отказа. Поэтому конечным вариантом мы выбрали второй.
Переписывание основной части проекта у нас заняло два месяца, для такой задачи это были рекордные сроки. Тем не менее, чтобы не ждать, мы подняли несколько копий трекера на выделенном железе, чтобы было на чём тестировать фронтенд и взаимодействие со смежными сервисами.
Отдельно стоит отметить, что еще на этапе проектирования, мы приняли принципиальное решение сохранить одну кодовую базу для обоих Трекеров: внутреннего и внешнего. Это позволяет не заниматься копированием кода из одного проекта в другой, не снижать скорость релизов и выпускать возможности наружу почти сразу после их появления в нашем внутреннем Трекере.
Но как выяснилось, мало было добавить ещё один параметр во все методы приложения, мы также столкнулись со следующими проблемами:
- Нерезиновость монги и эластика. Нельзя было сложить данные в один инстанс, эластик плохо относится к большому количеству индексов, монга также не могла бы вместить все организации. Поэтому бекенд разделили на несколько больших инстансов, каждый из которых может обслуживать закрепленные за ним организации. Каждый инстанс отказоустойчив. При этом есть возможность перетащить организацию между ними.
- Необходимость выполнять cron задачи для каждой организации. Тут нам пришлось решать вопрос с каждой задачей индивидуально. Где-то заменили pull данных на push. Где-то одна cron задача генерировала по отдельной задаче на каждую организацию.
- Разный набор полей задач в каждой организации. Из-за наличия оптимизаций работы с ними нам пришлось написать отдельный кеш для них.
- Обновление маппинга индекса. Достаточно распространенная операция, случающаяся при апдейте трекера на новую версию. Добавили механизм поэтапного обновления маппинга.
- Открытие API на внешних пользователей. Пришлось добавить рейт лимитер, закрыть доступ к служебному API.
- Наличие службы поддержки для редких действий. Наши саппорты и разработчики не имеют право заглядывать в пользовательские данные организаций, а значит все действия должны производить администраторы компаний. Добавили для них ряд админок в интерфейсе.
Отдельный момент – оценка производительности. Из-за множества переделок необходимо было оценить скорость работы, количество организаций, которое бы вместилось в инстанс, а также поддерживаемый rps. Поэтому мы провели очередные стрельбы, предварительно заселив в наш тестовый трекер большое количество организаций. По итогам определили границу нагрузки, после которой новые организации надо будет размещать в новом инстансе.
Еще один специальный выделенный инстанс Трекера мы сделали, чтобы разместить в нем демоверсию. Чтобы попасть в нее достаточно иметь просто аккаунт на Яндексе. В ней заблокированы некоторые возможности (например, загрузка файлов), но зато можно познакомиться с настоящим интерфейсом Трекера.
Читайте также: