1с битрикс боты регистрируются постоянно как решить проблему
[adace-ad >В середине прошлого года на российский сегмент интернета свалилась настоящая напасть — десятки тысяч сайтов наводнили боты, которые тянули на дно все качественные показатели и приводили к существенному снижению позиций по многим запросам. Уменьшение поискового трафика сопровождалось множеством прямых заходов на сайт или переходом с социальных сетей. Конца этому беспределу пока не видно: Яндекс на официальном уровне проблему не признаёт, поэтому её решение целиком и полностью легло на плечи веб-мастеров и seo-специалистов.
Почему на вашем сайте появляются боты? Скорее всего, в тематике вашего сайта кто-то накручивают ПФ и ваш сайт используется в качестве «прогрева» ботов , нагуливая куки и создавая видимость человека. Всё просто. Единственная хорошая новость в том, что если боты есть на вашем сайте, то значит он действительно качественный. На этом плюсы кончаются
Признаки наплыва ботов
Косвенных признаков ботового DDoS на сайт достаточно много. Если у вас в последние дни вырос трафик в разы, обязательно загляните в метрику, чтобы узнать природу такого резкого всплеска.
ДО БОТОВ:
ПОСЛЕ БОТОВ:
ДО БОТОВ:
ПОСЛЕ БОТОВ:
3. Если боты идут с прямых заходов, то проводят на сайте не менее 15 секунд , чтобы метрика не засчитала отказ. В случае поискового трафика обычно по другому (об этом чуть ниже). Таким образом в метрике у нас появляется огромное количество посетителей с 15-секундной сессией и посещением одной страницы
В самых запущенных случаях может быть так:
4. Имитируют действия человека, если судить по Вебвизору. Боты скроллят страницу, даже останавливаются на каком-то участке текста, но, как отмечают многие веб-мастеры этим только палятся, т.к. на человеческие действия это совсем не похоже:
- «Читают» совсем второстепенный текст, а не основной контент, главную мысль в тексте.
- Постоянные рывки мышкой, движения вверх вниз, непонятные наворачивания кругов курсором вокруг какого-то элемента на странице
- Быстрый скролл страницы. На такой скорости человек даже заголовки не успеет прочитать.
- Долгие сессии (10-20 минут), но 99% времени от этих сессий — бездействие и судорожное перемещение курсора в рандомные област
5. В последнее время боты немного переориентируются и идут через поиск (не прямые заходы) по многим топовым запросам. Как мы уже писали выше, боты атакуют в основном страницы по самым конкурентным запросам , причем многие боты из поиска с высокими отказами идут с тех же самых IP-адресов, с которых идёт атака по прямым заходам
6. К прямым заходам добавляются переходы со странных сайтов, на которых, якобы, стоит бэклинк на ваш ресурс. При переходе на этот сайт ссылки на ваш сайт не обнаруживается
7. В основном боты селятся на сайтах с хорошей посещаемостью (от 500 до 1000 в сутки). Но бывают исключения и долбят ресурсы поменьше.
8. Подавляющая часть ботов идёт с IP-адресов сетей мобильных операторов Москвы или Московской области. Особой популярностью у ботоводов пользуется Metropolitan branch of OJSC MegaFon. Так же много ботов идёт с IP-сети, которая подписана как IPv4 address block not managed by the RIPE NCC . Еще один нюанс — у всех поголовно маленькое разрешение экрана (например, 375×667). Вот стандартный заход бота (конкретно здесь — с социальной сети ок.ру, где никогда не размещались ссылки на наш ресурс)
9. Количество ботов растёт планомерно. Увеличивается каждый день по чуть-чуть (10-50 заходов), но растёт. И растёт ежедневно. «Нормальным» показателем сейчас считается до 20% ботного трафика на сайте. Это, конечно, не норма, но, якобы, терпимо. А вот если доля паразитного трафика переваливает за 50%, то стоит начинать бить тревогу
10. Зачастую вместе с ботами растёт количество внешних ссылок с разных спамных и мутных ресурсов
Как посмотреть данные по прямым заходам?
Зайдите в раздел «Посетители» и добавьте фильтр «Люди у которых». Выберите «Источники» -> «Тип источника» -> «Первый источник трафика». Ставим чебокс на «Прямые заходы»
[adace-ad не может распознать ботов?
Да, Яндекс.Метрика не может определить ботов , даже которые идут по прямым заходам, что уж говорить про тех, кто идёт с поиска. При этом в сервисе есть отдельный пункт «Роботы». Находится в Отчеты/Стандартные отчеты/Мониторинг/Роботы.
Показывает процент роботов, которые заходили на сайт, только толку от этого никакого — метрика ботов в этот показатель не относит, т.е. не распознает.
Даже если вы поставите в настройках счетчика жесткую фильтрацию роботов (Настройка -> Фильтры), то это ничего не изменит
Последствия атаки
Последствия в любом случае будут негативными, но у некоторых сайтов, столкнувшихся с атакой, они умопомрачительно деструктивные:
- Падает поисковой трафик. Его доля обычно снижается постепенно, но стабильно. Причем трафик с гугла до поры до времени не снижается (а может и вообще остаться на уровне — здесь как повезёт)
- Снижение позиций. Следует из первого пункта. Доходит до того, что сайты из ТОП-3 улетают далеко за ТОП-100 по многим запросам.
- Бан за накрутку поведенческих факторов. Даже если Яндекс и каким-то образом определяет, что это боты (но это очень маловероятно) он может посчитать, что вы сами решили накрутить ПФ на своём сайте. И доказать обратное у вас не получится.
- Бан в РСЯ и Adsense. Причем у нынешней волны ботов (скорее всего) нет как таковой задачи скликивать рекламу, но так как они рандомно перемещаются и скролят по странице, иногда они мисскликают по рекламе.
Зачем это делается?
Однозначного ответа на вопрос нет. Всего есть две версии, каждая из которых имеет право на жизнь:
- Хотят испортить ПФ сайтам-конкурентам . История стара как мир: чтобы задушить конкурента, уроните его поведенческие факторы. Минус этой версии в том, что в рунете атакуют вообще все сайты, не только коммерческой тематики, но и информационные вне зависимости от тематики, мест в выдаче и посещаемости. Никакого точечного уничтожения не прослеживается и обычно такие атаки НЕ приводят к фильтрам за накрутку поведенческих.
- Хотят накрутить ПФ своим сайтам с помощью «прокачанных ботов» . Так называемый прогрев трафика. Как это работает? Берется выдача из поисковой системы по определенному запросу, например, «кондиционеры». Берутся сайты с установленной метрикой и боты начинают «нагуливать» вес на этих сайтах (заходят на них напрямую, не с поиска), создавая видимость заинтересованности в этой теме, эмулируя человеческие действия. Дальше, когда «пользователь» (по факту — бот) в глазах Яндекса получает определенный статус экспертности в теме и становится максимально похожим на человека, он идёт в поисковую выдачу и кликает на нужные (заказанные) накрутчикам сайты, повышая их ПФ.
Кто этим занимается?
На тёмную сторону, так или иначе, перешли практически все SEO-конторы. Всё потому, что классическое продвижение, к сожалению (для веб-мастеров под ботами), не даёт и доли такой эффективности в ранжировании, как накрутка ПФ. Агентство krutim.online, сейчас, пожалуй, самое известное, хотя бы потому, что играют «в открытую». Если опустить мораль и этику таких методов SEO, то ребята из Krutim рассказывают достаточно интересные вещи. Последний их вебинар можно посмотреть в YouTube
Как защищаться?
Давайте сразу определимся — на данный момент нет ни одного 100% способа избавиться от ботов . Если точнее ни одного, который бы не блокировал настоящих посетителей посетителей. Или, по крайней мере, не уменьшал удобство пользования сайтом (капча и т.п.). Но обо всём поподробнее:
[adace-ad Ничего не делать
Многие веб-мастера заранее выбрасывают белый флаг, справедливо считая, что Яндекс должен сам разобраться с проблемой. Правда, последний не спешит это делать. В любом случае вариант забить и продолжать работать над сайтом имеет право на существование . Есть примеры, когда боты (а они есть почти у всех сайтов в рунете) никак не мешают развития сайта, не роняют позиции в выдаче, не уменьшают долю поискового трафика. Доля ботов в 10-20% от всего трафика присутствует у многих, так или иначе. Но этот вариант чреват тем, что в один момент может быть поздно принимать какие-либо меры.
Еще один момент: боты могут действительно уйти на некоторое время или снизить атаку до 1-2% от общего трафика, но практически всегда наплыв с прежней, как минимум, силой возвращается. Так же было и у нас.
1. Удалить метрику на конкретных страницах
Если боты атакуют несколько конкретных страниц, возможно, имеет смысл временно убрать код с этих страниц. Чисто теоретически, если их не будет в метрике, то на поведенческие факторы боты уже влиять не будет. Но такое случается редко и боты понемногу шерстят по многим страницам. На каждой из них снимать метрику — такое себе решение. Кстати, полное снятие метрики с сайта вообще никак на атаку не повлияет. Было проверено: снятие метрики на неделю и её обратное возвращение никак не повлияло на мусорный трафик . Все боты остались на месте.
2. Показывать метрику только пользователям с поиска
Если вы не продвигаетесь в социальных сетях, а оттуда идёт много ботов, то есть смысл фильтровать такой трафик вообще. Да, есть вероятность, что вы зацепите этим самым действительно настоящих пользователей, которые наткнуться на ссылку в социальных сетях, но если в обычном режиме их было немного, то лучше это дело зафильтровать. Тоже самое касается и прямых заходов.
Много ли человек набирают ваш сайт вручную или с перешел из закладок браузера? Заходят на него не с поиска. Если много, то не стоит этого делать. Если единицы, то стоит — таким фильтром вы срежете огромное количество ботов . Через метрику («Настройка -> Фильтры») вы не сможете этого сделать — таких фильтров нет. Единственный вариант срезать их — через Cloudflare JS Challenge (об этом ниже)
Единственное, что можно сделать через метрику это сделать так, чтобы боты не учитывались в самой метрике (настроить фильтр по IP), но от самих заходов на сайт это не избавит
НО! Возможно, в этом нет никакого смысла, так как сам Яндекс при этом утверждает, что
«Дополнительно обращаем Ваше внимание, Метрика только отображает статистику посещаемости Вашего сайта и не влияет на ранжирование, поскольку статистические данные не передаются в поиск Яндекса.»
3. Бан по IP-адресам / подсетям
Повторяем! Это Опасно!
Так как боты прячутся под мобильными прокси (по сути — модем, который перезагружаются по таймауту и получает новый динамический (!) IP-адрес), то вполне возможно, что заблокированные айпишники вскоре достанутся реальным пользователям, не говоря уж о блокировки целых пулов. С блокировкой нужно быть предельно аккуратным. Рекомендовать данный способ мы не можем. Только в самых крайних случаях.
Как это сделать? Самый простой способ — прописать нужные правила в файл .htaccess. Чтобы не заморачиваться с кодом, который нужно туда прописать, воспользуйтесь генератором — так будет проще и быстрее. Пример работы:
4. Отключение IPv6
Очень много ботов идёт с IP-адресом протокола IPv6 примерно такого вида 2a09:400:xxxx:xxxx:xxxx:xxxx:xxxx:xxxx. Дело в том, что IPv6-адреса можно купить очень дешево и поэтому ботоводы их скупают более охотно, в то время как люди ими почти не пользуются. Таких ботов можно отсечь либо блокировкой, либо отключением в DNS.
Удаление всех AAAA-записей в NS
В вашем регистраторе домена вы прописываете DNS-сервера, которые используются для вашего сайта.
- Если там прописаны сервера Сloudflare, то переходите к «Запрет на IPv6 через Сloudflare».
- Если там прописаны DNS хостера, то читайте «Блокировка через панель управления хостинга».
- Если там промежуточный вариант, то нужно зайти в в управление нужным доменом, найти IP привязанные к домену и отключить IPv6 (удалить все AAAA записи).
В настройках удалите все АААА-записи, если они есть . Т.е. выглядеть это должно примерно так:
Запрет на IPv6 через Сloudflare
В настройках сайта на Cloudflare настройка DNS вынесена в быстрые действия в правом верхнем углу
Далее смотрим на NS-записи. Если на АААА у вас стоит «DNS Only» , то всё в порядке. Статус «DNS Only» означает, что запросы будут идти в обход Cloudflare. Если стоит статус «Proxied» , для данной DNS-записи все запросы сначала будут проходить через Cloudflare.
Блокировка через панель управления хостинга
Если ваш хостер предоставляет панель управления сайтом Cpanel, то сделать можно следующим образом: зайдите в раздел «Безопасность» -> Блокировка IP. Добавить подсеть можно так 2a09:0400:0000:0000:0000:0000:0000:0000/32 или 2a09:400::/32.
На данный момент использование IPv6 пока не обязательно. Даже с учетом заканчивающихся свободных айпи-адресов в IPv4, операторы связи не торопятся выдавать адреса с шестого протокола (кстати, используя IPv6, поддержка IPv4 никуда не пропадает). Однако, есть мнение, что делать этого не стоит по двум причинам : это может неадекватно воспринять поисковые алгоритмы Google (каких-то подтверждений этому нет) и часть реальных пользователей вы всё равно отсечете, особенно, если сайт международный (в Европе уже достаточно активно используют). Но вы знаете, кто в России использует IP-протокол шестой версии? Вот и мы не знаем.
5. Блокировка/ фильтр по AS
На форумах проскакивает способ отсечения ботов из социальных сетей блокировкой целых автономных систем (AS) с которых идут мусорные заходы.
Блокировка через .htaccess
Блокировка через htaccess ничем не отличается от блокировки IP. Как узнать какие IP содержат конкретные AS? Для этого есть специальный сервис ASN-blocklist. Введите номер автономной системы и сервис выдает вам пул адресов, которые закреплены за ней. Точнее, он сразу выдает вам код, который нужно прописать в .htaccess
Метод крайне обременительный по времени, если у вас есть Cloudflare, то лучше делать через него
Фильтр через Cloudflare
Фильтр по ASN делается в разделе «Firewall» из аккаунта. Конкретно заходим в Firewall Rules
В бесплатной версии можно настраивать всего 5 правил, но нам нужно добавить только одно:
Таким правилом мы не отсекаем этот трафик, а будем показывать ему капчу (JS Challenge). Полный список ASN под спойлером
Курс предназначен для базовой подготовки администраторов сайтов, созданных на "1С-Битрикс: Управление сайтом". Изучив курс, вы освоите основные методы администрирования системы, а также пополните знания по темам, изученным в курсе Контент-менеджер.
Если вы добросовестно изучите курс, то научитесь:
- управлять доступом к системе, сайтами, пользователями, группами пользователей;
- работать с инструментами системы;
- использовать возможности интерфейса по управлению системой;
- работать с модулями "1С-Битрикс: Управление сайтом", связанными с оптимизацией и безопасностью работы сайта;
- выполнять работу по конфигурированию веб-системы для оптимальной работы.
Если вам предстоит самостоятельная установка системы или перенос сайта на хостинг, то без курса Установка и настройка Курс Установка и настройка предназначен для специалистов устанавливающих "1С-Битрикс: Управление сайтом" или "Битрикс24 в коробке".
Начальные требования
Необходимый минимум знаний для изучения курса:
- базовые навыки компьютерной грамотности и навыки работы с ОС Windows;
- базовые знания о WWW и организации доступа к веб-серверу;
- знание системы в рамках курса Контент-менеджер Мы считаем, что вы этот курс уже прошли и знаете многое о Битриксе. Поэтому подсказок во всплывающих окнах будет намного меньше, чем в курсе Контент-менеджер. , чтобы банально не путаться в интерфейсе.
Неплохо было бы иметь базовые навыки установки и администрирования *nix-систем.
У нас часто спрашивают, сколько нужно заплатить
Курс полностью бесплатен. Изучение курса, прохождение итоговых тестов и получение сертификатов - ничего из этого оплачивать не нужно.
Ещё у нас есть Академия 1С-Битрикс, где можно обучиться на платной основе на курсах нашей компании либо наших партнёров.
Баллы опыта
В конце каждого урока есть кнопка Прочитано! . При клике на неё в Вашу итоговую таблицу опыта добавляется то количество баллов, которое указано в прочитанном После нажатия кнопки Прочитано! появится
окно подтверждения:
уроке.
Периодически мы заново оцениваем сложность уроков, увеличивая/уменьшая число баллов, поэтому итоговое количество набранных Вами баллов может отличаться от максимально возможного. Не переживайте! Отличный результат - это если общее число набранных Вами баллов отличается от максимального на 1-2%.
Тесты и сертификат
После изучения курса пройдите тесты на сертификацию. При успешной сдаче последовательности тестов на странице Моё обучение вы увидите результат обучения и там же - ваш сертификат в формате PDF.
Иконка успешно сданного вами курса отображается в вашем профиле на Freelance, если вы укажите ссылку на ваш профиль на сайте компании 1С-Битрикс.
Комментарии к урокам
Для преподавания офлайн
Если данный курс берётся в качестве основы для офлайнового преподавания, то рекомендуемая продолжительность: 3 дня (24 академических часа).
Если нет интернета
iPhone:
FBReader
CoolReader
iBook
Bookmate
Windows:
Calibre
FBReader
Icecream Ebook Reader
Плагины для браузеров:
EpuBReader – для Firefox
Readium – для Google Chrome
iOS
Marvin for iOS
ShortBook
обновляются периодически, поэтому возможно некоторое отставание их от онлайновой версии курса. Версия файла - от 11.04.2022.
Как проходить учебный курс?
Задача:
Определить причину перегрузки сайта на Битриксе и устранить её.
1.Определение причины
Как определил, что перегружают боты
Поддержка хостинга посоветовала посмотреть статистику нагрузки по IP адресам
Статистика процессорной нагрузки/Детализация по страницам, IP адресам
На этой странице видно было что пиковую нагрузку создавал msnbot
После выяснения того что в нагрузке на сайт виновны боты, появился уточненный вариант задачи
Задача уточненная
Уменьшить нагрузку на сайт от поисковых ботов
2. Решение проблемы.
Замедление ботов
по сути я вставил несколько строк, чтобы замедлить боты
История общения с поддержкой
на виртуальный выделенный сервер переводить ресурс не хочу, т.к. дороже и больше хлопот с администрированием.
вопрос: появился ли у вас сервер с PHP 5.3 на Fast/CGI ?
2013-01-22 11:02 1Gb.ua: Дежурит специалист(ов): 5
Задавайте вопрос (если есть) - свободный специалист ответит вам.
(если вы уже задали вопрос - ожидайте ответа)
2013-01-22 11:03 1Gb.ua: Здравствуйте
2013-01-22 11:04 1Gb.ua: PHP 5.3 на Fast/CGI пока нет
2013-01-22 11:04 Вы: что с ресурсом делать? каждый день приходят письма о больших перегрузсках с угрозой отключить ресурс
2013-01-22 11:07 1Gb.ua: это не угроза, просто предупреждение. Нагрузка никак не связана с переходом на другой тип сервера
2013-01-22 11:07 1Gb.ua: судя из логов большую часть нагрузки создает msnbot
2013-01-22 11:08 Вы: а что это? есть где почитать
2013-01-22 11:08 Вы: просто раньше таких проблем в принципе не было
2013-01-22 11:09 Вы: а при переносе на сервер с пхп 5.3 с отключенным акселлератором производительность битрикса упала с 30-ти до 7-ми пунктов
2013-01-22 11:09 1Gb.ua: Настроить скорость проходения поисковых ботов можно в файле robots.txt
Так же в нем можно вообще запретить к индексации msn ботом Ваш сайт
2013-01-22 11:10 Вы: ок, это может помочь.
посдскажете ссылки где почитать про скорость прохождения ботами?
2013-01-22 11:10 Вы: ок, спсб
2013-01-22 11:11 Вы: подскажите пож как вы статистику смотрели?
(чтобы я в след раз сам идентифицировал проблему)
2013-01-22 11:11 1Gb.ua: "Детализация по страницам, IP адресам"
2013-01-22 11:12 1Gb.ua: на крайний случай, можно просто напрямую заблокировать ip которые создают нагрузку, их там не много
2013-01-22 11:16 1Gb.ua: там довольно много информации смотрите, так же можете посмотреть и на других ресурсах, msnbot можно вообще заблокировать. Ваша целевая аудитория им точно не польщуется
Небольшая разработка демонстрации получения данных из Битрикс 24 через api и вебхуки.
Основные вопросы взаимодействия были отображены в вышеуказанной публикации и повторяться не вижу смысла. В свое обработке я показал как можно получить за период создания (первая вкладка обработки) Сделки, дела и взаимодействие сделок и дел.
Во второй вкладке показана возможность отбора по любой дате.
Для обеспечения работоспособности у вас, необходимо в коде (можно вынести на форму конечно, реквизиты заданы)
В следующих функциях поставить данные для подключения. Можно вносить их на форму постоянно, тогда кусок кода поменяется на:
Также в обработке реализовано следующее. Можно перенести из битрикса в 1С список сотрудников для ускорения поиска сотрудника по id. Но для этого понадобится создать справочник.
Можно его не создавать, но это усложняет работу по получению сотрудника по id, т.к. по каждой сделке или делу машина отправляет запрос в Битрикс, что создает нагрузку.
Также для анализа и планирования введен (у меня в системе) регистр сведений ПланыСотрудников
Куда можно внести планы сотрудников и сравнивать их с фактом по работе по суммам сделок. Данный функционал можно раскомментировать и использовать его (строки 52-72
Реализовывал на базе 1с:Документооборот. Платформа: 1С:Предприятие 8.3 (8.3.12.1685)
Готов ответить на любые вопросы, буду рад комментариям и замечаниям. Могу попробовать при необходимости адаптировать продукт под др. конфигурации.
Специальные предложения
(2) Да согласен. Просто у меня такая задача не стояла. Мне в 1с надо было получить сделки с сумами и проводить анализ.
(3) да это не в упрек Вашей публикации. Случайно наткнулся на публикацию и комментарий, и решил поделиться информацией)
С наскоку эту проблему не решить. Мы сделали собственный сервис-бота с простым api. К нему может обращаться и база и другие системы, просто отправляя уведомление в битрикс любому пользователю по почте.
Кстати, почему то боты в битриксе не умеют получать файлы, ну или мы так и не смогли это сделать. Работает только для админа.
(6) Интересное решение. А возможно его посмотреть? может мы общими усилиями сможем допилить и сделать хорошую вещь полезную для всех
(7) оно сильно завязано на инфраструктуру компании, показать не могу. Но могу описать архитектуру, если нужно.
Из проблем - мы так и не смогли заставить бота получать файлы. Отправлять можно кому угодно, а получать почему то только от администратора портала. Плюс битрикс иногда что то меняет в своем api, и что то перестает работать.
Подскажите, а пробовали ли вы наоборот обращаться из Б24 в 1С посредствам webhook, например, при срабатывании робота?
Сейчас это пробую и не работает.
(14) В целом работает..обмен идет..мы делали пока для теста без авторизации..хотим передать логин пароль и при этом использовать web авторизацию. но пока только в мыслях. т.к. Б24 находиться на нашем сервере в одной подсети хотим попробовать виндовую авторизацию
(19)Я думаю можно. Надо читать. по крайней мере как изменять задачу..добавлять в задачу что-то из 1с в принципе разобрался
Чат-боты представляют из-себя автоматизированных помощников (виртуальных собеседников), которые реагируют на обращение к ним и отвечают в персональных или групповых чатах, помогая получить информацию в зависимости от назначения данного чат-бота.
Общение с чат-ботами происходит также, как с сотрудниками вашего Битрикс24.
По умолчанию на каждом портале присутствуют 3 чат-бота:
-
- виртуальный личный помощник, напоминающий о задачах, встречах и событиях календаря: - находит подходящее по смыслу изображение на любую тему и выводит его в чат: - помогает найти реквизиты организации или ИП по их ИНН или ОГРН и выводит их в чат:
Список всех чат-ботов
Найти всех чат-ботов в Бизнес-чате, присутствующих на портале и к которым имеет доступ сотрудник, можно, кликнув в поле Поиска и прокрутив вниз список контактов до секции Чат-боты:
Как добавить новый чат-бот
Для добавления чат-ботов на портал нужно:
- Перейти в раздел портала Маркет
- Далее в фильтре перейти в категорию Чат-боты или просто найти в поиске приложений, выбрать нужный чат-бот и нажать кнопку Установить:
Как удалить чат-бот
Для удаления чат-бота с портала нужно:
-
Перейти в раздел портала Приложения > Установленные, выбрать чат-бота и нажать кнопку Удалить
Полный процесс установки и удаления приложения чат-ботов можно посмотреть на видео:
Как создать чат-бот
Вы можете расширить функционал своего Битрикс24, заказав разработку приложения чат-бота у наших партнеров или разработать чат-бот самостоятельно, а потом добавить его в свой Битрикс24.
Читайте также: