Какие данные считаются самыми точными при оценке посещаемости данные лог файлов
Аналитика логов интернет ресурса – это важнейший блок его аудита, который приобретает еще большую важность при появлении вопросов с индексацией портала поисковыми системами.
В этом материале мы проанализируем понятие логов, какую информацию они могут предоставить. Также изучим работу BI-системы Power BI – мощных аналитических инструментов.
Преимущества и недостатки счетчиков для сайта.
Многие счетчики (серверы статистики) предоставляют свои услуги бесплатно . Иногда помимо бесплатного счетчика предлагается платный с расширенными возможностями. Процедура установки счетчика несложна — на каждой странице сайта нужно разместить фрагмент кода, сделать это может рядовой пользователь. Результаты обработки предоставляются быстро и в достаточно наглядной форме (например, в виде графиков).
Счетчики позволяют сравнивать посещаемость вашего сайта с посещаемостью конкурента (если он тоже пользуется услугами такого же счетчика). Как правило, счетчики предоставляют подробные данные относительно географии посетителей (т.е. об их распределении по странам и регионам).
За счет использования файлов cookie счетчики позволяют достаточно точно идентифицировать пользователя и определить, “старый” он или впервые посетил сайт. Могут так-же определить язык, на который настроен браузер пользователя, часовой пояс, параметры экрана. Профессионалы ценят счетчики за то, что они позволяют определить, разрешено ли на компьютере пользователя выполнение программ Java, JavaScript, применяется ли прокси-сервер и т.д.
Основные недостатки счетчиков обусловлены тем, что информация хранится и обрабатывается не на вашем сайте, а на сервере статистики. Как правило, исходные данные хранятся не очень долго, максимум один год. Достоверность данных невелика из-за того, что они довольно часто теряются. Происходит это в основном по двум причинам: из-за перегрузки сервера статистики и потому, что пользователь покидает страницу или сайт еще до того, как счетчик успевает зафиксировать его присутствие.
Для продвижения сайта бывает важно отслеживать посещаемость его роботами поисковых систем. Счетчики этого либо не делают вообще, либо делают плохо. Наличие счетчика замедляет доступ посетителей к сайту. Чем больше на странице счетчиков, тем медленнее она открывается в браузере пользователя. Ни один счетчик не позволяет регистрировать загрузку с сайта мультимедийных файлов, флеш-объектов, изображений и т.п. Специалистам известны и другие недостатки счетчиков.
Польза для SEO
Проанализировав пример, становится понятным: лог содержит информацию:
- IP компьютера пользователя;
- User-Agent
С удивлением приходится констатировать: роботы «гуляют» по компьютеру, что и это раскрывает многие электронные «тайны». Одна из них: какие страницы роботы посещают чаще всего. Узнав подобные данные, можно будет их использовать для размещения соответствующих ссылок для продвижения сайта. Посещает ли поисковый робот необходимые страницы? Если ответ отрицательный, есть вопросы с индексацией. Профессиональный анализ даст возможность почистить собственный сайт, удалив мусорные страницы, также увидеть редирект и ошибки 404. Это бывает крайне важно особенно, когда наблюдается обновление протокола.
Excel
На случай изучения логов, Excel имеет скудный инструментарий и крайне неудобную структуру просмотра данных. Подойдет для небольшого количества вводной информации, но будет сложно сформировать сводные отчеты или агрегировать выбранный тип данных.
Изучение логов в Excel
Применяем лучшие практики digital–продвижения как из вашей тематики, так и из смежных областей бизнеса. Именно это сделает вас на голову выше конкурентов и принесёт лиды и продажи.
Чем анализировать
Для анализа логов есть много инструментов, самый простой из них – это Excel. Программа эта предназначена для других целей, но она может оперативно проанализировать ситуацию
Screaming Frog Log Analyzer мощный аналитический инструмент, его создала та же компания, прославившаяся своим легендарным софтом: Screaming Frog SEO Spider.
Информация до одной тысячи строк предоставляется бесплатно, более 1000 – стоит около 100 фунтов. Предоставляются базовые отчеты, функционал. Недостаток: программа платная и недешевая, также не функционала для настройки кастомных отчетов.
JetOctopus прекрасный облачный софт, стоит двадцать евро, присутствует недельный тест. 100 килобайта анализа Интернет-ресурса может быть предоставлено оперативно и подобный вариант будет лучшим. Много различных опций-фильтров, есть шанс обрабатывать большие порталы.
Power BI бесплатный софт, предоставляемый Microsoft, дает возможность рассматривать информацию из различных источников:
- Файлы
- Массивы информации.
- API.
- Инструмент справляется с разными задачами, он довольно мощный.
- склейка разных логов и данных парсера;
- удобный функционал;
- различная обработка информации.
Loggly
Loggly
Позволяет анализировать данные из разных источников, в том числе журналы посещений сайтов. Подходит для построения информационных дашбордов, отображающих визуализацию данных в реальном времени. Большое количество фильтров, отличная система поиска и возможность реализации оповещений на электронную почту, делают этот сервис одним из лидеров своей отрасли.
Содержание и структура лог-файла
Независимо от типа сервера и его конфигурации, в файле логов присутствуют следующие данные:
- IP-адрес с которого был сделан запрос.
- Дата + время посещения.
- Пользовательский агент.
- Метод (тип) запроса:
- GET – получение содержимого страницы.
- POST – обработка и отправка чего-либо, например, комментирование или ввод других данных.
- URL-адрес (объект), к которому был совершен запрос.
- Тип браузера.
- Протокол.
- Код ответа.
Splunk
Платформа, позволяющая собирать, обрабатывать и анализировать машинные данные, в том числе логи сайтов. В области анализа предоставляются широчайшие возможности по обработке целевых данных. На базе Splunk можно развернуть индивидуальный модуль по анализу логов, удобной для вас визуализацией и т.д. Не смотря на сложность решения, у платформы имеется большое сообщество, которое предлагает массу бесплатных решений.
В бесплатной версии доступна индексация данных, объемом до 500 Мб в сутки – для небольшого проекта этого будет достаточно.
Лог-анализаторы
Наиболее известными из существующих некоммерческих анализаторов логов, наверное, стоит признать пакеты Analog, Webalizer и AWStats. Они широко применяются даже несмотря на то, что давно не развиваются — исключение составляет AWStats, у которого иногда выходят обновления. В частности, данные лог-анализаторы нередко предлагают хостинговые компании в качестве бесплатного сервиса, обеспечивающего доступ к детальной информации серверных логов. Из коммерческих продуктов в качестве примеров лог-анализаторов можно привести такие решения, как Deep Log Analyzer, WebLog Expert и AlterWind Log Analyzer. Мы рассмотрим пакет AlterWind Log Analyzer, созданный российскими разработчиками и хорошо известный не только в России, но и во всем мире.
Помимо специальных пакетов для анализа логов работать с серверными логами иногда могут и другие решения — например пакеты, предназначенные для аудита и оптимизации сайтов (см. статью «Обзор решений для поисковой оптимизации»), в частности Page Promoter и Semonitor. Функциональность всех названных решений отражена в табл. 1.
На страницах многих сайтов можно увидеть небольшие логотипы, иногда с цифрами. Это и есть зримое отображение внешних (иногда их называют сторонними) счетчиков посещений. Механизмы их работы различны, но в общем это выглядит примерно так.
Для того чтобы сервер статистики мог получить подробные данные о посетителе вашего сайта, вместе с HTML-кодом изображения счетчика на его компьютер загружается клиентская программа-сценарий. Она собирает необходимые для работы счетчика сведения и передает их на сервер статистики. Эта программа не способна ни считывать файлы с жесткого диска компьютера пользователя, ни записывать их на диск, опасаться ее не следует. Но для того, чтобы отследить повторные посещения этим же пользователем этой же страницы через несколько дней, программы-сценария недостаточно. Поэтому многие счетчики статистики записывают на жесткий диск компьютера пользователя так называемые файлы cookie.
В буквальном переводе cookie — это “печенье”. Объем такого файла не может превышать 4 Кбайт, зачастую это — всего лишь несколько строк кода. Почему именно так назвали файлы, нам не известно. В литературе вместо непонятного cookie иногда используют термин ключик, на сленге такие файлы называют просто куки.
Файлы cookie могут быть временными и постоянными. Первые действуют только до тех пор, пока работает браузер. Вторые хранятся на компьютере пользователя заранее заданное время. При повторном обращении пользователя к странице, оставившей на его компьютере файл cookie, счетчик может определить, что этот посетитель уже был на сайте, и включить данный факт в соответствующий отчет. Файлы cookie используются также для запоминания данных, используемых при аутентификации пользователя, благодаря им ему не приходится вводить логин и пароль при каждом обращении, допустим, к почтовому веб-серверу. Полученная с помощью вышеперечисленных средств информация о посетителе заносится в базу данных сервера статистики. При обращении к ней владельца файла необходимые данные извлекаются, обрабатываются и предоставляются в виде отчетов. По желанию владельца эти отчеты могут быть доступны всем либо только тем, кто знает соответствующие логин и пароль.
Исходные данные, получаемые автономными анализаторами логов и внешними счетчиками посетителей, собираются различными способами. Поэтому возможности этих программ существенно отличаются. Что лучше? Рассмотрим основные преимущества и недостатки каждого из методов анализа посещаемости сайтов.
Считается, что самую полную статистику дают анализаторы логов. Сервер, на котором расположен ваш сайт, фиксирует все обращения к нему. Автономная программа для сбора статистики может стоить несколько сотен долларов, хотя встречаются и бесплатные варианты. Некоторые предоставляются в аренду за относительно небольшую плату. Программа может быть установлена на сервере, где размещен сайт. Настроить ее сложнее, чем установить счетчики. Могут понадобиться консультации специалиста.
К недостаткам можно отнести то , что автономные программы не позволяют сравнивать посещаемость с сайтами-конкурентами — у них нет для этого данных. Кроме того, с помощью анализатора логов сложнее отслеживать географию посетителей — для этого нужна дополнительная информация по привязке IP-адресов к географическому расположению, т.е. постоянно пополняемая база данных.
Но анализаторы логов не используют файлы cookie. Это означает, что они не способны идентифицировать посетителей, заходящих на сайт из корпоративных сетей, из-за прокси-серверов и в некоторых других случаях. И уж тем более они не могут распознавать посетителей, повторно заходящих на сайт, что крайне важно при проведении рекламных компаний.
Какой анализатор логов выбрать.
Ответ на этот вопрос мало зависит от владельца сайта. Почти все владельцы серверов, предоставляющих хостинг, ныне устанавливают какой-то анализатор логов и предоставляют клиентам собранные им данные. Делается это строго по желанию, поскольку база данных с журнальными файлами имеет свойство быстро расти, а свою базу данных владелец сервера сохраняет хорошо если месяц, а то и неделю.
Клиенту нужно или копировать базу данных с лог файлами на свой компьютер, уничтожив на сервере, или платить за хостинг больше. Установка на сервере приглянувшейся программы анализатора логов также требует квалификации. Это — работа для специалиста. К тому же нужно получить согласие владельца сервера, предоставившего вам хостинг.
Самый простой вариант — это когда у вас свой, выделенный сервер, на котором размещены ваши сайты. Но в этом случае в компании наверняка есть сисадмин, вебмастер, компьютерный гуру, который может провести все работы по установке на ваш сервер анализатора логов. Все, что вам остается, — это научиться работать с уже выбранной и установленной программой. Точнее — научиться анализировать полученные с ее помощью результаты. Это, в общем-то, не сложно.
Любое обращение к серверу сайта со стороны пользователей или поисковых ботов фиксируется в специальном файле логов. Благодаря этой первичной информации у SEO-оптимизатора появляется возможность делать определенные выводы, на основе которых в будущем строится или корректируется стратегия продвижения в поисковых системах. Рассказываем, как правильно провести анализ логов сайта.
Польза изучения log-файла для SEO
Анализ логов для SEO-оптимизатора поможет понять техническое состояние сайта, получив таким образом полезные данные об отношении поисковиков к ресурсу.
Что даст эта информация:
Чем больше промежуток времени за который собраны логи (желательно не меньше месяца), тем более полную картину в итоге удастся получить.
Это поможет найти максимум закономерностей и слабых мест, а также понять общие тенденции процессов. Для определения последних, логи нужно просматривать регулярно, не реже двух раз в месяц.
Что такое лог сайта
Лог – это информационный блок, в который автоматически записывается весь информационный обмен между пользователем и сервером. Пример работы:
В этом случае автоматически в лог заносится такие данные:
- IP компьютера пользователя;
- Временные координаты и часовой пояс;
- Вид поступившего запроса (GET или POST);
- page/2 адрес страницы, к которой случилось обращение;
- протокол;
- кода самого сервера;
- адрес, откуда поступил запрос;
- User-Agent пользователя;
- Общее количество килобайт
Поведение пользователя могут симулировать также различные боты-роботы, в том числе и поисковых систем. Пример:
То есть несложно заметить: 11 июня сделали запрос и он поступил от бота, он был удовлетворен.
Power BI
Известный программный комплекс для всевозможной аналитики данных. Позволяет загружать их автоматически и интерпретировать в гибко настраиваемом виде. Для частного использования бесплатен, но требует некоторых знаний по настройке сбора и вывода отчетов.
Два в одном – счетчик статистики и анализатор логов сайта.
Таким образом, счетчики и автономные программы дополняют друг друга. Поэтому некоторые владельцы сайтов используют одновременно и счетчик, и анализатор логов. Такое решение вряд ли можно назвать совершенным. Ведь на анализ результатов придется тратить значительно больше времени. А если еще и сопоставлять их, да выявлять причины несовпадения, времени понадобится еще больше. Поэтому недавно на рынке появились программы, сочетающие возможности счетчика посещений и анализатора логов. То есть, на сайте устанавливаются одновременно и собственный (внутренний) счетчик, и программа-анализатор. При этом полученные с их помощью данные обрабатываются одновременно и выдаются в виде единого отчета (точнее, многих отчетов; их число может доходить до 400). Стоимость подобной программы российского производства может составлять 25 тыс. руб., последующие версии — бесплатно. Но такие программы лишь приступили к завоеванию рынка.
Один из важных моментов при использовании такой программы — степень достоверности данных для потенциального рекламодателя. Он прекрасно знает, что внешние счетчики, как правило, занижают число посетителей. Но знает он и другое: счетчик внутренний может быть “подкручен” нечестным владельцем сайта. Каким образом будет решена эта проблема, какое место под солнцем завоюют комбинированные анализаторы-счетчики, покажет ближайшее будущее.
Мы полагаем, что, прежде чем приобретать платную комбинированную программу, способную выдать до 400 отчетов, владельцу сайта целесообразно потренироваться на программах бесплатных, выдающих 30–40 отчетов. И, скорее всего, одна из них его вполне устроит. В следующих статьях мы рассмотрим популярные анализаторы логов и счетчики статистики сайтов.
Подобно тому как помимо распространенных внешних счетчиков посещений существуют счетчики внутренние, анализаторы логов также можно разделить на две категории. Многие из них предназначены для установки на том же сервере, на котором расположен ваш сайт. Но существуют и такие, которые могут быть установлены на вашем собственном компьютере, иногда их называют локальные анализаторы логов.
Анализаторы логов, размещаемые на сервере, могут быть очень эффективными средствами анализа посещаемости для сайтов, которые размещаются на выделенном сервере. Такие серверы обычно создают крупные и средние компании. Журнальные файлы (логи) могут храниться на таком сервере длительное время, период хранения определяет владелец сервера, являющийся одновременно и владельцем сайта.
Но гораздо чаще сайты размещаются не на выделенном сервере, а на таком, который предоставляет платный или бесплатный хостинг (размещение) десяткам, сотням и тысячам владельцев. Владельцы такого сервера (на сленге — хостеры) хранят статистику, собираемую сервером, недолго, обычно от 1 недели до 1 месяца.
Для владельцев сайтов, пользующихся хостингом, более приемлемым может оказаться локальный анализатор логов, размещаемый на собственном компьютере. На него можно периодически копировать данные из лог-файлов и хранить их на собственном компьютере столько, сколько понадобится. Но синхронизация новых и уже скопированных ранее данных — задача не простая.
Предложений на рынке программ-анализаторов логов очень много. Некоторые из них бесплатные; однако мощные профессиональные программы могут стоить очень дорого. В рамках одного из исследований был проведен опрос на тему “Какими лог-анализаторами Вы предпочитаете пользоваться?”. Пришло двадцать четыре ответа, причем ни один из них не повторился. Автор данного исследования выделил из общего ряда три программы, представленные в нижеследующем перечне первыми.
The webalizer. Эта программа бесплатна. Она не предъявляет высоких требований к быстродействию компьютера. Результаты анализа представляются в виде удобных таблиц и простых графиков. Принцип “ничего лишнего” выдержан разработчиком этой программы и в дизайне, и в предоставляемой информации. Простота и быстродействие программы обусловлены в первую очередь тем, что она не комбинирует полученные из логов данные, не сопоставляет одни данные с другими.
Детальный анализ посещаемости возложен на владельца сайта. Тем не менее с помощью Webalizer можно получить данные о посещаемости сайта, узнать, какие его страницы являются популярными, какие из них дают наибольший трафик, с каких страниц приходят на сайт посетители, по каким поисковым фразам, какими браузерами пользуются и где живут.
Поскольку программа бесплатна, многие владельцы серверов, предоставляющие хостинг, устанавливают ее у себя и предлагают владельцам сайтов пользоваться ее услугами.
Weblog expert. Эта программа доступна в трех вариантах: WebLog Expert Professional и WebLog Expert Standard платные, WebLog Expert Lite — бесплатная.
Очевидно, возможности этих версий несколько различаются. В частности, бесплатная версия позволяет получить 16 таблиц и 16 графиков, платные версии — по 37 таблиц, 48 графиков и 20 сравнительных графиков. Для установки WebLog Expert не нужен сервер, как этого часто требуют программы-анализаторы логов. Все, что требуется для работы, — это получить с сервера, на котором установлен сайт, архив журнальных записей (логов) и подождать некоторое время, пока программа создаст отчет в виде HTML или PDF.
Перед тем как программа начнет обрабатывать данные, запускается мастер настроек. С помощью фильтров можно получить подробные статистические данные по интересующей категории посетителей или событий — выделить пользователей, зашедших из определенных поисковых машин, стран, посмотреть отдельно поведение роботов различных поисковых серверов и т.д. Напомним: внешние счетчики могут выявлять приходы роботов поисковых машин или плохо, или после определенных усилий.
Благодаря своей гибкости, дружественному интерфейсу и наглядности отчетов WebLog Expert стал весьма популярен у владельцев сайтов и маркетологов. Однако для владельцев крупных сайтов нужен инструмент посерьезнее.
Spylog Flexolyzer. Программный пакет SpyLOG Flexolyzer, как заявляют производители, ориентирован на решение сложных задач с любой степенью детализации. Его идеологическое отличие от всех прочих инструментов анализа статистики состоит в том, что он позволяет не просто увидеть, кто и зачем приходит на сайт, но и точно узнать, что интересно целевой аудитории.
Достигается это за счет того, что SpyLOG Flexolyzer позволяет конструировать собственные отчеты, произвольно оперируя данными из разных отчетов. Чтобы пользователи смогли разобраться в системах настроек, на сайте даются примеры анализа эффективности рекламной кампании, оптимизации и т.д.
Кроме того, программа интегрируется c системой статистики SpyLOG, и те, кто подписаны на один из пакетов SpyLOG Tracker, получают доступ к информации о поведении своей целевой аудитории вне сайта. SpyLOG распознает пользователей с помощью файлов cookie. Благодаря им он может накапливать информацию относительно того, какие сайты (разумеется, оснащенные счетчиком SpyLOG) и как часто посещают пользователи Рунета.
Analog. Создатели этого бесплатного анализатора логов рекламируют его как “The most popular logfile analyser in the world” — наиболее популярный анализатор лог файлов в мире. Считается, что это — один из самых быстрых анализаторов лог файлов вебсервера. Успешно справляется с журнальными записями большого объема, экономно расходуя при этом память. Отчеты не содержат ничего лишнего, только необходимый минимум. Отчеты предоставляются на 32-х языках. Совместим с любой операционной системой.
Alterwind Log Analyzer. Это — детище российских разработчиков. Программа предоставляется в трех вариантах — Lite – бесплатно, Standar и Professional – платно.
AlterWind Log Analyzer Lite — это бесплатный анализатор лог файлов вебсайта. С его помощью вы сможете определить все основные характеристики посещаемости сайта, узнать, с каких поисковых систем и по каким фразам приходят к вам посетители, узнать, какие ссылающиеся сайты приносят вам наибольший трафик, обнаружить и устранить ошибки в работе сайта. Всего генерируется 23 отчета. Вариант Standart предоставляет 33 отчета и 20 фильтров, вариант Professional — 52 отчета, 20 фильтров и множество дополнительных услуг — например, отчеты, предназначенные для оптимизации и продвижения сайтов.
Анализатор логов на Power BI
Для генерирования дашборда следует сделать следующее
Для создания дашборда для анализа логов состоит из нескольких этапов: подготовка данных > загрузка > форматирование > визуализация.
Любому владельцу интернет-ресурса необходимо знать, насколько он информативен, удобен в работе и популярен у посетителей. А значит, как минимум, нужно получить представление о посещаемости ресурса, о наиболее востребованных его разделах, а также о том, не уходят ли с сайта посетители, не достигнув цели (то есть по причине того, что нужную им страницу не удалось загрузить или на нее непросто попасть). Тем же, кто связывает со своим проектом далекоидущие коммерческие планы, необходимо иметь больше информации о сайте и его посетителях. Например, следует учитывать аудиторию — то есть идентифицировать пришедших на сайт пользователей (имя хоста1, браузер, система), фиксировать ресурсы, с которых они пришли, сколько времени провели на исследуемом ресурсе, сколько страниц посетили, куда перешли и т.п. Нужно также контролировать действия посетителей, в частности выявлять, к какой информации они проявляют повышенный интерес, что загружают, по каким ссылкам щелкают и пр., а кроме того, оценивать результативность проведения рекламных кампаний, вести учет эффективности партнерских ссылок, контролировать окупаемость инвестиций (ROI2 ) и т.д. В случае же позиционирования сайта в сфере электронной торговли спектр анализируемых параметров еще шире (в таком случае требуется применение специализированных решений, которые в данной статье не рассматриваются, за исключением Google Analytics).
В общем, разработка любого успешного интернет-проекта немыслима без точных инструментов анализа его работы, которые помогут принять верные решения относительно дальнейшего развития сайта, лучше понять предпочтения клиентов, повысить отдачу от рекламы и т.п.
Методы подсчета статистики посещаемости сайта
Теоретически существует два основных метода подсчета статистики: использование анализатора логов и применение счетчика посещений. Каждый из названных методов имеет свои плюсы и минусы, однако в большинстве случаев более просты в применении и подходят для широкого круга пользователей именно счетчики, а лог-анализаторы, как правило, сложны в настройке (требуется специальная подготовка конфигурационных файлов), а потому в большей степени ориентированы на профессионалов. Хотя при желании можно отыскать и простые в применении анализаторы логов (правда, все подобные решения оказываются платными и чаще всего достаточно дорогими), и не совсем банальные в использовании счетчики. При этом ни один из методов не обеспечивает полной достоверности статистических данных, и на практике показания счетчиков и лог-анализаторов могут различаться в десятки раз. Оптимальным решением является комбинация обоих методов сбора информации, поскольку только в этом случае возможно получить наиболее близкие к реальности данные.
В отличие от анализаторов, счетчики посещений собирают данные для анализа самостоятельно, правда для этого требуется разместить на страницах исследуемого сайта специальный код, по которому при обращении к странице (когда наряду с содержимым сайта загружается еще и внешний элемент — чаще всего картинка) записываются данные о посетителе. Счетчики ведут общую статистику посещаемости с детальным распределением по времени, фиксируют хосты и хиты, выявляют уникальных посетителей (с подробной информацией о каждом из них — IP-адрес, браузер, ОС, новый/старый и др.) вкупе с количеством посещенных ими страниц и временем пребывания на каждой из них. Кроме того, счетчики фиксируют рефереров, нередко могут запоминать данные о путях перемещения посетителя по сайту, начиная с точки захода на сайт и заканчивая точкой выхода, могут определять информацию о цветности, разрешении экрана, языке браузера и пр.
Счетчики бывают внешними и внутренними. Первые реализованы как веб-сервисы и управляются с удаленного сервера, на которых и хранится вся собираемая информация. Данный тип статистики широко распространен и прельщает многих пользователей относительной бесплатностью (на самом деле никакой благотворительности тут нет, так как на сайте размещается картинка с логотипом соответствующего сервиса, по сути представляющая собой его рекламу) и простотой использования. Внешние счетчики не обеспечивают получение статистики в режиме реального времени (они выдают ее с некоторым опозданием) и не умеют отслеживать роботов. Кроме того, собираемая ими информация хранится на внешнем сервере, а это небезопасно. Для бесплатных счетчиков можно назвать еще ряд минусов. Во-первых, никто не гарантирует бесперебойной работы счетчика (или хотя бы uptime в 99%) и высокой скорости загрузки сайта со счетчиком. Во-вторых, на сайт придется устанавливать видимые картинки счетчика с логотипом соответствующего веб-сервиса, которые, как правило, совсем не вписываются в дизайн сайта. В-третьих, не всегда есть возможность получить услугу анонимно, то есть без регистрации в различных рейтингах и каталогах.
Внутренние счетчики (или внутренние системы статистики) управляются с собственного сервера и представлены отдельными модулями, которые устанавливаются со стороны клиента либо интегрируются в систему управления сайтом. Они обеспечивают доступ к статистике в режиме реального времени и гарантируют конфиденциальность информации. Разработчики сайтов для установки подобных счетчиков пишут требуемые модули самостоятельно либо прибегают к независимым коммерческим решениям, которые в большинстве своем обеспечивают получение очень широкого спектра статистической информации, важной как для администраторов сайтов, так и для маркетологов.
Logstash
Бесплатный сборщик логов с открытым кодом (open source), написанный на языке JRuby. Процесс работы основан на шаблонах фильтров. Сложен в освоении.
Принципы работы web server log file
Логи сервера (журнал посещений) – текстовый файл с расширением .log (или без расширения), в котором хранится системная информация о результатах обращений к серверу, как со стороны пользователей, так и со стороны различных краулеров. Сам файл располагается в отдельной папке logs или в корне сайта, попасть туда можно либо по протоколу FTP, либо через веб-интерфейс хостинг-провайдера.
Проанализируем конкурентов, подберем запросы с низкой конкуренцией, проведем поисковую оптимизацию сайта, организуем внешнюю ссылочную массу, проработаем карточки компании на онлайн картах, проведем базовую UX-аналитику сайта. Над каждым проектом работает от 6 до 10 специалистов. Собственные разработчики для доработки сайта при необходимости. От вас - сайт, от нас - позиции в Яндекс/Google и трафик.
GoAccess
GoAccess
Утилита для анализа логов Apache с широким функционалом, есть возможность отслеживания и визуализации результатов в реальном времени. Имеет удобный интерфейс, предоставляющий внушительное количество информации. Больше подходит для опытных пользователей.
Screaming Frog Log Analyzer
Screaming Frog Log Analyzer – приложение, с интуитивно понятным интерфейсом, открывает широкие возможности для чтения и аналитики log-файлов. Есть бесплатная и платная версии (99 £/год). Бесплатная имеет ограничение в 1000 строк для загружаемого файла, подойдет для изучения логов небольших сайтов с низкой посещаемостью.
Рассмотрим подробнее то, как анализировать логи сайта в этой программе.
1. Для начала работы, находим файл логов в файловой структуре сайта. В нашем случае он находится в папке «Logs» и имеет название «access.log». Многие хостинги (или сервера) разбивают журнал посещений по месяцам, мы же будем использовать файл с большим количеством данных (с 2015-2020 года). При использовании Screaming Frog Log Analyzer, помните об ограничениях для бесплатной версии.
2. После установки и запуска программы, перед нами открывается главное окно, в левой колонке которого будут отображаться прошлые проекты. Для начала работы с файлом логов, необходимо простым перетаскиванием поместить его в область Drag&Drop, после чего начнется загрузка данных.
Перемещаем файл в область Drag&Drop
Дождаться окончания загрузки
3. Сразу после загрузки файла, появятся сводные данные по разным событиям:
Графики данных
4. Пройдемся по основным вкладкам.
Вкладка URLs
Вкладка User Agents
Вкладка «События»
- Раздел «Directories» позволяет отобразить файловую структуру сайта глазами поисковых (и не только) ботов. Каждую папку можно раскрыть и посмотреть по ней дополнительную информацию в событиях.
Раздел «Directories»
- «IP» – отображает список ip-адресов, которые приходили на сайт, по каждому из них доступны данные о посещенных URL-адресах.
Анализ по «IP»
Хочется отметить несколько функций программы, которые доступны в любой вкладке, и облегчающие процесс аналитики логов. Данные в Screaming Frog Log Analyzer представляются в виде таблицы, выделив каждую из строк, получаем доступ к расширенной информации. Каждый из двух блоков можно экспортировать в файлы Excel (.csv/.xls/.xlsx).
Экспорт данных из Screaming Frog Log Analyzer
Программа изначально заточена на аналитику под SEO, поэтому имеет специальный фильтр для сортировки ботов поисковых систем:
- Googlebot.
- Googlebot Smartphone.
- Bingbot.
- Yandex.
- Baidu.
Фильтр для сортировки ботов
Как упоминалось выше, хостинг-провайдеры часто дробят log-файлы по временным отрезкам. Поэтому, если требуется к проекту импортировать дополнительные логи, то достаточно перейти в одноименную вкладку и загрузить файлы.
Дополнительная загрузка файла
Не забываем о возможности выделять диапазоны дат, удобно при большом количестве данных.
Выбираем нужные даты
Теперь понятен принцип сбора и формирования файла логов сайта и его практическое значение в разрезе поисковой оптимизации. Приведен список наиболее популярных решений, позволяющих интерпретировать данные из журнала посещений, а также разобран пошаговый процесс аналитики log-файла в программе Screaming Frog Log Analyzer.
Программы для анализа логов
Проводить анализ логов вручную – дело бессмысленное в большинстве случаев. Подойдет, если необходимо найти конкретно взятое посещение, но увидеть общие тенденции и прочие детали не получится. Поэтому ниже рассмотрим специализированный софт, позволяющий получить максимальное количество полезной информации.
Читайте также: