Как считают? Почему никто не может сказать, сколько людей ходит на сайты СМИ

Цифры посещаемости СМИ, конечно, впечатляют. Давайте, например, посмотрим, сколько людей пришло на сайты популярных СМИ за месяц (c 24 ноября по 24 декабря).

Если сравнивать их по открытым источникам, рейтингам Mail.ru, Rambler.ru и Liveinternet.ru, то получается так:

Видите, какие огромные цифры? Их можно сравнить с официальным населением Москвы (12 330 000 человек) и Питера (5 225 960). И, что самое интересное, цифры эти разные. Почему так?

В России популярны три системы рейтингов: Top100.Rambler.ru, Top.Mail.ru и Liveinternet.ru. Некоторые сайты открывают доступ к своей статистике в них, некоторые — нет, ограничиваясь общими цифрами. Есть ещё и другие популярные системы аналитики, такие как "Яндекс. Метрика" и Google Analytics, они по умолчанию закрыты, потому как кроме количества просмотров и посетителей предоставляют слишком детальную для постороннего глаза статистику.

Как бы то ни было, уже на примере данных открытых рейтингов можно объяснить, почему цифры просмотров и посетителей различаются. Принцип будет соблюдаться для любой открытой и закрытой статистики.

Считаем по головам

Для начала, как вообще узнают, сколько людей приходит на сайт? Когда пользователь открывает страничку, его компьютер связывается с сервером и спрашивает у него контент. Вместе с пересылкой этих данных сервер может отметить у себя, сколько раз их запросили. Для удобства подсчёта можно этот контент унифицировать: например, пусть это будет крошечная картинка размером 1x1 пиксель, да ещё и прозрачного цвета. Вставляем её в каждую страничку и считаем, сколько раз загрузили. Просто? Ещё бы!

Так делали на заре развития Интернета. Это называется "подсчёт по отгрузкам" — и именно этот способ и считают правильным системные администраторы. Оно и неудивительно, ведь в их представлении посещаемость — это прежде всего нагрузка на сервера.

Но вот с точки зрения живого человека или, что ещё важнее, рекламодателя такой подход, конечно, неправильный. Ведь по Интернету ходят не только люди. Сотни поисковых систем постоянно читают даже самые непосещаемые порталы, для того чтобы сохранить у себя в памяти их слепок и потом, при необходимости, быстро найти по таким слепкам нужную информацию.

Многочисленные хакерские программы постоянно сканируют распространённые блоговые движки, стремясь разыскать в них ошибку или уязвимость, чтобы изменить данные на те, которые нужны их создателям.

По оптимистичным оценкам, доля трафика роботов в современном Интернете составляет около 60%.

Такую посещаемость, конечно, нужно отсеивать, иначе сайты просто нельзя будет сравнивать.

Несколько лет назад у одной системы контекстной рекламы случился нехороший баг. После того как пользователь приходил на страницу, следом за ним документ скачивал индексирующий робот. Конечно, на больших порталах робот приходил не каждый раз (срабатывало ограничение частоты), но вот на маленьких посещаемость иногда возрастала почти вдвое. Конечно, радости от этого вебмастерам не было — ведь это не были живые люди, на рекламу они не кликали, а только расходовали трафик. Длилось это около недели.

Разрабатываем методики

Поэтому сегодня счётчик посещений бесконечно далёк от того простейшего пикселя, с помощью которого считали показы раньше. Чаще всего это довольно большая программа, которая старается максимально получить данные о браузере пользователя, о его сетевом адресе, о том, как страничка загружалась.

При каждом посещении эта программа отсылает данные в компанию, которая владеет счётчиком — в "Гугл", "Яндекс", "Рамблер", "Мейл". Там эти данные уже анализируются, ненужные показы отсеиваются. И весь вопрос в том, как это делается. Список самых известных индексаторов, конечно, есть у любой системы статистики. Он состоит не из десятка, не из сотен, а скорее из десятков и сотен тысяч "цифровых отпечатков", позволяющих идентифицировать роботов.

Когда Google только-только начал делать браузер со сжатием трафика (напомню, что такая возможность встроена в Google Chrome), некоторые счётчики статистики отсеивали такой трафик как роботный, потому что он шёл через сервера "Гугла". Ну а кто-то когда-то запрограммировал, что от "Гугла" могут приходить только роботы. Самое смешное в этой ситуации то, что этот трафик эти "некоторые счётчики", сделанные на одном свободном движке, до сих пор считают роботным.

Всё очень сложно и может быть злым умыслом

Но ведь роботов гораздо больше! Возможно, именно сейчас, в эту самую минуту, новый Брин в дальнем селе делает свой "Гугл" и он не знает, как дать понять "Яндексу", что показ не нужно учитывать. И если бы всё было так просто! Ведь в не столь отдалённом посёлке городского типа за компьютером чахнет Виталий, который пишет специальные накруточные программы для небольших СМИ. Эти программы действуют так же, как человек, — просто вместо физических нажатий на клавиатуру и движений мышью ими управляют заранее запрограммированные алгоритмы.

И задача любой системы статистики — должным образом опознать таких роботов, отсеять эти показы. В ход идут и эвристические алгоритмы, и самообучающиеся системы. В конце концов, качество отлова зловредных роботов зависит от того, сколько труда вкладывается в систему их поимки, так называемый антифрод.

Это противостояние бесконечно, и системы статистики никогда не делятся друг с другом своими алгоритмами. Ещё бы, ведь в них вложено столько денег, труда, времени — это, пожалуй, самое ценное, что есть у многих компаний. Уже одно это делает результаты двух счётчиков разными. Мало того, непредсказуемо разными.

Стоимость накруточного трафика, обходящего системы защиты известных счётчиков, невелика — если просто поискать в Интернете, то найти подрядчика можно за 300–500 рублей за 1000 визитов. Это порождает множество поводов для спекуляций, и оценивать трафик любого портала, рассматривая только счётчики, нельзя. Самый лучший показатель — активность пользователей. Впрочем, и она тоже покупается, хотя это тема для отдельной большой статьи.

Эти ужасные пользователи

Но не только роботы искажают статистику. Свою лепту вносят и пользователи: некоторые из них, например, стараются заблокировать все счётчики, так как их волнует, что их данные попадут "куда не нужно". У меня для таких пользователей есть утешительно-пессимистичный совет: не волнуйтесь, всё, что попало в Интернет хоть как-то, в любом случае окажется в плохих руках, если им это вдруг понадобится. Никакие блокировщики счётчиков вас не спасут. Ха. Ха. Ха.

Впрочем, что-то мы отвлеклись.

Конечно, поисковые системы стараются учитывать таких пользователей тоже — в случае заблокированных скриптов вдобавок к ним докидывают тот самый пиксель из изначального примера. И учитывают его результаты в подсчётах статистики. Не стопроцентно, конечно, но примерно определив процент ботов на сайте с использованием коэффициентов и веса.

Для подбора степеней влияния могут использоваться сложные математические функции или нейронные сети. А может и банальное чутьё разработчиков и модераторов, вкупе с самой сложной русской математической функцией — "авосем". 

Доля пользователей, блокирующих рекламу (а заодно и популярные счётчики) на порталах, где много технически грамотной аудитории, может достигать 50%. Некоторые системы статистики учитывают этот процент при корректировке своих цифр по посещаемости. Большинство — нет.

Но чаще всего — банальная небрежность или незнание

Мало того что счётчики разные, так ведь и установить их можно совсем по-разному. Так, например, можно поставить программу счётчика вверху страницы, чтобы он загружался сразу, а можно — внизу, и тогда показ засчитается только после того, как загрузится вся страница. У каждого подхода есть свои минусы, потому что программка счётчика — она тоже несколько замедляет страницу.

Также для установки счётчиков могут использоваться всякие хитрые способы вроде Google Tag Manager. В этом случае анализирующие программки меняются в специальном контейнере и не нужно каждый раз дёргать программиста, чтобы добавить новый пиксель — это может сделать и маркетолог, через удобный интерфейс. С этим способом установки одни анализирующие программы совместимы лучше, другие — хуже. Иными словами, одни счётчики при таком способе "теряют" показы, другие — нет.

А так как разработчики счётчиков держат в секрете свои алгоритмы, а программисты, которые устанавливают коды, не всегда являются специалистами, результат может оказаться непредсказуемым. 

К сожалению, я не могу распространяться об этом случае подробно. Но однажды одна компания почти прогорела, потому что программист, заметив, что страница грузится долго, переставил счётчик TNS (до сих пор популярная статистическая компания) из шапки сайта в "подвал". А в "подвале" счётчик случайно был заблокирован очень тяжёлым скриптом собственной статистики. В результате посещаемость упала в несколько раз, а заметили это, только когда на почту самого главного прислали рейтинг.

Разброд и шатание

Перечислять причины того, почему разные системы статистики показывают разные данные, можно практически бесконечно. Но давайте я уже вас добью самым главным аргументом. На самом деле пока ещё никто до конца не договорился, что же считать показом, а что — уникальным пользователем.

Вот, например, если вы пришли на страничку и посмотрели статью, это показ? Показ. А если не стали смотреть, а сразу её закрыли, как только загрузился заголовок? Это что? Ещё интереснее — вы захотели что-то прокомментировать. Залогинились, при этом пройдя на отдельную страничку. Это показ? Есть разные варианты. А если кликнули на картинку и она увеличилась, то как считаем? Потом открылась галерея, и вы полистали фотографии стрелочками. Ну и так далее.

СМИ, которые обеспокоены статистикой  (а цифры на счётчиках — это всё ещё не только уважение, но и деньги), могут так или иначе манипулировать количеством показов, при этом оставаясь верными букве соглашений. Хороший пример этого — последний номер в табличке трафика, Gazeta.ru. Посмотрите на табличку.

По счётчику Liveinternet больше посетителей у "МК.ru" (пусть и ненамного). А вот по счётчику Rambler выигрывает уже Gazeta.ru. Это может быть не потому, что кто-то накручивает себе посещаемость (хотя и этого исключить нельзя). Просто так как Gazeta.ru и Rambler.ru находятся в одном холдинге, то программист из Top100.Rambler.ru, скорее всего, проконсультировал программистов "Газеты" по правильной расстановке счётчика. Или даже сделал это сам. А вот чтобы правильно расставить счётчик Liveinternet, ресурсов разработки могло просто не хватить. Так как для отчёта внутри компании используется в том числе и собственный продукт, то понятно, почему именно своей статистике уделили максимальное время.

Видите, что разница в просмотрах у rg.ru и "АИФ.ru" практически отсутствует, а вот в просмотрах — довольно большая?

Всё потому, что в учёте посетителей тоже нет единого мнения. Сейчас я перечислю вам несколько простейших вопросов, которые задают себе разработчики счётчиков при учёте посетителя.

• Если человек пришёл, почитал статью, потом пошёл на другую и так двадцать раз, это один посетитель?
• А если он пришёл на сайт, почитал одну статью, потом ушёл на другой сайт и потом в поиск — это всё ещё тот же самый посетитель?
• Хорошо, если у пользователя три браузера, то как мы его определим? По IP-адресу? А если там целая семья за одним роутером сидит, то мы их делить тоже не будем?
• Кстати, у человека сейчас не одно устройство. Вот у него есть ещё кроме настольного компьютера ноутбук. Это тот же посетитель? Но мы не можем это узнать.
• Хорошо, если он использует браузер Chrome с автосинхронизацией, то можем.
• Кстати, нам надо считать посетителя, который пришёл на сайт, но у него обновился IP-адрес во время перехода между страницами?

Сотни, тысячи таких вопросов. Конечно, на все из них можно дать формальный ответ, описать. Но чаще всего всю эту прорву документации люди просто не будут читать. Потому что разобраться в этом в большинстве случаев не могут и специализированные аналитики. Поэтому все просят: дайте мне цифру, в которую поверят наши рекламодатели.

Потому что посещаемость сайта и число просмотров каждой статьи - это не для удовлетворения эго, это важно для определения того, сколько будет стоить реклама на той или иной площадке. От этого зависит, будет ли издание окупать себя и зарабатывать деньги или только тратить их, сжигая инвестиции в печке. От этого зависит четкое понимание расклада сил на рынке и успешности того или иного бизнеса.

Чем больше посетителей у СМИ, тем дороже они могут продать на сайте рекламу. Конечно, не все так просто, рекламодатели всегда сами проверяют, сколько человек приходит на сайт, да и цели у рекламодателей тоже могут быть разные, не только показать свой продукт максимальному количеству людей. Но для того, чобы начать торг, цифры на счетчиках - хороший повод. И такое число нам дают системы статистики. И до недавнего времени этим цифрам верили. Хотя сегодня всё больше и больше рекламодателей доверяют лишь своим собственным системам анализа, ну, или в крайнем случае "Гуглу".

На большинстве крупных сайтов в Рунете за один просмотр подгружается более 5 счётчиков общего назначения и более 20 счётчиков различных рекламных систем. И это не считая внутренних систем аналитики.

Итого

Так какая же посещаемость у тех или иных ресурсов? Можно ли их располагать по местам, присуждать премии за посещаемость? По факту — нет. Слишком много случайностей. Расхождение в цифрах на 20–30% — это норма. На 30–50% — повод для проверки. Дело может быть как в злом умысле (наливе трафика), так и в банальном раздолбайстве.

Так что, если один счётчик в вашем блоге показывает 1276, а второй — 1352, то не волнуйтесь.

Это — нормально.