Тематичні сайти і Яндекс: як уникнути просідання трафіку через ПФ, що робити, у яких впав позиціями?

1. Які нові дані з'явилися за місяць?
2. Робоча гіпотеза: чому справа саме в поведінкових факторах?
3. Вся справа в достатку реклами, тізера і офферу всередині статті?
4. Чим відрізняються сайти, на яких впав трафік від тих, хто не постраждав?
5. Звіт «Блокувальники реклами» в Яндекс.Метрика
6. Додаткова перевірка з використанням технологій Яндекса
7. практичні рекомендації
8. Як зрозуміти, що сайту загрожує зниження у видачі через рекламу?
9. Що робити, якщо сайт вже просів?
10. Як дізнатися більше про поліпшення ПФ і ефективної монетизації статейніков?
11. На закінчення
12. UPDATE 17.03.2018

Трохи більше місяця тому я опублікував статтю з першими висновками про апдейте Яндекса , Після якого багато статейні сайти втратили значну частину трафіку і доходу. Сьогодні розповім про завершальний етап дослідження і про те, що все це означає для практики.

Які нові дані з'явилися за місяць?

По-перше, збільшилася вибірка проблемних проектів. Багато власників інфосайт після попереднього поста написали мені і запропонували нові проекти для аналізу. Вони стали в нагоді для повторного огляду зроблених в першій частині дослідження висновків.

Особливо мене цікавило, чи правильно припущення про те, що позиції і трафік падають на рівні хоста. Нагадаю, що було всього 4 проекти, де вдалося подивитися достовірну динаміку трафіку на молодих документах. Зараз додалося ще три. Графіки всюди виглядають схоже, приблизно так:

Тому первісні висновки залишаються в силі.

По-друге, ряд постраждалих 30 січня проектів були зачеплені ще одним апдейтом - в самому кінці лютого. У більшості випадків трафік частково повернувся. Типовий приклад:

Важливо відзначити, що проблеми з мобільним трафіком спостерігається далеко не на всіх постраждалих в січні. Тому вважати другу просідання прямим продовженням першої ( «розкачування» алгоритму на мобільні) - не можна.

Робоча гіпотеза: чому справа саме в поведінкових факторах?

Багато хто скептично сприйняли мій висновок про те, що причина просідання - слабкі поведінкові чинники. Скептицизм - це прекрасно! Див. Мій давній пост на цю тему . Однак адекватну альтернативу свою гіпотезу з обговорень виловити не вдалося.

Найбільш виразні аргументи проти ролі поведінкових:

1. Можна знайти сайт з хорошими ПФ, який теж потрапив під роздачу.
2. Яндекс не стане вважати клікстрім (історію дій користувача) заради того, щоб забанити скільки-то статейніков, це занадто дорого для такої дрібної завдання.

По першому пункту є два аргументи:

• Хороші ПФ чи ні - знає тільки Яндекс. Часто доводиться чути формальні критерії типу «відмов має бути не більше 20%» або «глибина перегляду від 3 - це відмінно». Звичайно ж, вони мають дуже опосередковане відношення до реальних ПФ. Про це нижче.
• Поки мені ніхто не показав сайт з високою лояльністю нових відвідувачів з пошукових систем, який просів 30 січня. Якщо покажуть (бажано не один, а десяток, щоб було схоже на вибірку) - із задоволенням вивчу і без проблем визнаю що був не правий.

За другим все ще простіше. Достовірно відомо, що Яндекс накопичує і зберігає дані про призначеному для користувача поведінці по некомерційним запитам. Інакше він би не зміг реалізувати алгоритми Палех і Корольов. цитую:

Наприклад, одна з моделей передбачала, чи залишиться користувач на сайті або піде. Інша - наскільки довго він затримається на сайті. Як виявилося, можна помітно поліпшити результати, якщо оптимізувати таку цільову метрику, яка свідчить про те, що користувач знайшов те, що йому було потрібно.

https://habrahabr.ru/company/yandex/blog/314222/

Тобто: Яндекс навряд чи ставив за мету порізати трафік у неугодних сайтів (у видачі спливли дуже схожі проекти). Але накопиченням і аналізом даних користувача яндексоіди займаються давно, а застосовують їх для самих різних завдань.

Вся справа в достатку реклами, тізера і офферу всередині статті?

Найпопулярніша гіпотеза в обговореннях - ідея, що постраждали сайти, які зловживали рекламою. Думка абсолютно логічна, її підкріплюють різні факти:

• Майже одночасно з апдейтом популярні браузери почали блокувати нав'язливу рекламу.
• У Яндекс.Толоке є завдання на визначення зарекламленності сайтів.

Багато проектів в моїй вибірці дійсно монетизуються вельми агресивно. Але є і проекти, що розміщують тільки скромний контекст (причому в першому екрані він займає менше третини площі). А ще є сайти, які зняли майже всю рекламу відразу після осідання (тобто півтора місяці тому) - але відвідуваність до сих пір не повернулася. Тому не схоже, що ми маємо справу з бінарним ознакою (тобто «погана реклама / немає поганої реклами»).

А ось якщо припустити, що сайти просіли через ПФ, то все встає на свої місця. І тут немає ніякого протиріччя з гіпотезою про роль реклами. дивіться:

1. Багато рекламних блоків - важче доступ до контенту, користувачі в середньому менш лояльні і активні.
2. Поступово у Яндекса накопичується статистика взаємодії відвідувачів з сайтом.
3. Хлоп - і підкрутили алгоритм, який (наприклад) надає статистикою ПФ більшу вагу, ніж раніше. Зарекламленние сайти (і не тільки вони) потрапляли у видачі.
4. Засмучений власник зняв всі тизери і чекає, коли повернуться позиції. А вони не повертаються - тому що накопичені дані як і раніше грають проти нього. Нова ж статистика збирається повільно (трафік-то впав!).

Розбиратися в цих нюансах я став не тільки з академічного інтересу. Для практики нам потрібен об'єктивний вимірний критерій. Якщо ми будемо вважати, що реклама впливає безпосередньо, то як зрозуміти, що у нас на сайті занадто багато реклами? Або занадто мало (і можна додати ще, збільшивши заробіток)? На око?

До речі не завжди реклама дратує користувачів. Вона може бути і корисною: прочитав статтю, розібрався з особливостями товару чи послуги - і можна відразу клікнути по релевантному пропозицією, не витрачаючи час на перехід назад в видачу.

Навіть якщо не було всіх вагомих свідчень на користь ролі ПФ, я б став вивчати їх в пошуках робочого критерію для визначення ступеня зарекламленності. Тому що первинно саме враження людей від сайту, їх задоволеність вмістом, включаючи рекламу. Навряд чи цей базовий принцип зміниться в найближчі роки.

Ну ось, з ідеологією покінчили, переходимо до статистики.

Чим відрізняються сайти, на яких впав трафік від тих, хто не постраждав?

Відразу хочу засмутити любителів простих підходів типу «глибина перегляду більше трьох». Цілком очевидно, що «правильна» глибина / показник відмов / час на сайті сильно варіюються в залежності від ніші і конкретної інформаційної потреби користувача. Коли мені треба знайти номер таксі, я проводжу на хорошому сайті 5 секунд, а на поганому, де цей номер ховають - 30. Гарну фахову статтю читаю 15 хвилин, погану - 10 секунд. Розумієте різницю?

Тому було б зовсім наївно чекати від вибірок просіли і додержують сайтів (те й інше - збірна солянка з різних тематик) не тільки статистично значущих, але і корисних відмінностей по базовим поведінковим метрик. Однак для очищення совісті я все-таки вирішив медіанне значення за вибірками:

Просіли З нормальної динамікою 6,5% відмов 12% відмов 1.16 глибина перегляду 2,08 глибина перегляду 75 секунд тривалість візиту 135 секунд тривалість візиту

Дані розрізняються, це очевидно. Але що з ними робити? Чи не намагатися же збільшити в два рази показник відмов? Якось це трохи дивно, правда? Табличка нам нічого не дає, тільки ще більше заплутує.

Що потрібно, щоб отримати більш корисні дані? Так просто брати показники, які можна порівнювати. Різниця між якими щось нам скаже про реальні відвідувачів сайту. І такі показники є.

Звіт «Блокувальники реклами» в Яндекс.Метрика

Подивіться на порівняння поведінкових метрик для користувачів з включеною і відключеною блокуванням реклами по одному з постраждалих сайтів:

З блокувальником відмов у два рази менше! Яке найпростіше пояснення? Правильно: без реклами сайт подобається людям значно більше.

Це був одиничний приклад. Як йдуть справи по всій вибірці? А ось як:

Різниця в базових поведінкових метриках у постраждалих сайтів відчутно вище, ніж у проектів зі стабільним трафіком.

Наприклад, показник відмов на «нормальних» сайтах для користувачів з блокувальником найнижче на 0,1% (медіана). Постраждалі проекти демонструють різницю в 0,25%. Теж зовсім небагато, але ж? Але якщо брати до вибірки тільки сайти з відносно великим обсягом трафіку, для якого було визначено наявність блокувальника, або взяти статистику за більш тривалий період, різниця стрімко зростає, доходячи до 2-4% (див. Нижче пояснення, чому так відбувається).

Аналогічно для тривалості візиту. На нормальних сайтах - відмінності в тривалості сесій вимірюються частками секунди. На постраждалих медіанна різниця - 16 секунд (не на користь версії без блокувальника).

Додаткова перевірка з використанням технологій Яндекса

Виявлені відмінності зовсім не означають, що Яндекс орієнтується саме на них. Це тільки частина загальної картини, яка є у пошукової системи. Для практики ж нам важливо інше - чи може порівняння сегментів по блокировщикам реклами стати корисним сигналом для роботи над сайтом?

Побічний приклад для розуміння. Аналіз крові дає масу інформації про стан здоров'я. Показники в ньому - це корисний сигнал про проблеми з організмом. Але лікують зазвичай не для підгонки аналізів під ідеальні показники, а щоб привести в норму той чи інший орган.

Як можна перевірити, наскільки корисним буде вивчення звіту по блокировщикам для корекції стратегії? Слідкуйте за руками:

1. Беремо дані про поведінкових метриках за сегментами «блокувальник є» і «блокувальника немає».
2. Навчаємо на їх основі класифікатор сайтів (просадка є / осідання немає).
3. Тестуємо його на спеціально відкладеної частини вибірки.
4. Якщо модель справляється краще, ніж константний алгоритм, значить, наш набір даних містить необхідну інформацію і ці дані можна використовувати.

Я вирішив, що буде правильним для вивчення алгоритму Яндекса скористатися інструментами самого Яндекса - молодий, а перспективною бібліотекою машинного навчання Catboost .

Основною проблемою тут стала сильна незбалансованість вибірки: у мене скільки завгодно прикладів нормальних сайтів зі стабільним трафіком і менше сотні проблемних проектів (дуже непогана вибірка для SEO-дослідження, але зовсім недостатньо для адекватного класифікатора). На щастя, в методах Catboost є вбудовані параметри для боротьби з незбалансованою вибіркою, дуже зручно.

Не можна було виділити для тестової вибірки скільки-небудь пристойне число об'єктів, що не збіднюючи навчальну. Тому коректно підрахувати точність і повноту не вийшло. Однак і без них очевидно, що модель працює не вхолосту. Я зробив 3 заходи: залишав в тестовій вибірці 95 нормальних і 5 постраждалих сайтів і навчав бінарний класифікатор на що залишилися прикладах.

Результати такі:

• У всіх випадках алгоритм коректно визначив все 95 сайтів зі стабільним трафіком.
• Не було жодного хибного спрацювання, тобто ситуації, коли «здоровий» сайт був визначений як проблемний.
• У першому тесті не було знайдено 2 постраждалих сайту з 5, у другому - 3, в третьому знову 2.

Підсумки не дозволяють використовувати алгоритм в бойових умовах (великий шанс пропустити проблему), але він явно справляється набагато краще ніж константний. Тобто початкова гіпотеза підтвердилася - в наборі даних є необхідна нам інформація! Або її частина, як мінімум.

Звичайно, можна було задурити зі справжньою крос-валідація і тонким підбором параметрів. Але особисто у мене повно інших справ. На головне питання відповідь я отримав, іншого ж від моделі і не було потрібно.

практичні рекомендації

Підкреслю важливий момент. Не треба прив'язуватися до конкретних цифр. Я спеціально не став публікувати повні дані, отримані з порівняння статистики (щоб не вийшло як в минулий раз із Баден-Баденом ). Важлива саме різниця між тим, як люди сприймають дві версії сайту - з рекламою і без. Якщо різниця істотна - значить реклама заважає. Якщо різниці немає - не заважають.

Особливо важливо це розуміти, так як звіт по блокировщикам недосконалий.

• Сума візитів з блокувальником і без блокувальника зазвичай значно менше, ніж загальний обсяг візитів. Визначити наявність / відсутність Adblock вдається далеко не завжди.
• Поведінкові метрики в звіті по блокировщикам сильно відрізняються від середніх по сайту. Як правило, глибина перегляду для візитів, де вдалося визначити наявність / відсутність блокувальника вище. Думаю, чим більше сторінок переглянув відвідувач, тим простіше Метриці розібратися з технологіями його браузера.
• Зрештою, блокувальники усувають далеко не всю рекламу і вважати, що люди з Adblock бачать «чистий» сайт ми можемо лише умовно.

Все інше - просто і очевидно.

Як зрозуміти, що сайту загрожує зниження у видачі через рекламу?

Якщо ви власник сайту, який монетизуються по рекламної моделі, має сенс регулярно вивчати звіт по блокировщикам:

Не забудьте вибрати досить тривалий період для звіту, щоб він був більш статистично достовірним (звичайно, якщо міняли дизайн або розміщення рекламних блоків, то початок періоду має бути не раніше дати змін). Варто також вказати фільтр «Тип джерела - пошукові системи», може виявитися корисною і сегментація по пристроях.

Не забувайте, однак, що кожен додатковий сегмент зменшує обсяг вибірки користувачів, для яких розраховуються показники. З мого досвіду, для вибірок менше 5000 візитів відмінності дуже часто стираються.

Якщо різниця в поведінкових метриках відчутна, то ваш сайт в зоні ризику. Якщо ви бачите, що різниця сильно виросла в порівнянні, наприклад, з минулим місяцем - то пора щось поміняти.

Якщо великої різниці немає і ви хочете додати ще реклами - додайте її спочатку на частину сторінок і відстежити, чи не зміняться на них поведінку користувачів без блокувальників.

Що робити, якщо сайт вже просів?

Очевидно - постаратися наростити «хорошу» статистику по призначеному для користувача поведінки для всього сайту. Діяти потрібно комплексно:

• Знизити кількість реклами.
• Опрацювати контент на збирають трафік сторінках так, щоб він краще відповідав призначеним для користувача інтересам (в тому числі тим, що не малися на увазі при створенні статті). Знову ж беремо нашу улюблену Метрику, дивимося пошукові запити, за якими приходять / приходили люди на конкретну статтю, шукаємо теми, погано розкриті в контенті. Для полегшення процесу використовуємо інструмент дооптімізаціі важливих сторінок. Зверніть увагу на кейс пожвавлення покинутого сайту за допомогою сервісу (див. ближче до кінця, де наводиться статистика щодо зміни частки відмов).
• Опрацювати добірки публікацій так, щоб полегшити користувачеві їх сприйняття, зробити сторінки категорій більш логічними і структурованими.
• Додати нові якісні матеріали по темам, для яких в ніші немає адекватного контенту (всюди будуть погані ПФ, а у нас - хороші).
• Доопрацювати сторінки з максимальною кількістю відмов і найбільшою різницею в поведінці для користувачів з блокувальником і без.

Зрозуміло, потрібно оцінювати рентабельність всіх цих дій. Якщо сайт не має більш-менш пристойної структури, то його переробка може обійтися дорожче, ніж створення нового проекту.

Як дізнатися більше про поліпшення ПФ і ефективної монетизації статейніков?

Передбачаю багато питань до цих рекомендацій. Однак докладний посібник щодо поліпшення ПФ на статейніках і їх монетизації з максимальним доходом і мінімальним ризиком тягне ще на одну здоровенну статтю (і 10 - 15 годин роботи). В принципі я готовий її написати, хоча тема мені вже трохи набридла. Тому для початку хочу зрозуміти, наскільки взагалі це цікаво читачам, чи має сенс витрачати час.

Зробимо так. Якщо вас цікавить інструкція:

1. Поділіться посиланням в соцмережі, блозі або Telegram-каналі на цей пост.
2. Надішліть мені адресу записи з посиланням через Google-форму .
3. Залиште там же свій e-mail.

Якщо набереться 100 або більше бажаючих - я напишу керівництво і розішлю його за вказаними скриньках. А потім, через 2-3 місяці - опублікую в основний розсилці блогу.

На закінчення

Головні висновки:

1. Падіння відвідуваності на статейніках після апдейта 30 січня пов'язано з поведінковими чинниками, в першу чергу з негативною реакцією користувачів на велику кількість реклами. Це підтверджується динамікою трафіку на проектах, що зняли рекламу, значною різницею в ПФ за вибірками, класифікатором на основі Catboost.
2. Корисний критерій для аналізу поведінки - звіт по блокировщикам реклами. Різниця навіть в базових метриках може бути вельми інформативною. Звичайно, ніхто не забороняє використовувати і більш складні показники, наприклад, частку «довгих кліків» або показники конверсії. Вивчення відмінностей в поведінці між користувачами з блокувальником і без нього варто використовувати в процесі прийняття рішень про розміщення рекламних блоків.
3. Для повернення відвідуваності потрібно комплексна робота, спрямована на поліпшення ПФ. Досить імовірно, що просто зняти частину реклами буде недостатньо. Хоча б тому, що те ж саме зроблять і постраждалі конкуренти.

PS Велике спасибі всім, хто давав сайти на аналіз! Вони дуже допомогли. Якщо буду писати керівництво - обов'язково вишлю його вам (ділитися посиланням необов'язково).

Також планую написати пост з короткими зауваженнями та порадами по наданим проектам - без вказівки url, тільки з id Метрики (по ній ви зможете зрозуміти що це ваш сайт - а інші ні). Розсилати поради в листуванні було б занадто довго, та й деякі проблеми подібні, так що все разом описати набагато зручніше. Якщо не хочете, щоб сайт потрапив в такий огляд - просто видаліть мій доступ до нього.

UPDATE 17.03.2018

Отримую багато коментарів з скріншот звіту по блокировщикам, де показники не вписуються в описану картину. Здається, тут є глобальне непорозуміння. Пояснюю ще раз, по пунктах:

• Різниця в поведінкових метриках в звіті по блокировщикам виявлена ​​на досить значній вибірці. Це типова, медіанна картина. Але зовсім не факт, що на вашому конкретному сайті вона буде такою ж. За статистикою курілщікі живуть менше. Але хтось курить з п'ятого класу і бодрячок в 90 років.
• Звіт по блокировщикам недосконалий. Це не святий Грааль, а додатковий спосіб подивитися на свій проект, дізнатися про нього щось нове. У кого-то він спрацює, у кого-то немає. Чекаєте 1-2 універсальні циферки, які дадуть відповідь по будь-якій проблемі? У мене для вас погані новини: на дворі 2018 й рік.
• Я вважаю, що обвал трафіку відбулося через низьких ПФ, однією з причин яких може бути реклама. Її вплив ми часто можемо відстежити в статистиці. Інші фактори - не можемо. Добре, що є хоч щось.

Нарешті, перш ніж робити будь-які висновки зі звітом по блокировщикам:

• Задайте сегмент по одному типу пристроїв. Якщо у вас змішані в купу десктопи і мобільні - толку від звіту не буде.
• Задайте сегмент за джерелом трафіку. Нас цікавить пошуковий трафік.
• Задайте сегмент за новизною відвідувача. Старі користувачі могли звикнути до реклами.
• Переконайтеся, що набирається хоча б 5000 візитів з блокувальниками.

В іншому випадку у вас буде не статистика, а інформаційний шум.