Сколько времени требуется для деиндексации низкокачественного или тонкого контента, опубликованного случайно? [тематическое исследование]

Ошибочно публикуется контент, влияющий на работу SEO вашего сайта? Обозреватель Гленн Гейб делится тематическим исследованием, в котором подробно описывается, как исправить эту проблему - и как долго это может потребоваться для устранения после исправления.У меня была компания электронной коммерции, которая обратилась ко мне в начале года за помощью. Они хотели провести аудит после внесения важных изменений на свой сайт. В рамках нашего первоначального сообщения они подготовили маркированный список изменений, которые были реализованы, поэтому я буду знать их перед анализом сайта. Этот список включал любые изменения в рейтингах, трафике и индексации. Одна из этих пуль выделялась: они увидели большой всплеск индексации после того, как последние изменения пошли вживую. Теперь это сайт, на который на протяжении многих лет влияли основные алгоритмические обновления, поэтому сочетание больших изменений сайта (без SEO-ориентирования) и последующий всплеск индексации испугали меня от дневного света. Кредит: GIPHY Я проверил Google Search Console (GSC), и это то, что я видел: проиндексировано 6 560 страниц, которые выросли до 16 215 в неделю. Это на 160 процентов больше. Было ясно, что копаться в этой проблеме и выяснять, что произошло, было бы приоритетом. Я надеялся, что если ошибки будут перенесены на производство, а неверные страницы будут проиндексированы, я смогу выявить эти проблемы и исправить их до того, как будет нанесен серьезный ущерб. Я развязал Screaming Frog и DeepCrawl на сайте, используя как Googlebot, так и Googlebot для смартфонов в качестве пользовательских агентов. Я очень хотел копаться в данных обхода.

Проблема: мобильная фасетная навигация и скачок тонкого содержимого

Во-первых, сайт не реагирует. Вместо этого он использует динамическую услугу, что означает, что различные HTML и CSS могут быть доставлены на основе user-agent. Последние изменения были внесены в мобильную версию сайта. После того, как эти изменения были реализованы, робот Googlebot был подключен к множеству тонких URL-адресов с помощью фасетной навигации (доступно только на мобильных страницах). Эти тонкие URL-адреса явно индексировались. В то время, когда алгоритмы качества Google, похоже, перегружены, это никогда не бывает хорошо. Сканирование, которое я выполнил, появилось на нескольких страницах на основе мобильной фасетной навигации - и многие из них были ужасно тонкими или пустыми. Кроме того, в отчете об улучшении HTML (да, что многие люди игнорируют) перечислены несколько тонких URL-адресов в отчете о повторяющихся тегах заголовков. Я ворвался в GSC, пока выполнялись ползунки, и начал всплывать многие из этих проблемных URL-адресов. Вот скриншот, показывающий около 4000 тонких URL-адресов в отчете. Это были не все проблемные URL-адреса, но вы могли видеть, что Google их находил. У нас явно была ситуация, когда технические проблемы SEO приводили к тонкому содержанию. Я неоднократно упоминал эту проблему при написании основных обновлений алгоритмов, и это был отличный пример этого события. Теперь пришло время собрать как можно больше данных, а затем передать основные проблемы моему клиенту.

Исправление

Первое, что я объяснил, было то, что скоростной мобильный индекс скоро появится, и, вероятно, было бы лучше, если бы сайт был перенесен на отзывчивый дизайн. Тогда мой клиент мог быть уверен, что все страницы содержат один и тот же контент, структурированные данные, директивы и т. Д. Они согласились со мной, и это долгосрочная цель сайта. Во-вторых, и я напрямую связан с проблемой, с которой я столкнулся, я объяснил, что они должны либо canonicalize, noindex, либо 404 все тонкие страницы связаны с ограненной навигацией на мобильных устройствах. Когда Googlebot сканирует эти страницы снова, он должен забрать изменения и начать отбрасывать их из индекса. Мой клиент спросил о блокировке через robots.txt, и я объяснил, что если страницы заблокированы, то робот Googlebot никогда не увидит тег noindex. Это общий вопрос, и я знаю, что в этом много путаницы. Только после удаления этих страниц из индекса они должны быть заблокированы с помощью файла robots.txt (если вы решите пойти по этому пути). Мой клиент на самом деле решил 404 страницы, внедрил изменения, а затем перешел к другим важным результатам анализа аудита и обхода.

Вопрос

И тогда мой клиент задал важный вопрос. Это то, о чем многие спрашивали после того, как не сделали никаких указаний или удалили с их сайтов некачественные или тонкие страницы. «Сколько времени займет Google, чтобы удалить эти страницы из индекса?» Ах, отличный вопрос - и ответ может быть разным для каждого сайта и ситуации. Я объяснил, что в зависимости от важности этих страниц URL-адреса могут быть удалены относительно быстро, или это может занять некоторое время (даже месяцы или дольше). Например, поскольку это тонкие страницы, созданные с помощью ограненной навигации, они, вероятно, были невелики в списке Google с точки зрения важности и приоритета. И если это так, Google может не часто сканировать эти страницы (или в ближайшее время). Моя рекомендация состояла в том, чтобы перейти на другие предметы и просто отслеживать индексацию с течением времени. Примечание. Я объяснил, что мой клиент мог добавить эти тонкие URL-адреса в файл Sitemap для XML после удаления с сайта, чтобы ускорить процесс обнаружения Google 404-х. Я считаю, что мой клиент сделал это на основе данных мобильного обхода и отчетов об улучшении HTML. Это не означает, что URL-адреса будут немедленно удалены из индекса, но это может помочь в обнаружении.

Ожидание

Таким образом, мы выполнили план исправления, основанный на анализе и аудите обхода и позволяем Google сканировать проблемные страницы. Мы отслеживали отчет о статусе индекса, чтобы увидеть, когда эти страницы начнут снижаться, надеясь, что это будет скоро (но реально зная, что это может занять некоторое время). И затем, в конце августа, электронная почта ударила по моему почтовому ящику с моего клиента предметной строкой: «Индексация, наконец, упала в GSC». Похоже, что произошло значительное падение индексации, падение сразу вниз до того места, где мой клиент был до проблемного страницы были проиндексированы! Фактически, было проиндексировано более 500 страниц, чем до всплеска. На самом деле было две капли. Первый из них составлял около двух месяцев, чтобы внести изменения, а затем произошло гораздо более значительное сокращение примерно на три месяца. Вы можете увидеть тренд ниже: Таким образом, для этого сайта и ситуации Google потребовалось три месяца, чтобы удалить все эти проблемные страницы из индекса после того, как изменения были реализованы (и это будет отражено в отчете о статусе индекса в GSC). Важно отметить, что каждая ситуация может быть различной, и время для деиндексации проблемных страниц может варьироваться. Однако для моего клиента это было три месяца. Кроме того, Джон Мьюллер из Google объяснил, что данные для отчета о статусе индекса обновляются несколько раз в неделю, но мы знаем, что график отчетов обновляется раз в неделю. Если это так, то Google потребовал довольно много времени, чтобы удалить эти тонкие URL-адреса из индекса. Джон Мьюллер из Google объясняет, как часто обновляется статус индекса (в видеоролике 40:36):

Перемещение вперед и окончательные советы

Ошибочно издавать тонкие страницы может быть проблематично на нескольких уровнях. Во-первых, ваши пользователи могут получить доступ к тем тонким или некачественным страницам (что может повлиять на счастье пользователя). Во-вторых, Google также может сканировать и индексировать эти страницы. Мы знаем, что Google будет считать все страницы, индексированные при оценке качества сайта, поэтому важно знать, что это происходит, понять, как его исправить, а затем отслеживать индексацию с течением времени. Вот некоторые последние мысли и советы:

Всегда старайтесь, чтобы SEO просматривал основные изменения на сайте до их публикации. Это может сэкономить вам много горя. Если бы я мог рассмотреть изменения в постановке, то проблемные тонкие URL-адреса были бы пойманы, и компания могла бы избежать всей этой ситуации.

Быстрое исправление. Опять же, Google оценит все страницы, индексированные при оценке качества сайта. Если вы столкнетесь с проблемой, подобной описанной здесь, быстро перейдите к noindex, canonicalize или 404 этим страницам. Чем быстрее Google сможет это увидеть, тем лучше.

Будьте терпеливы. Это может занять время для удаления страниц из индекса. В этом случае для этого потребовалось три месяца.

Отзывчивый дизайн - лучший подход, настроенный по мере приближения первого мобильного индекса. Google объяснил это много раз за последний год или около того. Этот случай подчеркивает опасность использования отдельных мобильных URL-адресов или динамического обслуживания. Многие люди проверяют изменения на рабочем столе, поэтому мобильные проблемы могут оставаться скрытыми под поверхностью. Осторожно.

Будьте активными, а не реактивными. Если вы постоянно сканируете и анализируете свой сайт, вы можете быстро решить такие проблемы. Затем вы можете быстро двигаться, чтобы вносить изменения. Сократите эти проблемы в зародыше.

Резюме: Терпение - это добродетель

Бывают случаи, когда сайты ошибочно публикуют низкокачественный или тонкий контент. Когда это происходит, крайне важно быстро идентифицировать и нанести эти страницы. И когда вы это сделаете, ваш следующий шаг - правильно обрабатывать эти страницы, не указывая, канонизируя или ссылаясь на URL-адреса. После того, как вы позаботитесь о ситуации, Google может занять время для сканирования этих страниц, обработки изменений и затем отбросить страницы из индекса. Вам просто нужно быть терпеливым, зная, что вы внесли правильное исправление. Со временем эти страницы должны упасть - как и в этой ситуации. Мнения, выраженные в этой статье, принадлежат авторам гостевых изданий, а не обязательно поисковым системам. Здесь перечислены авторы работ.