Индексиране и sitemap: как Google намира страниците на сайта

Една страница може да се появи в Google само ако е в индекса му. Пътят дотам минава през три етапа, а собственикът на сайта може да помогне на всеки от тях. Тук обясняваме как работят обхождането и индексирането, кога има смисъл от карта на сайта (sitemap) и кои настройки най-често спират страниците, без собственикът да разбере.

Обхождане, индексиране, показване

Google описва процеса в три стъпки:

1. Обхождане (crawling). Програмата Googlebot изтегля текста, изображенията и видеото на страниците, които Google е открил. Тя изпълнява и JavaScript с актуална версия на Chrome. Не всяка открита страница се обхожда.
2. Индексиране. Google анализира съдържанието и го записва в индекса си. Индексирането не е гарантирано.
3. Показване на резултати. При търсене Google връща страниците, които смята за най-полезни за заявката.

Googlebot сам решава колко често и колко страници да обхожда. Той се старае да не претоварва сървъра: ако сайтът отговаря с грешки 500, обхождането се забавя. Страници зад вход с парола не се обхождат.

Как търсачката открива страниците

Повечето страници се откриват по връзки: от вече познати страници на същия сайт и от други сайтове. Затова добрата вътрешна навигация е най-сигурният начин нова статия да бъде намерена. Bing изрежда същите канали за откриване: XML sitemap, обхождаеми вътрешни връзки, външни връзки от свързани сайтове и протокола IndexNow, за който пишем в статията за Bing Webmaster Tools. Bing добавя, че връзките трябва да са обикновени <a href> с описателен текст или с alt при изображенията.

Кога ви трябва sitemap

Според Google картата на сайта е полезна, когато:

• сайтът е голям и е трудно да се провери дали всяка страница е свързана от друга;
• сайтът е нов и има малко външни връзки;
• има много видео, изображения или се показва в Google News.

Може да нямате нужда от sitemap, ако сайтът е малък (около 500 страници или по-малко, от тези, които искате да са в търсенето) и всички важни страници са достъпни с връзки от началната. Повечето системи за управление на съдържание и без това създават карта автоматично. Тя не вреди, но и не гарантира, че всички адреси в нея ще бъдат обходени и индексирани.

Как изглежда правилният sitemap

Изискванията на Google са кратки:

Bing дава сходни съвети: в картата да са само канонични адреси, изтритите и пренасочените адреси да се махат веднага, а lastmod да показва реалната дата на промяната.

Картата се изпраща в отчета Sitemaps на Google Search Console или с ред в robots.txt:

Sitemap: https://example.bg/sitemap.xml

И двата начина са само подсказка: те не гарантират обхождане.

robots.txt не скрива страница от Google

Най-честото недоразумение: robots.txt казва на роботите кои адреси могат да посещават, за да не се претоварва сървърът. Той не е начин да държите страница извън Google. Ако забраните адрес в robots.txt, а други сайтове сочат към него, той може да се появи в резултатите без описание.

За да не се показва страница в търсенето, използвайте noindex: мета таг в head на страницата с атрибути name="robots" и content="noindex". Така правилото важи за всички търсачки, които го поддържат.

За файлове като PDF или изображения същото се постига с HTTP заглавката X-Robots-Tag: noindex. Важно условие: страницата трябва да е достъпна за обхождане. Ако е забранена в robots.txt, Googlebot никога няма да види noindex. Bing го казва по същия начин: robots.txt управлява достъпа на робота, а не индексирането.

Дублирани страници и каноничен адрес

Когато едно и също съдържание е достъпно на няколко адреса (с www и без, с параметри, с http и https), Google групира страниците и избира една за канонична. Тя се показва в резултатите. Можете да подскажете избора, като сигналите са подредени по сила:

1. постоянно пренасочване (301) от дубликата към основния адрес;
2. rel="canonical" в <head> на дубликата;
3. включване само на основния адрес в sitemap.

Google съветва каноничната страница да сочи сама към себе си, вътрешните връзки да водят към нея и да не използвате robots.txt или noindex за избор на каноничен адрес.

Как да разберете какво е индексирано

В отчета за индексиране на страниците в Search Console всеки адрес е индексиран или не, с посочена причина. Някои причини не изискват действие:

• Crawled – currently not indexed (обходена, но засега не е индексирана): Google може да я индексира по-късно, не е нужно да я изпращате отново;
• Discovered – currently not indexed (открита, но още не е обходена): обхождането е отложено, за да не се натоварва сайтът;
• Alternate page with proper canonical tag (алтернативна страница с правилен каноничен таг): нормално състояние за дубликат.

Google сам предупреждава да не очаквате всеки адрес от сайта да бъде индексиран. Ако обаче там е началната или друга важна страница, проверете я с инструмента URL Inspection.