Robots tag
Определяет, могут ли поисковики индексировать страницу и следовать по ссылкам.
Мета-тег robots (<meta name="robots" content="...">) сообщает ботам поисковиков, таким как Yandex Bot или Googlebot, что они могут делать со страницей. Важнейшие значения: index/noindex (индексация), follow/nofollow (следование по ссылкам), noarchive (без кэша), nosnippet (без сниппета в выдаче).
На практике: на страницах входа, админ-панелях или внутренних инструментах ты используешь noindex,nofollow - этим страницам нет места в Яндексе. На публичных маркетинговых страницах ты включаешь index,follow.
Важно: тег robots влияет только на поисковики. Он не мешает ни одному посетителю-человеку увидеть страницу. Чтобы действительно защитить страницу, нужна авторизация сервера или барьер входа.
Связанные термины
Что ещё стоит знать
Мета-теги
HTML-теги в секции <head>, используемые браузерами и ботами - для SEO, социальных сетей и других целей.
SEO (поисковая оптимизация)
Совокупность действий, направленных на улучшение позиции сайта в органических результатах поиска.
Sitemap (XML)
Список всех индексируемых страниц - помогает поисковикам обнаруживать сайт.
Начни сейчас — Free-тариф бесплатен навсегда
Короткие ссылки, QR-коды, bio-страница и цифровая визитка — всё в одном инструменте. Соответствие 152-ФЗ, хостинг в ЕС.