Файл sitemap xml что. Создание Sitemap. Ручной способ создания карты
Укомплектовав свой сайт файлом Google Sitemap , Вы убиваете сразу двух зайцев: во-первых, Вы можете быть уверены в том, что Google проиндексирует все имеющиеся в этом файле страницы Вашего сайта, во-вторых, Google будет регулярно сканировать этот файл на наличие новых страниц для индексации.
В этой статье мы обсудим ряд вопросов, касающихся Google Sitemap:
- Преимущества, получаемые вследствие внедрения Google Sitemap в свою деятельность;
- Кому следует это использовать;
- Как это работает;
- Как создать Google Sitemap для своего сайта;
- Как создать динамический XML -файл Google Sitemap;
- Инструменты для генерации файла Google Sitemap от сторонних производителей.
Преимущества, получаемые вследствие внедрения Google Sitemap в свою деятельность:
- Ускорение процесса обнаружения и добавления страниц сайта в индекс Google.
- Быстрое нахождение Google’ом претерпевших изменения страниц сайта.
- Обеспечение более быстрого попадания сайта в результаты поисковой выдачи Google.
- Помощь Google в пополнении его индекса свежим контентом, вследствие чего пользователи Google получают в ответ на свои поисковые запросы актуальный и свежий контент.
Кому следует это использовать?
Использовать Google Sitemap может каждый сайтовладелец независимо от того, сколько на сайте страниц одна или миллион. Но всё-таки необходимее всего использовать Google Sitemap владельцам тех сайтов, страницы которых претерпевают очень частые изменения.
Обычно бывает так, что определённое количество страниц сайта не индексируется , хотя ссылки, ведущие на них, корректно распознаются поисковыми роботами. Причина этому банальна – расположение ссылок на эти страницы в глубине сайта, т.е. поисковый робот не доходит до этих ссылок, соответственно не находит эти страницы. Избежать данной проблемы можно, воспользовавшись Google Sitemap .
Запомните: использование Google Sitemap не даёт преимущества при ранжировании!
Как это работает?
Google Sitemaps созданы с использованием XML (Extensible Markup Language). Этот язык часто используется в фидах и на блогах.
Ниже приведён пример XML -кода, который Вы должны включить в каждую страницу своего сайта:
http://www.yoursite.com/
2005-07-15
monthly
0.5
Ниже приводится описание каждой строки кода:
- location – адрес веб-страницы, например http://www.yoursite.com
- last modified – дата последней модификации страницы
- change frequency – говорит Google о том, как часто Вы обновляете веб-страницу. Возможные значения: never, weekly, daily, hourly, monthly, yearly
- priority – устанавливает приоритет, который Google назначит для конкретной веб-страницы. Возможные значения: 0.0 (низший приоритет), 1.0 (высший приоритет), 0.5 (средний приоритет).
Некоторые веб-страницы Вашего сайта могут быть особенно приоритетными , т.к. часто обновляются , например главная (домашняя) страницы сайта, страница статей, поэтому им необходимо присвоить высший приоритет…
Ещё раз повторюсь — Google Sitemap никак не влияет на ранжирование сайта.
Как создать динамический XML -файл Google Sitemap?
Если Ваш сайт состоит из 1000 страниц и более, то создавать Google Sitemap вручную будет слишком долго, муторно и неудобно.
К счастью, Google предоставляет собственный скрипт, называемый Sitemap Generator , позволяющий очень быстро сгенерировать необходимый файл. Этот скрипт написан на языке Python, он создаёт Sitemap для Вашего сайта, используя Sitemap Protocol . Этот скрипт может создавать Sitemaps из списка URL , директорий веб-сервера или из логов доступа.
Инструменты для генерации файла Google Sitemap от сторонних производителей
Google также предоставляет информацию о других sitemap-генераторах.
Например я использую бесплатный sitemap-генератор. Он лёгок в применении, и он быстро генерирует необходимый XML -код для сайта.
Ниже я привожу пошаговый план создания Google Sitemap при помощи одного из множества бесплатных Sitemap-генераторов:
- Зайдите на сайт http://www.sitemapspal.com и введите адрес Вашего сайта в форму, находящуюся в самом верху страницы сайта
- Нажмите Submit
- Скопируйте сгенерированный для Вашего сайта код и вставьте его в чистый текстовый файл блокнота (notepad)
- Сохраните этот текстовый файл под именем sitemap.xml
- Загрузите этот файл в корневую директорию Вашего сайта (туда, где находится домашняя страница сайта)
- В адресной строке браузера наберите полный путь к сгенерированному файлу, например http://www.yoursite.com/sitemap.xml. Если Вы всё сделали правильно, то Вы увидите список URL ’ов и никаких ошибок
- Теперь откройте свой Google Sitemap аккаунт и добавьте этот путь (из пункта 6) в соответствующую графу в аккаунте
- Проделывайте эти шаги применительно к каждому своему сайту.
Резюме
Google является крупнейшей и популярнейшей поисковой машиной во всём Интернете. Каждый год миллионы веб-сайтов попадают в индекс Google, что естественным образом усложняет задачу нахождения Вашего сайта в результатах поисковой выдачи (SERP). Поэтому создайте и начинайте использовать Google Sitemap прямо сейчас.
Яндекс Вебмастер позволяет:
- добавить Sitemap;
- обновить;
- удалить;
- анализировать.
Как добавить Sitemap в Яндекс Вебмастер
Чтобы добавить файл Sitemap в очередь на индексирование, вам нужно, как и всегда, зайти в сервис Вебмастера — webmaster.yandex.ru. Далее:
- В разделе «Индексирование» вы найдете пункт «Файлы Sitemap».
- Добавьте полный адрес файлы Sitemap, например, https://сайт/sitemap.xml.
- Нажмите «Добавить».
- Ждите, пока Яндекс Вебмастер проверит файл.
После добавления, файл попадает в очередь на обработку. Робот добавит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в индекс Sitemap, обрабатывается роботом отдельно.
После загрузки напротив каждой карты сайта вы увидите в Яндекс Вебмастере один из статусов:
Статус | Описание | Примечание |
---|---|---|
«OK» | Файл сформирован правильно и загружен в базу робота | Напротив файла отобразится дата последней загрузки.Проиндексированные страницы появятся в результатах поиска в течение двух недель |
« » | Указанный URL перенаправляет на другой адрес | Удалите редирект и сообщите роботу об обновлении |
«Ошибка» | Файл сформирован неправильно | Нажмите ссылку Ошибка, чтобы узнать подробности. После внесения изменений в файл сообщите роботу об обновлении |
«Не проиндексирован» | При обращении к Sitemap сервер возвращает HTTP-код, отличный от 200 | Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.Если файл доступен, сообщите роботу об обновлении |
Доступ к файлу запрещен в robots.txt с помощью директивы Disallow | Разрешите доступ к Sitemap и сообщите роботу об обновлении |
Обновить Sitemap
Когда в Sitemap происходят изменения, его не нужно удалять из Яндекс Вебмастера и добавлять заново. Поисковик время от времени сам проверяет его на изменения и ошибки.
Если ваш Sitemap не проиндексирован, то это можно ускорить. Нужно зайти в раздел «Индексирование», далее в пункт «Файлы Sitemap». Нажать на значок обновления напротив нужноq карты сайта. Яндекс загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.
Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.
Удалить Sitemap из Вебмастера
В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице «Файлы Sitemap» :
Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.
Поддерживаемые Яндекс Вебмастером форматы
Яндекс принимает Sitemap в форматах:
XML-формат Sitemap
Предпочтительней передавать в формате XML, т.к. в нем можно передать дополнительные данные.
Яндекс поддерживает протокол Sitemap . Используйте этот формат, если хотите сообщить о:
- дате последнего обновления страницы (элемент lastmod);
- частоте изменения страницы (элемент changefreq);
- значимости страницы (элемент priority) - робот загружает страницы поочередно с учетом наличия и значения коэффициента от 0.0 до 1.0. Укажите коэффициент для тех URL, которые наиболее важны для сайта.
TXT-формат Sitemap
В данном формате можно передать только адреса страниц. И всё. Да, грусть и печаль, лучше используйте XML 🙂
Используйте этот формат, чтобы сообщить только об адресах страниц.
Https://сайт/ssylki-v-yandex-webmaster/ https://сайт/zerkala-sajta-v-yandex-webmaster/
Чтобы передавать информацию о видео, в Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Я.Видео).
Поиск не поддерживает передачу информации об изображениях, RSS и Atom-фидов с помощью файла Sitemap.
В каких случаях нужен файл Sitemap
Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:
- большое количество страниц;
- отдельные страницы без навигационных ссылок;
- глубокая вложенность.
Как создать файл
Добавить Sitemap.xml в Яндекс Вебмастер — видео
[yt=DMa9XmYfqTI]
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Наличие xml карты сайта () на сервере - стратегически важно для оптимизации. Карта хранит в себе структуру актуальных страниц вашего ресурса и служит для того, чтобы поисковые роботы быстрее ориентировались по сайту, а ваши страницы быстрее индексировались. Иными словами: карта сайта указывает поисковым роботам кратчайший путь к страницам. Вот такая карусель.
Что конкретно находится в карте сайта?
Файл sitemap. xml содержит не только url страниц, но и дополнительную информацию каждой страницы:
- дату последнего изменения;
- частоту изменения;
- приоритетность на уровне сайта.
Естественно, прописать ручками этот файл очень трудно. Особенно если у вас большой интернет-магазин. Для упрощения жизни был разработан онлайн генератор карты сайта (sitemap generator online) , который выполняет всю рутинную работу за вас.
На данный момент существует достаточно много ресурсов для генерации карты, в этой статье я расскажу о наиболее популярных онлайн генераторах .
Как сгенерировать sitemap и как работает эта адская система?
Практически все сервисы о нлайн генерации карт сайта работают по одному и тому же принципу. Даже интерфейс примерно везде один и тот же, отличается только стиль оформления и расположение кнопок управления.
Итак вы заходите на типичный онлайн генератор… что вы скорее всего увидите? Правильно! Поле ввода url. Вставляем нужный нам сайт. Для примера будем использовать генератор карты сайта cy-pr.com.
Вводим адрес нашего сайта, выбираем частоту обновления (если оно вам надо), также для удобства можно использовать дату последнего обновления (чтобы запомнить когда создавалась карта) и нажимаем кнопку «Создать».
После нажатия происходит волшебство! Вы сможете наблюдать как трудолюбивый сервис бегает по вашему сайту, записывая каждую страницу в файлик. После такого марафона генератор карты выдает вам всю свою рукопись с описанием каждой страницы:
Теперь нам нужно ее сохранить. Для этого открываем блокнот, вставляем туда наш код, который нам дала адская система, нажимаем «сохранить как», далее вводим имя файла « sitemap.xml », выбираем тип «все файлы», выбираем кодировку utf-8 и нажимаем кнопку «сохранить».
Мы получили файлик sitemap.xml:)
Будьте внимательны с регистрами! Название карты сайта должно быть в нижним регистре
Если вы все сделали правильно то получите такой файлик:
Важно помнить, что карта сайта не резиновая - потолок 50 000 url. Готовую карту можно скидывать на сервер. Главное, не забудьте прописать в robots, что у вас есть карта! Роботы вредные и не будут ее сами искать:)
Если вы решили не использовать сервисы онлайн генерации карты сайта , а захотели пойти по хардкору и написать все сами, то вам следует знать каждого из этого списка:
- Тег в котором указывается данные об url - В этом теге заключаются данные о многих url - Используется для указания url - Хранит дату последнего изменения - Данные о частотности изменения (могу использоваться атрибуты « always, hourly, daily, weekly, monthly, yearly, never» )Описывает приоритет страницы по сравнению с другими (от 0.1 - холоп до 1 - царь)
Могучий пример
Не царское это дело, файлики сохранять
Конечно, не все онлайн генераторы дают вам код, многие генерируют готовую карту сайта в виде файла « sitemap.xml », вам остается лишь скачать ее и закинуть в корень сайта.
А если вы чувствуете, что работа с файлами это вообще не для вас…
Решение есть! Sitemap generator для админки без регистрации и смс. Рассмотрим подробнее на примере админки wordpress.
Плагин « Карта сайта» используется для небольших проектов, он выводит не такую подробную информацию как онлайн генераторы холопских файлов, но все же работает.
Для установки переходим в раздел меню плагины > установленные > добавить новый
В поиске вводим «Google sitemaps»
Устанавливаем данный плагин, активируем и (Бац! Wow!) карта сайта создана. Ее можно дополнительно настроить вручную (если вам это понадобиться). Также существует множество других плагинов для генерации карты сайта. Не только для WP, но и для других CMS и с каждым днем их больше и больше.
Генератор sitemap xml: с оветы
- При создании карты сайта не стоит забывать о размере. Если файл весит больше 10 мб, рекомендуется его разбить на несколько частей. Тем самым вы избавите сервер от перегрузок.
- Все url необходимо писать единообразно (с www либо без www)
- Файл карты сайта должен иметь кодировку UTF-8
- Всегда указывать на пространство имен языка XML xmlns="
Карта сайта представляет собой страницу sitemap.html (для посетителей, помогает упростить навигацию и найти любую страницу на большом сайте) или файл sitemap.xml (для поисковых систем), содержащие подробный список всех страниц веб-сайта.
Сайтмап позволяет сократить количество переходов при поиске нужной страницы на любом, даже самом большом сайте. Грамотно настроенная карта сайта способна повысить индексацию страниц веб-сайта.
Какие возможности дает карта сайта?
Поисковики способны просканировать все адреса сайта самостоятельно, но создание карты сайта поможет им узнать, как это лучше сделать.
Сайтмап позволяет:
- найти новые страницы на ресурсе и проиндексировать их;
- расставить приоритетность страниц;
- отследить свежие изменения на индексируемых страницах;
- запомнить частоту обновления индексируемых страниц.
Какие бывают карты сайта?
В общем случае существует два варианта сайтмапа - это веб-страница sitemap.html и файл sitemap.xml. Рассмотрим их поподробнее.
Что такое Sitemap.html?
Это статическая HTML страница, где перечислены ссылки на все основные страницы сайта. Такой формат сайтмапа ориентирован на посетителей сайта и позволяет в 1 клик перейти на любую из страниц.
Sitemap.html имеет структуру дерева с развернутыми разделами.
У сайтов с очень сложной структурой HTML карта сайта может состоять из страниц с дополнительным уровнем вложенности.
Пример - карта сайта TripAdvisor .
Что такое sitemap.xml?
Это файл, лежащий в корневой директории сайта, который читается всеми существующими поисковиками. Его роль - показать поисковым системам все адреса страниц, которые нужно проиндексировать; когда они появились или обновились; с какой регулярностью перепроверять страницы на обновление.
Один файл sitemap.xml может включать в себя до 50 000 ссылок. При большем количестве ссылок таких файлов будет несколько . Дополнительные преимущества - возможность указать частоту обновления страниц и приоритет индексации. Правильная кодировка файла sitemap.xml должна быть UTF-8, а его размер ограничен 10 Мб.
Приведем пример карты сайта в формате.xml:
Как создать карту сайта?
Существует ряд методов создать sitemap для вашего ресурса:
- Статически вручную. Этот способ подойдет продвинутым пользователям, которые имеют навык работы с основными тегами, а веб-сайт состоит из небольшого количества страниц.
- Через генератор карты сайта. Если вы не хотите выполнять кропотливую и нудную работу по генерации карты сайта вручную, к вашим услугам - программа для создания карты сайта. Есть платные и бесплатные варианты: , и множество других.
- Плагин для CMS или средствами движка. Еще один хороший способ сгенерировать sitemap. Масса преимуществ в виде гибкой настройки под нужные параметры и максимума возможных адресов, а также серьезная экономия времени. Кроме того, при внесении изменений на страницу или создании новых страниц карта сайта будет обновляться автоматически, в отличие от сайтмапа, созданного другим способом. Для каждой системы существует свой плагин:
- для CMS WordPress разработаны seo-плагины с функцией создания сайтмапа;
- для Joomla существует Xmap ;
- DLE - имеется встроенный модуль .
Полезный нюанс!
Если исключить из карты сайта страницы, которые не несут коммерческой или информационной пользы (например, какие-нибудь страницы, не являющиеся посадочными, какие-то вспомогательные, транзитные), то поисковой робот будет тратить меньше своих ресурсов на переобход сайта.
А так как ресурс ограничен, становится больше вероятность, что робот обойдет нужные нам страницы. Создавая sitemap через плагин, можно сразу исключить оттуда определенные типы страниц. Их потом можно добавить, если понадобится. Актуально для больших сайтов.
Как часто должна обновляться карта сайта?
Единого норматива по количеству обновлений нет. Все зависит от частоты создания новых страниц ресурса, изменения адресов или контента и связей уже существующих страниц.
При этом стоит помнить, что данные, указанные в карте сайта, поисковый робот воспринимает как рекомендательные: если установить частоту обновлений, к примеру, раз в год, робот будет приходить чаще, а если раз в час - робот не станет индексировать страницу так часто.
Как правильно указать ссылку на sitemap.xml в robots.txt
Для начала, xml карта сайта должна быть создана и загружена на сервер, и потом можно добавить указание о наличии файла.
Чтобы это сделать, пропишите в robots.txt следующую строку:
Sitemap: {url-файла-sitemap},
где {url-файла-sitemap} - это полный URL вашего сайтмапа.
В итоге, robots.txt приобретет такой вид:
User-Agent: *
Sitemap: httр://mysite.com/sitemap.xml.
Частые ошибки в карте сайта
Самые распространенные ошибки:
- битые ссылки;
- редиректы;
- некорректные даты публикации или обновления контента.
Ошибки не будут иметь критического влияния на отношение поисковых систем к вашему сайту. Однако их устранение позволит направить высвободившиеся ресурсы поискового робота на переобход важных страниц.
Как проверить корректность карты сайта
Чтобы проверить корректность карты сайта, разработаны многочисленные онлайн-сервисы, которые сделают это за вас автоматически и укажут на все допущенные ошибки: валидности файла, указание на url с другого домена, превышение размера файла, проведут онлайн-диагностику индексации. Такие программы бесплатны и работают со всеми крупными поисковиками (Google, Yandex, Yahoo).
Для проверки корректности необходимо открыть страницу сервиса, загрузить xml-файл или ввести в поле соответствующий URL и нажать на кнопку проверки. Если программа обнаружит ошибки, она подскажет, какие адреса дают некорректный ответ.
Протестируйте sitemap.xml в Яндекс * - https://webmaster.yandex.ru/tools/sitemap/
Протестируйте с помощью сервиса Pixel Plus - https://webmaster.yandex.ru/tools/sitemap/
Англоязычный сервис - https://sitemapkoala.com/
* - для теста в Яндекс, необходимо .
Итого
Карта сайта - удобный инструмент, призванный упростить передачу структуры основных страниц как посетителю так и поисковой системе.
Без нее можно обойтись. Поисковик и так рано или поздно доберется до большинства веб-страниц, но с сайтмапом переобход или индесация новых страниц будут более эффективными.
Файлы robots.txt и sitemap.xml дают возможность организации индексации сайта. Эти два файла хорошо дополняют друг друга, хотя в то же время решают противоположные задачи. Если robots.txt служит для запрета индексации целых разделов или отдельных страниц, то sitemap.xml, напротив, подсказывает поисковым роботам, какие именно УРЛ-адреса нужно индексировать. Разберем каждый из файлов в отдельности.
Файл robots.txt
robots.txt - это файл, в который записываются правила, ограничивающие доступ поисковым роботам к каталогам и файлам сайта для того, чтобы избежать попадания их содержимого в индекс поисковых систем. Файл обязательно должен располагаться в корневой директории сайта и быть доступен по адресу: site.ru/robots.txt.
В robots.txt нужно закрывать от индексации все дублирующиеся и служебные страницы сайта. Часто общедоступные CMS создают дубли, статьи могут быть доступны по нескольким УРЛ-адресам одновременно, например; в категориях site.ru/category/post-1/ , тегах site.ru/tag/post-1/ и архиве site.ru/arhive/post-1/ . Для того, чтобы не было дублей, необходимо запретить индексацию тегов и архива, в индексе останутся только категории. Под служебными страницами, я имею в виду, страницы администраторской части сайта и автоматически генерируемые страницы, например: выдачу при поиске на сайте.
От дублей просто необходимо избавляться, так как они лишают страницы сайта уникальности. Ведь если в индексе находятся несколько страниц с одинаковым содержимым, но доступные по разным УРЛ-адресам, то контент ни одной из них не будет считаться уникальным. В следствие этого поисковые системы принудительно будут занижать позиции таких страниц в выдаче.
Директивы robots.txt
Директивы - это правила или можно еще сказать команды для поисковых роботов. Самой главной является User-agent , с ее помощью можно установить правила для всех роботов или для конкретного бота. Эта директива прописывается вначале, а после нее указываются все остальные правила.
# Для всех роботов User-agent: * # Для робота Яндекса User-agent: Yandex
Еще одной обязательной директивой является Disallow , с ее помощью закрываются разделы и страницы сайта, а ее противоположностью является директива Allow , которая напротив принудительно разрешает индексировать указанные разделы и страницы сайта.
# Запрещаем индексацию раздела Disallow: /folder/ # Разрешаем индексацию подраздела с картинками Allow: /folder/images/
Для того, чтобы указать главное зеркало сайта, например: с www или без, используется директива Host . Стоит отметить, что главное зеркало прописывается без указания http:// протокола, а вот https:// протокол необходимо указывать. Host понимают только боты Яндекса и Mail.ru и прописывать директиву нужно только один раз.
# Если главное зеркало работает по http протоколу без www Host: site.ru # Если главное зеркало работает по https протоколу c www Host: https://www.site.ru
Sitemap - директива, указывающая путь к файлу sitemap.xml, путь необходимо указывать полностью с протоколом, прописывать данную директиву разрешается в любом месте файла.
# Указываем полный путь к файлу sitemap.xml Sitemap: http://site.ru/sitemap.xml
Для упрощения написания правил существуют специальные символьные операторы:
- * - обозначает любое кол-во символов, а так же их отсутствие;
- $ - обозначает, что символ стоящий перед знаком доллара, последний;
- # - обозначает комментарий, все что находиться в строке после данного оператора будет проигнорировано поисковыми роботами.
После знакомства с основными директивами и специальными операторами уже можно набросать содержимое простенького файла robots.txt.
User-agent: * Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php User-agent: Yandex Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php # Разрешаем роботом Яндекса индексировать изображения в разделе modules Allow: /modules/*.png Allow: /modules/*.jpg Host: site.ru Sitemap: http://site.ru/sitemap.xml
Ознакомиться с подробным описанием всех директив с примерами их использования можно в публикации на сайте Яндекса в разделе помощь .
Файл sitemap.xml
sitemap.xml - это так называемая карта сайта для поисковых систем. Файл sitemap.xml содержит информацию для поисковых роботов, о страницах сайта, которые необходимо индексировать. В содержимом файла обязательно должны быть указанны УРЛ-адреса страниц, а необязательно можно указать приоритет страниц, частоту переобхода страниц, дату и время последнего изменения страниц.
Необходимо отметить, что sitemap.xml не обязателен, и поисковые системы могут его не учитывать, но в то же время все поисковики говорят о том, что наличие файла желательно и помогает правильно индексировать сайт, особенно, если страницы создаются динамически или на сайте сложная структура вложенности.
Вывод напрашивается один: что файлы robots.txt и sitemap.xml необходимы. Правильная настройка индексации - это один из факторов нахождения страниц сайта на более высоких местах в поисковой выдаче, а это цель любого более-менее серьезного сайта.