В этом путеводителе мы рассмотрим следующие вопросы:
Что такое Sitemap ?
Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.
Для чего нужна карта сайта
Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).
HTML vs XML-карта сайта
Карты сайта бывают следующих типов:
- HTML;
Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.
HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.
При составлении HTML-карты сайта важно учитывать:
1. Структурированное содержание.
Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.
2. Анкоры ссылок.
Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.
Обычно Sitemap состоит из следующих XML-тегов:
Обязательные:
Необязательные:
Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.
Другие форматы Sitemap
Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:
Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.
Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.
Требования Google и Яндекса к файлам Sitemap
1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.
4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).
1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.
1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.
Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.
Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.
Как создать XML Sitemap
1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.
2. Определить, какой формат файла будете использовать.
3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.
Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .
Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:
1. Парсим сайт.
2. Переходим в раздел «Сайты» => «Генерировать Sitemap».
3. Сохраняем в нужном нам формате.
4. Карта сайта готова.
Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .
Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.
Исключить ненужные страницы можно и с помощью регулярных выражений.
Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.
Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.
Обязательные:
Необязательные:
Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.
Плюсы добавления XML-тегов для видео:
1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).
Карта сайта для видеофайлов состоит из следующих обязательных элементов:
Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.
Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .
Где разместить карту сайта
Распространённые заблуждения о Sitemap
Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:
– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.
– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.
– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.
Заключение
Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.
Подписаться на рассылкуС помощью нашего генератора карты сайта создайте файлы в формате XML, которые могут быть представлены в Google, Яндекс, Bing, Yahoo и других поисковых системах, чтобы помочь им индексировать ваш сайт.
Сделайте это за три простых шага:
Sitemap – это карта сайта в формате XML, который В 2005 году поисковик Google стал использовать для индексации страниц сайтов. Файл Sitemap представляет собой способ организации веб-сайта, выявление адреса и данные по каждому разделу. Ранее карты сайта в основном были направлены для пользователей сайта. Формат XML был разработан для поисковых систем, что позволяет им найти данные быстрее и эффективнее.
Новый протокол Sitemap был разработан в ответ на увеличения размера и сложности веб-сайтов. Бизнес-сайты часто содержат тысячи продуктов в своих каталогах, популярность блогов, форумов, досок объявлений вынуждают вебмастеров обновлять свои материалы, по крайней мере один раз в день. Поисковым системам все труднее отслеживать весь материал. Через протокол XML поисковые системы могут более эффективно отслеживать адреса, оптимизируя их поиск путем размещения всей информации на одной странице. XML также показывает, как часто обновляется определенный веб-сайт, и записывает последние изменения. XML карты не являются инструментом для поисковой оптимизации. Это не влияет на ранжирование, но это позволяет поисковым системам сделать более точные рейтинги и поисковые запросы. Это происходит путем предоставления данных, удобных для считывания поисковыми системами.
Общее признание протокола XML означает, что разработчикам веб-сайтов больше не нужно создавать различные типы карт сайта для различных поисковых системах. Они могут создать один файл для представления, а затем обновить его, когда они внесли изменения на сайте. Это упрощает весь процесс тонкой настройки и расширения веб-сайта. Сами Вебмастера начали видеть преимущества использования этого формата. Поисковые системы ранжируют страницы в соответствии с релевантностью содержания конкретных ключевых слов, но до формата XML часто содержимое страниц не было правильно представлено. Это часто расстраивает вебмастерам, которые понимают, что их усилия по созданию веб-сайта были оставлены незамеченными. Блоги, дополнительные страницы, добавление мультимедийных файлов занимают несколько часов. Через файл XML эти часы не будут потрачены впустую, их увидят все известные поисковые системы.
Чтобы создать свой Sitemap в формате XML и держать поисковые системы в курсе всех изменений вашего сайта, попробуйте наш бесплатный генератор карты сайта.
Предположим у вас есть сайт, забитый уникальным контентом, на котором проведена SEO оптимизация и сидите вы, потирая ладошки в ожидании, когда же ваше детище начнет посещаться поисковым роботом, индексироваться и приносить заветный трафик. Идет время, а результат ваших стараний не особо-то и виден. В чем же дело? Возможно, что-то все же было упущено из виду, что-то да забылось в погоне за ништяками. Предположим, что сайт по-прежнему уникальный и оптимизаторы из вас хоть куда. Тогда нужно разбираться, почему поисковик так неохотно вас посещает и по какой причине все происходит так медленно.
Каждый web-проект должен иметь два важных, а может и основных файла: это роботс (robots.txt) и карта сайта (). Если какой-то из них отсутствует или неверно заполнен, велика вероятность, что ресурс не даст того результата, на который вы рассчитывали. Ведь у поисковых ботов есть заданные ограничения как по времени нахождения на ресурсе, так и по количеству документов, которые они могут проверить и занести в базу. А это все к тому, что если вами не были заданы пути перемещения для поискового робота, то он может добраться до контента очень нескоро, перед этим побродив в файлах движка.
Чтобы избежать подобной неразберихи, в файле роботс мы говорим, на что ботам не стоит тратить время, а с помощью карты сайта, наоборот, подсказываем куда следует заглянуть и где побродить.
Предположим, что у нас все срослось и поисковики начали индексировать наш проект, а вот отсутствие второго может затянуть достижение поставленных целей. А теперь подробнее про создание sitemap.
XML и HTML версии карты сайта
Sitemap.html выступает в роли навигации для гостей нашего ресурса, которая помогает понять структуру сайта и найти интересующий их раздел.
Sitemap.xml подсказывает и помогает поисковым ботам обнаружить и начать индексировать страницы нашего проекта. Если мы имеем большой уровень вложенности и многочисленное количество веб-страниц на сайте, XML гарантирует, что боты не упустят из вида, то что нужно проиндексировать. Как приятный бонус мы получаем плюсик к карме в виде увеличения доверия к ресурсу со стороны поисковиков.
Положительные стороны присутствия sitemap. xml на сайте
- ускоренное индексирование недавно созданных страниц;
- стопроцентная вероятность того что поисковик отыщет необходимые страницы;
- возможность указать приоритеты при проверке, частоту и дату последнего обновления страницы;
- немного увеличивается доверие к ресурсу.
Важно!
- используйте для карты сайта кодировку UTF-8 ;
- вес файла должен быть не более 10 MB и его содержание не должно быть больше 50 тысяч URL .
Как создать и добавить sitemap. xml на сайт
Берем любой текстовый редактор, например Notepad++, и начинаем творить.
Первым блоком идет стандартная часть, в которой мы указываем:
Значения тегов:
- «loc» - в него мы заключили адрес страницы нашего сайта, которую в скором времени должны проиндексировать поисковые роботы;
- «lastmod» - отображается последняя дата обновления страницы указанной в первом теге;
- «changefreq» - показывает как часто будет обновляться контент (в нашем случае каждый день);
- «priority» - задает приоритетность к индексации страницы (от 0 до 1)
Сохраняем получившийся файлик в формате XML и помещаем его в . Далее указываем путь к нему в robots. txt прописывая данную строчку:
http://Наш сайт/sitemap.xml
Либо мы можем использовать один из онлайн-генераторов. Например, , который рассчитан на создание не больше чем 500 страниц. Но зачастую больше и не надо, поэтому работаем с ним.
В первую строку вписываем полный URL нашего сайта с http://Наш сайт.
Вторая строка, которая называется « Change frequency», показывает поисковым роботам, как часто будут обновляться веб-страницы. Можем выбрать: never, weekly, daily, hourly, monthly, yearly.
Третья строка « Last modification » показывает, когда последний раз обновлялась страница, можем выбрать либо дату когда мы решили создать карту сайта, либо выбрать « Use server’s response » - тогда генератор автоматически внесет дату последнего изменения.
И четвертая строка « Priority», как мы уже ранее обсуждали позволяет выбрать приоритет к индексации, выбираем « Automatically Calculated Priority ».
Нажимаем кнопку «Start» и ждем когда сгенерируется карта сайта в формате XML , после опять проделываем манипуляции с помещением в корень и указания пути в robots.txt.
Как сообщить о файле sitemap после создания Google и Яндекс
Заходим в Вебмастер и действуем следующим образом.
Выбираем проверку карты сайта:
И задаем путь к нашему файлу sitemap.
Проверяем что получилось:
Убеждаемся, что все в порядке и отправляемся на поклон к Google.
Для того чтобы попасть в Search Console Гугл, в которой, собственно, и можно сообщить о нашей карте, переходим
Обновляем страницу - перед нами результат проверки и если в колонке «Проблемы» стоит прочерк, значит, мы все сделали правильно.
Подведем итоги
Создать и разместить файл sitemap. xml на ресурсе по факту минутное дело, для этого можно использовать любой текстовый редактор или онлайн-генератор. Если у вас есть карта сайта на своем ресурсе вы ускоряете и упрощаете жизнь поисковому роботу, который следует по указанному пути и индексирует нужные страницы. Это значит, что результат вашей работы по оптимизации имеет шанс быстрее стать заметным. Но важно не забывать про карту сайта и периодически ее обновлять, т.к. страница может перестать участвовать в продвижении, а боты будут продолжать ее посещать, что отразится на позициях. Также наш XML-проводник может служить помощником не только роботам, но и воришкам контента, ведь в sitemap мы указываем нужные нам документы, что значительно упрощает жизнь копипастерам. Поэтому рекомендуем периодически проверять контент вашего ресурса на уникальность. Соблюдая эти правила вы повышаете доверие поисковых систем Google и Яндекс к своему ресурсу.
(Последнее обновление: 25.12.2019)
Привет, коллеги! В этом посте я расскажу вам как создать и настроить Sitemap (карта сайта) для WordPress , для поисковых систем таких как Яндекс, Google, Bing, Поиск@Mail.Ru. Не нужно путать XML с HTML. Первый подходит для поисковиков, а второй предназначен преимущественно для пользователей. Что представляет из себя карта сайта XML вы наверное уже знаете.
Напомню : это список страниц вашего сайта/блога, который не видят ваши посетители, а хорошо видна только . XML файл Sitemap позволяет сообщить Google и Yandex о страницах вашего сайта, чтобы они гарантированно попали в индекс поисковых систем.
XML Sitemaps может помочь поисковикам определить местонахождение страниц сайта, блога, время их последнего обновления, частоту обновления и важность относительно других страниц веб-ресурса для того, чтобы поисковая машина смогла более разумно индексировать сайт.
Что такое Sitemap?
Карта сайта - это способ организации веб-сайта с указанием URL-адресов и данных в каждом разделе. Документ XML содержит инструкции для роботов поисковых систем.
Sitemap - XML-файлы с информацией для поисковых систем (таких как Google, Яндекс, Bing, Поиск@Mail.Ru) о страницах веб-сайта, которые подлежат индексации. Проще говоря, это URL-адреса сайта, отправляемые вами поисковикам.
Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию.
Как создать файлы Sitemap для сайта WordPress?
Создать карту блога или сайта на WordPress нам поможет плагин Google XML Sitemaps . Который генерирует XML файл улучшающей индексацию веб-ресурса поисковыми системами, обновляет его и так далее. Вам достаточно плагин , настроить его и можно о нём забыть. Установка Google XML Sitemaps стандартная.
Плагин Google XML Sitemaps Вордпресс
Один из лучших плагинов WP. Он будет предоставлять полную XML-карту сайта для поисковых систем. Его установили уже более 24 243 146 раз.
Используйте этот плагин, он значительно улучшит SEO. Он создаст специальную XML-карту сайта и поможет таким поисковым системам, как Google, Bing, Яндекс и Мейл ру лучше индексировать ваш веб - ресурс. С такой картой сайта сканерам намного проще увидеть полную структуру вашего сайта и извлечь ее более эффективно. Плагин поддерживает все виды страниц, сгенерированных WordPress, а также пользовательские URL.
Кроме того, он уведомляет все основные поисковые системы каждый раз, когда вы создаете сообщение о новом контенте. Модуль совершенно бесплатен и переведён на русский язык (правда не полностью, но самое важное переведено).
Установите плагин обычным способом, используя функцию Плагины - Добавить новый. В поле поиска введите его название Google XML Sitemaps:
Настройка XML Sitemaps
После успешной установки и активации плагина, его нужно настроить. В разделе "Настройки" нажмите на XML-Sitemap :
Откроется страница: Генератор XML-карты сайта для WordPress, где вам нужно её настроить. На этой странице, в самом вверху, вы увидите ссылку на вашу карту:
Вы можете на неё нажать и посмотреть как она родная выглядит:
Важные настройки на нашем родном и могучем русском языке, поэтому вам не составит ни какого труда во всем разобраться. Какие настройки можно произвести? Разработчик плагина указывает что, значения по умолчанию подходят для большинства сайтов. Но всё же, каждый пользователь должен решить сам. Указать какие категории исключить из карты, содержание карты сайта, приоритеты, частоту изменений и так далее. Примерно, вот так, должно быть:
После всех настроек обязательно нажмите "Обновить параметры". Готово. Дальнейшее действие это - добавить файл Sitemap в вебмастере поисковых систем, чтобы ускорить индексирование сайта вордпресс. А также прописать ссылку на карту в robots.txt.
Итак, какие именно страницы необходимо включить в карту? По соображениям SEO рекомендуется включать лишь те страницы, которые хотелось бы видеть в поиске.
Теперь при написание статьи, плагин будет сообщать поисковым системам (не всем, а только Гугле, Bing, Yahoo и Ask.com) об обновление вашего блога. Плагин автоматически обновит вашу карту сайта, если вы опубликуете сообщение, так что больше ничего не нужно делать
Для остальных поисковых систем делать нужно вот это - читайте .
Обратите внимание, друзья, функция XML Sitemaps есть в SEO плагинах и .
Всего доброго и до новых встреч. Пока, пока!
(function(w, d, n, s, t) { w[n] = w[n] || ; w[n].push(function() { Ya.Context.AdvManager.render({ blockId: "R-A-292864-4", renderTo: "yandex_rtb_R-A-292864-4", async: true }); }); t = d.getElementsByTagName("script"); s = d.createElement("script"); s.type = "text/javascript"; s.src = "//an.yandex.ru/system/context.js"; s.async = true; t.parentNode.insertBefore(s, t); })(this, this.document, "yandexContextAsyncCallbacks");Карта сайта - это файл Sitemap.xml, где находится перечень всех страниц веб-сайта, создаваемый для ускорения индексации ресурса. Также есть карта сайта для пользователей - она скорее похожа на оглавление в книге. Последние называются HTML-картами и являются каталогом страниц проекта, отображающих иерархию.
Сегодня мы расскажем, как самостоятельно создать файл Sitemap.xml, загрузить на сайт и добавить в поисковые системы. Разберём и создание HTML-карты.
Sitemap - это карта сайта, каталог ссылок на категории, подкатегории, страницы проекта с поддержкой заложенной иерархии (уровня вложенности). При помощи Sitemap.xml можно сообщить поисковым системам Google и Яндекс актуальную структуру, уровень вложенности, количество страниц и ссылки на них.
Пример карты сайта
Наиболее подробная информация по необходимости использования Sitemap.xml представлена в справочнике Яндекс.Вебмастер и Google Webmasters.
- Гугл поддерживаются четыре формата карт сайта — .txt, RSS, .xml и «Сайты Google» (если ресурс сделан с помощью одноименного сервиса корпорации добра). Яндекс поддерживает только.xml карты.
- Google не поддерживает тег
. - Для Гугл обязательно добавление ссылки на карту сайта в файле robots.txt – для обозначению ее доступности к просмотру.
Для указания пути к файлу Sitemap.xml можно использовать кабинет вебмастера или указать ссылку в файле robots.txt . Лучше сделать и то, и другое. Если у вас сайт с огромным количеством страниц, карт сайта может быть несколько. Стандартные ограничения Google:
- Размер Sitemap-файла до 50 мегабайт.
- Количество ссылок не более 50 000 штук.
Аналогичные требования предъявляет поисковая система Яндекс.
Важность карты сайта нельзя недооценивать. Она и сегодня является одним из первых шагов при начале работы над SEO-продвижением сайта.
Виды карт
Можно выделить два типа карта сайта:
- XML Sitemaps – рассчитана на поисковых роботов, для сбора и обработки всех ссылок – категорий, подкатегорий, отдельных страниц. Представляет из себя набор тегов, внутри которых находятся ссылки на страницы и статьи.
- HTML карта сайта – для пользователей. Является отдельной страницей, состоящей из ссылок, разбитых в соответствии с категориями и подкатегориями. Реже – в качестве обычного каталога имеющихся статей, если сами категории не несут практической пользы. Нередко на нее можно перейти из меню на главной странице.
Также карты, можно подразделить на созданные вручную и сгенерированные с помощью онлайн-сервисов, плагинов или модулей.
Как создать файл Sitemap.xml
Создание файла Sitemap.xml подразумевает использование различных способов:
- Ручной. Вы самостоятельно через любой редактор (например, Notepad ++) задаете в определенном порядке теги и ссылки.
- Сервисы. Загружаете необходимые ссылки или вписываете адрес сайта, на выходе получаете сгенерированный sitemap.xml файл.
- Плагины/модули. Некоторые движки сайтов (CMS) обладают встроенными плагинами, позволяющими генерировать карты сайта в одно нажатие. Другие – требуют дополнительной установки.
Нет смысла рассматривать в контексте статьи создание карты сайта ручным методом, так как и автоматические справляются точно также. Плюс исключается человеческий фактор. Ведь всегда можно допустить ошибку, не закрыть тег или сделать что-то неправильно.
Создание карты сайта с помощью онлайн-генератора
Предельно простой процесс. Достаточно следовать инструкции ниже:
Данный сервис позволяет сгенерировать карту для сайта размером не более 500 страниц. Существуют и другие аналоги, работающие по такому же принципу.
Подключение с помощью плагинов и модулей
Для начала остановимся на самом популярном движке в мире – WordPress. Предлагаем загрузить плагин «Yoast SEO», он универсальный и потребуется для оптимизации страниц для продвижения в выдаче поисковых систем. В качестве приятного бонуса через него можно сгенерировать карту сайта. Инструкция следующая:
Готово Карта сайта создана и доступна по адресу site.com/sitemap.xml – то есть, находится в корневой папке.
В DataLife Engine (DLE) генератор карт уже встроен и доступен из панели управления проектом, для Joomla следует воспользоваться модулем OSMap, в Bitrix xml-файл формируется автоматически, в Drupal для этого можно использовать модуль XMLSitemap.
Как добавить файл Sitemap.xml на сайт и загрузить в поисковые системы
Если файл создан CMS, он он располагается в корне сайта. А значит, необходимо добавить ссылку в Яндекс.Вебмастер и Google Search Console. Далее вернёмся к этому процессу.
В случае, если файл создавался вручную или с помощью генератора, нужно перед добавлением в кабинет вебмастера загрузить его в корневую папку сайта. Самый простой способ:
Аналогичным образом нужно поступать и с остальными сайтами, где не предусмотрена возможность автоматической генерации карты сайта средствами движка или дополнительного модуля. Разве что уровень вложения корневых папок может различаться – много где для начала нужно зайти по пути public_html.
На очереди – добавление в Яндекс.Вебмастер . Инструкция следующая:
При успешном завершении робот будет знать, где искать карту и при посещении веб-сайта им будут индексироваться все ссылки различного уровня вложенности.
Для добавления файла карты в Google Search Console нужно проделать следующие действия:
