Основные технические ошибки сайтов

Докладчик: Руслан Иванов, SEO-специалист

Техническая оптимизация сайтаВыполнение технических доработок — самый первый и наиболее важный этап поисковой оптимизации сайта. Без проведения технических доработок эффективное продвижение сайта значительно усложняется или вовсе становится невозможным.

Основные технические ошибки сайтов

• Не выбрано главное зеркало• Не настроены 301-е редиректы• Дубли страниц• Неверно настроена страница 404-й ошибки• Отсутствующий или неправильно

оформленный Robots.txt• Мета-теги дублируются или не заполнены• Отсутствует или некорректный Sitemap.xml• Не настроены ЧПУ• Некорректное использование тегов

<H1>..<H2>

Главное зеркало сайта

www.site.com.ua => site.com.uasite.com.ua => www.site.com.ua

Как выбрать основной домен?

• если сайт еще новый и не проиндексирован поисковыми системами, рекомендуется выбирать более лаконичный URL - http://site.ru/;

• если сайт уже проиндексирован, то необходимо для начала понять, в каком виде адрес сайта известен поисковым системам.

На основании индекса Google

На основании индекса Яндекс

Настраиваем главное зеркало

1. Самый простой способ – 301-редирект;2. Директива «HOST» в robots.txt3. Яндекс Webmaster4. Google Webmaster Tools

Яндекс Webmaster

Google Webmaster Tools

Код ответа сервера

Важно!

• При обращении ко всем страницам сайта, кроме несуществующих, должен отдаваться код ответа сервера 200 (ОК, «хорошо»).

• При обращении к сайту по несуществующему URL должен отдаваться код ответа сервера 404 («не найдено»).

• Для отдельных URL может выполнятся 301-редирект.

Как проверить ответа сервера

• Яндекс.Вебмастер - http://webmaster.yandex.ua/server-response.xml

• Сторонние сервисы - http://bertal.ru/• Плагины для браузеров -

https://addons.mozilla.org/ru/firefox/addon/firebug/

Дубликаты страниц сайта

• Полные дубли — это страницы, содержание которых идентично друг другу, различны только их URL.

• Нечеткие дубли — это страницы, которые содержат очень большое количество одинаковой информации, но они не полностью идентичны; их URL также различны.

Почему возникают?

Идентификаторы сессии

Почему возникают?

Неосознанные дубли CMS

Почему возникают?

Результат работы фильтров

• http://site.ru/catalog/page/ – основная страница• http://site.ru/catalog/page/?filter – страница

сортировки товаров той же категории

Почему возникают?Функционал сравнения

товаров

• http://site.ru/item/8244/ – основная страница товара

• http://site.ru/item/8244/&purchase_sale=8244 – страница заказа этого же товара

• http://site.ru/item/8244/&compare=8244 – страница сравнения того же самого товара с другими товарами

Почему возникают?

Версия для печати

Почему возникают?

Страницы пагинации

Как выявить дубликаты?

1. Визуальная оценка сайта2. Просмотр поисковой выдачи по запросу

site:site.com.ua3. Искать по фрагменту текста4. Панель вебмастеров Google5. Netpeak Spider6. Сервисы автоматизированного аудита сайтов

Панель вебмастеров Google

Программа Netpeak Spider

Сервис audit.megaindex.ru

Методы борьбы с дубликатами

1. использование Robots.txt

2. <meta name=«robots» content=«noindex, nofollow»/>

3. <link rel=«canonical» href=«адрес оригинала» />

4. атрибуты rel=«next» и rel=«prev» (для страниц пагинации)

Страница «404» должна:• отдавать код ответа сервера 404 («не найдено»);• быть выполнена в дизайне сайта, т.е. содержать

главное меню, общую для всего сайта шапку (header) и подвал (footer);

• иметь форму поиска по сайту;• содержать причину отсутствия страницы и

объяснено, как посетитель сюда попал;• содержать предложение «Вернутся на главную

страницу», а также предлагать пользователю перейти на самые популярные страница сайта или на похожие страницы, относительно той на которую он хотел перейти.

• Содержать ссылку на html-карту сайта (если она есть).

Хороший пример оформления

Креативный пример оформления

Креативный пример оформления

Плохой пример оформления

Файл Robots.txt

Найдется все

Для чего нужен robots.txt

Необходимый минимумЗакрыть от индексации:• служебные файлы и каталоги. Какие именно

зависит от выбранной системы управления сайтом.

• результаты поиска по сайту.• страницу с подпиской по RSS (В случае, если

они будут присутствовать на сайте)• страницы для печати (В случае, если они

будут присутствовать на сайте)• страницы регистрации, восстановления

пароля, корзину и т.п.

Необходимый минимумДобавить:• строчку Sitemap: http://site.com.ua/sitemap.xml• строчку Host: site.com.ua

Файл расположить адресу site.com.ua/robots.txt• http://

help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Пример синтаксиса

User-agent: *Disallow: /privat/Host: site.com.uaSitemap: http://site.com.ua/sitemap.xml

Проверить корректность robots.txt: http://webmaster.yandex.ua/robots.xml

Title, Description, Keywords

TitleРекомендуется• Название должно

точно соответствовать содержанию страницы.

• Желательно, чтобы у каждой страницы было свое уникальное название, сообщающее поисковой системе о том, как данная страница отличается от других страниц вашего сайта.

• Названия должны быть краткими, но содержательными.

Не рекомендуется• Использовать одно и

то же название для всех или почти всех страниц вашего сайта.

• Использовать слишком длинные названия; наполнять название бессвязным набором ключевых слов.

DescriptionРекомендуется• Описание страницы

должно быть интересным и содержательным для пользователей, которые увидят его в качестве сниппета на странице поиска.

• Создайте уникальное описание для каждой страницы.

• Точного ограничения на количество символов нет, но рекомендуем

ограничиться 150 – 200 символами с пробелами.

Не рекомендуется• Использовать одно и то

же описание для всех или почти всех страниц вашего сайта.

Keywords

Рекомендуется• Лучше оставить

этот тег пустым, чем бездумно вписывать в него ключевые слова.

• Использовать только ключевые слова, которые представлены на

текущей странице.

Не рекомендуется• Использовать одни

и те же ключевые слова для всех или почти всех страниц вашего сайта.

Карта сайта: xml и html

HTML-карта: удобный рубрикатор

Важно!• Карта сайта должна быть выполнена в дизайне сайта,

чтобы не нарушать его концепцию, не дезориентировать посетителя и максимально соответствовать его ожиданиям. Нежелательно использовать графические элементы, чтобы не сместить акцент с полезности данной страницы на ее «украшательство».

• Структура карты сайта должна соответствовать иерархии сайта посетитель, посмотрев на карту, должен без труда сориентироваться в разделах веб-ресурса, это увеличит его лояльность.

• Ссылку на карту сайта размещайте на главной странице так, чтобы пользователь мог легко её найти при необходимости.

XML-карта: помощник поисковика

Важно!

• Файл Sitemap должен располагаться на том же домене, что и сайт, для которого он составлен. Конкретный адрес файла в домене может быть любым. Хотя обычно http://site-name.com/sitemap.xml

• При обращении к файлу сервер должен возвращать код ответа 200.

Важно!• Файл может содержать не более 50 000 URL, а

его размер в несжатом виде не должен превышать 10 Мб. Если ваш Sitemap не удовлетворяет этим требованиям, разбейте его на несколько отдельных файлов и укажите их в файле индекса Sitemap.

• Про файл индекса Sitemap: https://support.google.com/webmasters/answer/71453?hl=ru

• Sitemap может описывать только страницы того домена, на котором он расположен. Страницы поддоменов или других доменов описывать нельзя.

Sitemap в панели вебмастеров

Динамические адреса и ЧПУ

Динамический URL: http://www.24na7.com.ua/product_info.php?products_id=23198

ЧПУ: http://allo.ua/planshety-i-gadzhety/

Поисковые машины испытывают сложности с индексацией динамических страниц, поэтому они либо отказываются от их индексации вовсе, либо ставят ограничения на объем и скорость индексации.

Динамические адреса и ЧПУ

Переход на новую систему URL желательно выполнять с использованием постраничного 301-го редиректа. Т.е., чтобы при обращению по каждому старому URL-адресу выполнялось перенаправление на новый.

Кроме того, релевантные слова в URL дают пользователям и поисковым системам больше информации о странице, чем бессистемный параметр или набор символов.

Теги <h1>…<h6>

Теги <H1>…<H6> предназначены исключительно для разметки важного текста, поэтому стоит избегать от использования их в оформлении меню или ссылок, что является типичной ошибкой верстальщиков при создании макета сайта.

В тег <H1> на главной странице должно быть заключено название сайта. В разделах и подразделах в данный тег должны быть заключены названия этих самых разделов и подразделов.

Теги <h1>…<h6>

На товарных страницах в тег <H1> должно быть заключено название товара.

С тега <H2> логично начинать описательный текст раздела или товара.

Синтаксис:<h1>Фирма Рога и копыта</h1><h2>7 причин работать с нами</h2><h3>Мы лидеры рынка</h3>

Неправильно

Правильно

Экспресс аудит сайта food-mg.com1. Выбор приоритетного зеркала сайтаПриоритетное зеркало не выбрано. Главная страница сайта доступна по нескольким адресам:http://food-mg.com/ru/http://www.food-mg.com/ru/

2. Настройка ответов сервераС главной страницы http://food-mg.com/ стоит 302-й редирект на http://food-mg.com/ru/Рекомендуется сделать 301-й.

Страницы со слешом и без доступны для индексации:http://www.food-mg.com/ru/products-and-services/http://www.food-mg.com/ru/products-and-services

Рекомендуется сделать 301-й на страницы без слеша в конце.

Экспресс аудит сайта food-mg.com3. Страница 404

При запросе несуществующих страниц вида http://food-mg.com/ru/iddqd пользователь попадает на следующую страницу:

Страницу 404 рекомендуется оформить в соответствии со следующими требованиями:• Страница 404 должна быть выполнена в дизайне сайта, т.е. содержать главное

меню, общую для всего сайта шапку (header) и подвал (footer).• Указана причина отсутствия страницы и объяснено, как посетитель сюда попал.• Содержать предложение «Вернутся на главную страницу».• А также предлагать пользователю перейти на самые популярные страница сайта

или на похожие страницы, относительно той на которую он хотел перейти.

Экспресс аудит сайта food-mg.com

Сервер отдает код 404, что соответствует тому, что страница не найдена.

4. Robots.txtФайл найден по адресу http://food-mg.com/robots.txt, его текущее наполнение:

User-agent: *Disallow: /django/

Рекомендуется добавить директиву: Host: food-mg.comUser-agent: *Disallow: /django/Host: food-mg.com

Экспресс аудит сайта food-mg.com5. Метатеги

На страницах отсутствуют заполненные метатеги Description:

Title: Оливковое масло Sofra оптом и в розницу.Description: Оливковое масло Sofra оптом и в розницу от Фуд Маркет Груп. Высокое качество. Доставка по Украине. ☎ (057) 781-85-09

Полезные ссылки:• Зеркала сайтов http://help.yandex.ru/webmaster/yandex-indexing/site-mirrors.xml , https://

support.google.com/webmasters/answer/44231?hl=ru • Использование Robots.txt http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml • Справочник по кодам ответа сервера: http://

help.yandex.ru/webmaster/error-dictionary/http-codes.xml, https://support.google.com/webmasters/answer/40132?hl=ru

• Google Page Speed для Chrome и FireFox https://developers.google.com/speed/pagespeed/ • Firebag для FireFox: https://addons.mozilla.org/ru/firefox/addon/firebug/ • Подробнее об использовании файла robots.txt http://help.yandex.ru/webmaster/?

id=996567; http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449 • Проверка Robots.txt: http://webmaster.yandex.ua/robots.xml • Подробнее о файлах Sitemap: http://help.yandex.ru/webmaster/?id=1007070 • http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156184 • Валидатор файлов Sitemap: http://webmaster.yandex.ua/sitemaptest.xml • Подробнее об заголовках в HTML: http://

www.xiper.net/learn/tegofenshuj/headings-in-html.html • Об атрибуте rel="canonical" https://support.google.com/webmasters/answer/139394?hl=ru • Подробнее использование атрибутов rel="next" и rel="prev" http://

support.google.com/webmasters/bin/answer.py?hl=ru&answer=1663744 • Netpeak Spider http://netpeak.ua/soft/netpeak-spider/ • Screaming Frog http://www.screamingfrog.co.uk/seo-spider/ • Xenu http://home.snafu.de/tilman/xenulink.html, http://www.polezno.com/soft/xenu

Спасибо за внимание!

Руслан Иванов,

SEO-специалист

Digital-агентство Fresh IT

Украина, г. Харьков, ул. Космическая, 21, оф. 1005

+38 (057) 701-43-81; +38 (057) 761-30-08

freshit.net, ivanov@freshit.net