PDA

Просмотр полной версии : Индексация страниц



Suran
26.02.2014, 16:01
Здравствуйте! Такой вопрос:
Были ли у Вас проблемы с индексацией страниц сайта как молодого, так и уже нет? Как Вы справлялись с данной проблемой? Почему вообще такое бывает, что 70 % сайта проиндексировано яндексом, а оставшаяся часть страниц упорно не хочет попадать в индекс? При чем вылетают и возвращаются в индекс все время разные страницы, но число проиндексированных постоянно держится на одном уровне уже долгое время?
Заранее спасибо за ответ(ы)!

9seo
26.02.2014, 17:22
Были. Видимо сайт слабый и где-то есть косяки. Может контент "стремный" или технически какие-то ошибки.
Если контент очень хорош и с оптимизацией все хорошо (нет переспама и прочего), то:
- Посмотри как хостинг работает. (норм ли скорость, не бывает ли провисов и т.д)
- Какой ответ сервера выдают страницы сайта. (в webmaster.yandex.ru)
- Проверь все ошибки на сайте (битые ссылки и т.п)
- Добавь в Я.вебмастер сайт, если еще не добавил, сделай карту сайта, sitemap.xml, файл роботс.тхт +добавь их в Я. вебмастер.
- Купи твитов, ссылок с трастовых сайтов немного (с хороших, незаспамленных, посещаемых сайтов) и т.д.
Вот, если коротко :)

D_h
26.02.2014, 17:32
Поддерживаю, посмотри что пишет яндекс.вебмастер в "Индексирование сайта"->"История"->"Количество запросов", может ошибки будут, раз все время разные страницы выпадают..
Ну и накупи твитов, с я.ру ссылок. Опять же проверишь качество страниц: если после твитов не вошло, то скорее всего, чем то сайт не нравится яндексу и нужно в божеский вид его приводить.

Фео
26.02.2014, 20:37
Сайту 2 месяца, по яндекс вебмастеру - загружено 350 страниц, в индексе - 149 на данный момент. 350 - 149 = 201.
Из непроиндексированной 201 страницы - 61 в "исключённых": 39 по моему желанию (закрывал профили юзеров, форму логина и рсс в роботс изза дублирования), оставшиеся 22 - ошибка "Документ является неканоническим". Как исправить?

При всём при этом, новые страницы в индекс попадают оч быстро. После выкладывания добавляю в http://indexgator.com/ + дополнительно лайкаю в ВК группе и ретвитю через аккаунт твиттера.

Но не пойму, где остальные странички. Дойдут руки - детально изучу, какие непроиндексировались.

Suran
27.02.2014, 09:34
Во-первых: Спасибо за подробные, структурированные ответы ребят :)
А теперь по теме:
- хостинг надежный, еще когда создавал сайт позаботился об этом, ответ сервера всегда 200. Когда заходу в "количество запросов" - ошибок ни одной не обнаружено при запросах. При чем запросы по сайту идут довольно часто до 10 раз в день (раньше меньше было). При чем самое интересное, что иногда страницы новые хавает быстроробот.
- Битые ссылки все проверял и всегда проверяю с помощью плагина (Экстернал линкс по-моему). В общем с этим нет беды.
- Все вещи типа карты сайта, робота и.т.д., конечно же давно сделаны.
- Ссылок с трастовых сайтов покупал и не мало (около 10 ссылок за 300-400 рублей + одну ссылку очень жирную за 1000 с сайта ТИЦ 1000 (ее купил на днях). Решил бомбить по серьезному, а то уже не знаю, что делать:). При чем сайты точно не заспамленные, проверял с помощью различных сервисов.
- Кроме этого покупал твиты, лайки, г+ на страницы (примерно по 2-3 на каждую) Может быть мало?)
- + ко всему, над сайтом постоянно работаю и считаю достаточно полезным (судя по поведенческим, они достаточно неплохие по-моему, то есть время провождение 2-4 минуты на каждого посетителя + 2-4 страницы просмотрено). В общем не банальный контентник. В ближайшее время еще пару сервисов добавлю, уже есть мысли какие. Даже сделаю сам скорей всего их.
- Перелинковка тоже сделана ( блок "читайте также" и внутри статей), кстати тематика спорт.
На днях постараюсь купить побольше твитов и ссылок с я.ру , как посоветовал "D_h" . Затем посмотрим, что будет.
В общем вкратце ребят такая вот ситуация, я понимаю, что сложно просто так сказать в чем дело, не видя сайт, но надеюсь еще на какие-либо комментарии, тем более, считаю, что очень актуальна тема для многих.:) Пока не разберусь в этом не успокоюсь, я очень упертый). Кучу всего перечитал уже. надеюсь на помощь профессионалов. :)
P.S. Еще раз спасибо 9seo за конкурс.

krock
28.02.2014, 07:46
Была один раз, когда купил дропнутый домен. Чего я только не делал, не загонялся сайт в индекс. Потом перенес его и сейчас живет тихой мирной жизнью.

9seo
01.03.2014, 15:50
оставшиеся 22 - ошибка "Документ является неканоническим". Как исправить?

А зачем индексить неканонические урлы?

Вот, читани (http://webmaster.ya.ru/replies.xml?item_no=10371) про rel=”canonical”.

9seo
01.03.2014, 15:53
я понимаю, что сложно просто так сказать в чем дело, не видя сайт, но надеюсь еще на какие-либо комментарии, тем более, считаю, что очень актуальна тема для многих.:) Пока не разберусь в этом не успокоюсь, я очень упертый)

Знаешь, иногда бывает, что сайт очень хорош (по-крайней мере лучше, чем у конкурентов), но никак не лезит в топ. Продолжай развивать, улучшай и когда-нибудь Яндекс вознаградит тебя за труды. Не сдавайся.

Suran
02.03.2014, 09:42
Спасибо! Такие комментарии помогают :) Так и сделаю.

Timis
05.03.2014, 12:56
Я вот что заметил про индексацию.

Была структура /год/месяц/день/название

Поменял ее на струкруту просто /название

Соответственно, со старого на новое стоит редирект.
Параллельно с этим в роботс дописал запрет на /год/месяц/день/название.

Теперь в вебмастере висит куча статей (уже много много времени) с датой в адресе, как запрещенная к индексации, и именно эти статьи не попадают в индекс уже по пормальному адресу.

Попробовал снять запрет в роботсе -> возможно пауку надо увидеть редирект, а до этого он не успел этого сделать)) Посмотрим, какой результат будет...

Timis
18.03.2014, 10:51
В общем, не знаю, что из этого повлияло:

1. Открытие этой сомнительной комбинации в роботсе.
2. Самописные комментарии (1-2 шт.) где-то к трети страниц вне индекса.
3. Прикручивание пустого пока что форума...
4. Сайдбар в аяксе
5. Индексатор недели 3 назад.


Но в сегодняшний ап все, что надо, залезло в индекс... Хотя все изменения были относительно недавно. Как думаете, что это могло быть?

Suran
18.03.2014, 15:15
Почти уверен, что первое.
П.С. Сегодня был ап?)

Timis
18.03.2014, 16:12
Почти уверен, что первое.
П.С. Сегодня был ап?)

Вроде как да)

Про первое: как-то странно... эта фигня там была уже ооочень долго.. страницы сами по себе не могли замениться что ли?

Timis
18.03.2014, 19:18
Но из ошибок эта часть исчезла, однако.. Точнее, из исключенных страниц.

krock
21.03.2014, 07:08
Я вообще не понимаю как люди умудряются радоваться залетанию страниц во время апа? Страницы моих сайтов всегда залетают в поиск, причем хватает добавления в панель вебмастера и твитера, для меня это так обыденно, что я даже не слежу за этим.

Timis
21.03.2014, 10:02
Я вообще не понимаю как люди умудряются радоваться залетанию страниц во время апа? Страницы моих сайтов всегда залетают в поиск, причем хватает добавления в панель вебмастера и твитера, для меня это так обыденно, что я даже не слежу за этим.

Ну меня Яша не очень любит - вот и радуюсь, когда постепенно возникают чувства)

Suran
26.03.2014, 06:53
Ребят, моя проблема с индексацией до сих пор не решена. Я испробовал все, что только возможно. Некоторые страницы по-прежнему то попадают в индекс, то вылетают. При чем на сайт явно заглядывает быстроробот. Стоит отметить, что страницы, которые продвигал (ссылками) уверенно чувствуют себя в индексе, а страницы на которые было закуплено несколько твитов, пару ссылок, пару постовых с блогов - могут спокойно вылетать и влетать в индекс. Количество проиндексированных страниц в панели вебмастера постоянно меняется то в лучшую, то в худшую сторону. Посмотрел - вроде ошибок на сервере нет при запросах. Крик о помощи, мужики!)) Не знаю что и делать. Остался последний вариант - переехать на другой хостинг. Как думаете - может помочь??? Просто я больше не вижу каких то явных причин такого расколбаса. Буду очень признателен за ваше мнение.

avi
26.03.2014, 11:50
оставшиеся 22 - ошибка "Документ является неканоническим". Как исправить?
Посмотри код этих страниц на наличие тега rel="canonical", возможно его стоит убрать а может и нет:)

Неандерталец Стремящийся
28.03.2014, 14:07
Проблемы с индексацией? Решений несколько:
1) Писать в саппорт ПС
2) Проверить страницы, может проблемы в них (много ссылок, бредотексты, копипаст)
3) Надавить на ПС посредством ссылок или твиттов
Лучше делать в порядке 2-3-1 ;)

Suran
29.03.2014, 07:57
Все это уже делал(.
"Санкций никаких нет"
Страницы копирайт
Несколько твитов на каждую закупл + постовые с блогов + ссылки вечные.
Толку ноль.

Suran
29.03.2014, 07:59
Тут проблема не в том, что робот не видит эти страницы, а в том, что он просто по непонятным причинам то выкидывает их из индекса, то наоборот индексирует. То есть средства для ускорения индексации (твиты, ссылки) не помогут. Тут что-то другое. Я грешу на хостинг, хотя вроде все нормально. Больше причин я вообще не вижу. ((

Fox
29.03.2014, 08:11
Тут проблема не в том, что робот не видит эти страницы, а в том, что он просто по непонятным причинам то выкидывает их из индекса, то наоборот индексирует. То есть средства для ускорения индексации (твиты, ссылки) не помогут. Тут что-то другое. Я грешу на хостинг, хотя вроде все нормально. Больше причин я вообще не вижу. ((
1) Большая вложенность страниц?
2) Закрытые от индексации рубрики?
3) Спец. символы или кириллица в url?

Неандерталец Стремящийся
29.03.2014, 10:48
Тут проблема не в том, что робот не видит эти страницы, а в том, что он просто по непонятным причинам то выкидывает их из индекса, то наоборот индексирует. То есть средства для ускорения индексации (твиты, ссылки) не помогут. Тут что-то другое. Я грешу на хостинг, хотя вроде все нормально. Больше причин я вообще не вижу. ((
А может проблема в страницах? Переоптимизация, сомнительные слова (или полностью тексты плохие), не грузятся картинки, медленный ответ сервера тоже возможен.

Suran
30.03.2014, 05:57
Да, рубрики закрыл от индексации. Вложенность максимальная три клика. URL человека подобные латиницей.
Fox, возможно связано с закрытием рубрик от индексации?

Suran
30.03.2014, 05:59
Страницы оптимизировал по скорости. Все норм грузится. С текстами тоже все норм. Другие то тексты почему-то хорошо живут в индексе, хотя построены по-одному принципу можно сказать. Попробую открыть рубрики для индексации.

Fox
30.03.2014, 15:15
Рубрики закрыты от индексации - на статьи ссылок нет почти внутри сайта, вот и вылетают.

Suran
22.04.2014, 07:52
Fox, Спасибо огромное тебе за отличный совет. Думаю ты был прав. Вся проблема была в маленьком количестве ссылок на внутренние страницы + закрытые от индексации рубрики. Расскажу все подробней для тех, кому интересно.
В начале я попробовал открыть от индексации рубрики. После первого апа страниц в индексе стало немного больше, но после следующего апа многие страницы опять вылетели! И тут я подумал про внутряки. Внутренняя перелинковка сайта реализовывалась по средствам плагина "Simple tags". То есть в конце поста выводился блок, состоящий из 6 ссылок на другие статьи. В общем критерий отбора "похожих" статей был таков, что на многие статьи вообще не было ссылок на всем сайте или было, но очень мало. Дело оставалось за малым, сделать так, чтобы все статьи сайта были равномерно перелинкованы. Но в ручную это делать было просто ужасно. Перелинковать 200 статей друг с другом равномерно - задача не из легких (особенно если проставлять контекстные ссылки). В общем нашел я кое-какое решение. На сайте adne.info автор блога за подписку раздает скрипт, который линкует ваши статьи по заданным анкорам автоматически. Ссылки выводятся через запятую в указанном месте. И вот я набрал на каждую статью по 4-5 анкоров. Посидел 2 дня и набрал. Сделал автоматическую перелинковку. И произошло чудо))по-другому я сказать не могу. За один ап сразу же проиндексировалось 2/3 всех страниц, а за второй проиндексировались практически все страницы. Кроме этого думаю подрастет трафик по НЧ запросам, так как анкоры подбирались под них. Положительная динамика вроде наблюдается, но пока рано о чем либо говорить. Вот так я 3 месяца мучился с этой долбанной индексацией,а оказалось, что "ларчик просто открывался"! Надеюсь, что яндекс или гугл не наложат санкций за пару-тройку анкорных ссылок внизу поста с подписью "полезные ссылки". Буду рад если кому-то будет полезен мой небольшой опыт).