Перейти к содержимому

MOAB

* * * * * 3 Голосов

Как ускорить индексацию/переиндексацию сайта в поисковой системе Яндекс

индексация переиндексация яндекс

  • Войдите, чтобы ответить
Сообщений в теме: 55

#21 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 877 сообщений
1 485
  • ИзСанкт-Петербурга

Отправлено 19 Октябрь 2013 - 09:52

Просмотр сообщенияksav (19 Октябрь 2013 - 04:43) писал:

После БыстророБота страницы в индексе должны быть сразу, без АПдейта.

Достаточно постучать в шаманский бубен (как проверить, что бубен исправен), выключить пингаторы(если есть), встроенные в шаблон и очистить их буфер. Плюс ещё тут немного инфы по настройке бубна.

protector, Вы логи не смотрели - после ручного пинга робот яндекса приходит по этому url?
Только что протестил - при ручном добавлении в форму Yandex, робот-индексатор сразу в логах появляется с этим url, а я даже никакой поиск от Яндекса не устанавливал.
Правда, на счёт попадания страницы в индекс - ничего не скажу, лень рыться в 80 000 страниц, что в индексе, а что нет.
Спасибо, почитаю ссылки чуть позже. Логи не смотрел. Речь идет же не об индексации, а о переиндексации. Вечером почитаю ссылки и посмотрю результат.(вчера добавил еще ссылки на переиндексацию в форму яндекса - http://site.yandex.r...ndexing/#manual)

#22 birds

birds

    Мастер

  • Основатель
  • PipPipPipPip
  • 640 сообщений
549

Отправлено 19 Октябрь 2013 - 11:15

интересный момент, курил вчера Инет по поводу индексации, нашел интересный совет: поставить метрику а так же проверить страницы тут http://webmaster.yan...er-response.xml
Сделал и то и другое, сегодня смотрю +120 страниц в индексе на этом сайте. ХЗ может совпадение...

#23 Onlink

Onlink

    Мастер

  • Старая гвардия
  • PipPipPipPip
  • 1 035 сообщений
274
  • Изгрязи в князи!

Отправлено 19 Октябрь 2013 - 13:02

Я запустил один сайт, на котором программа Netpeak Spider (ищет 404 и массу прочих параметров - можете глянуть, крутой софт от украинской SEO-студии) нашла более 50000 страниц. Вот буквально на этой неделе я выложил сайт в индекс и добавил в ПС. Что там будет, как Google и Яндекс отнесутся к этому - черт его знает.

А по поводу переиндексации. У меня есть один контентный проект, страниц там около 5000 на тот момент было. тоже изменил построение всех титлов. Но они у меня где-то за месяц все переиндексировались. В общем совет дать никакой не могу, твиттером ведь такую массу страниц не прогнать ;)
Попробуй купить дешево вечные ссылки. А здесь недорогие тематические вечные ссылки. Ссылки на sape.ru все еще способны вывести в ТОП.

#24 ksav

ksav

    Мастер

  • Основатель
  • PipPipPipPip
  • 515 сообщений
501

Отправлено 19 Октябрь 2013 - 14:10

Просмотр сообщенияOnlink (19 Октябрь 2013 - 13:02) писал:

Вот буквально на этой неделе я выложил сайт в индекс и добавил в ПС. Что там будет, как Google и Яндекс отнесутся к этому - черт его знает.
Если тексты более-менее уник - в Google все нормально будет 100%. С Яндексом ещё пол-года назад - тоже проблем не было. Новые сайты на десятки тысяч страниц индексировал за 3-4 месяца(достаточно 10-20 внешних ссылок с PR3-4).
В последние полгода Яндекс что-то стал тормозить с индексацией(при том, что роботы Яндекса загружают до 10 000 урлов в сутки), но у меня всего 1 сайт новый, регион СПб. Поэтому выводы - не объективны, но коррелируют с этой Серчёвской темой.

Может, и не в индексации дело, тк загружено роботом 80 000 страниц, исключено 600 страниц, в индексе 3600 страниц. Суммы не сходятся, что-то Яндекс мутит, возможно Алгоритм новый тестирует. Они на время тестирования притормаживают индексацию допуск новых страниц в выдачу.

Просмотр сообщенияOnlink (19 Октябрь 2013 - 13:02) писал:

А по поводу переиндексации. У меня есть один контентный проект, страниц там около 5000 на тот момент было. тоже изменил построение всех титлов. Но они у меня где-то за месяц все переиндексировались.
Для быстрой переиндексации всё-таки важно правильно отдавать заголовки 304 Not modified.

Бот не знает что изменилось на сайте. По его внутреннему алгоритму, второй уровень вложенности сканируется намного чаще, чем 3-4-5. При этом он скачивает ограниченное количество URL за раз (зависит от частоты изменения инвы на сайте и кол-ва внешних ссылок).
Если на неизменившиеся страницы отдавать 304 Not Modified - он запрашивает для индексации другой url.
Поэтому у робота появляется возможность в пределах своей квоты выбрать только новые/изменившиеся страницы.

PS: Имхо, актуально на сайтах с десятками тысяч страниц.

#25 Onlink

Onlink

    Мастер

  • Старая гвардия
  • PipPipPipPip
  • 1 035 сообщений
274
  • Изгрязи в князи!

Отправлено 19 Октябрь 2013 - 14:47

Просмотр сообщенияksav (19 Октябрь 2013 - 14:10) писал:

Если тексты более-менее уник - в Google все нормально будет 100%. С Яндексом ещё пол-года назад - тоже проблем не было. Новые сайты на десятки тысяч страниц индексировал за 3-4 месяца(достаточно 10-20 внешних ссылок с PR3-4).
У меня особый случай. Все текста на сайте генерируются автоматом. Сайт с музыкой (скачать песню бла-бла-бла). Катс даже видео записывал, мол вы даже не думайте тулить ГС с автоматически сгенерированным контентом к нам в поиск, мол все равно не пройдет.

Я конечно текст практически весь убрал, оставил данные самой песни: вес, длительность, битрейт, название и имя автора. Постарался все это круто втулить с сочетанием ключей: скачать, слушать, бесплатно и т.п. В общем буду смотреть, что из этого будет выходить. Больших надежд на сайт я не питаю, но все же потратил на него 500$ и много времени, что для меня куда более важнее денег!

P.S. (достаточно 10-20 внешних ссылок с PR3-4) - я сейчас стремаюсь покупать ссылки на этот сайт. Может месяца через два буду брать что-то в мире и ГГЛ. А пока думаю не стоит ;)
Попробуй купить дешево вечные ссылки. А здесь недорогие тематические вечные ссылки. Ссылки на sape.ru все еще способны вывести в ТОП.

#26 ksav

ksav

    Мастер

  • Основатель
  • PipPipPipPip
  • 515 сообщений
501

Отправлено 19 Октябрь 2013 - 19:38

Просмотр сообщенияOnlink (19 Октябрь 2013 - 14:47) писал:

Все текста на сайте генерируются автоматом.
Я тоже 80 тыс страниц не руками копирайтил.

Просмотр сообщенияOnlink (19 Октябрь 2013 - 14:47) писал:

я сейчас стремаюсь покупать ссылки на этот сайт. Может месяца через два буду брать что-то в мире и ГГЛ. А пока думаю не стоит
Ссылки в sape начинаю покупать в день отправки на индексацию. Чтобы через месяц-полтора на сайт было порядка 20 ссылок с PR3-4.
Ссылки делаю на морду, разделы и подразделы, ставлю без коммерческих анкоров.

"Вечные" ссылки идут лесом.
Если через 2-3 месяца ссылки с sape не отбивается на контекстной рекламе 1 потраченный рубль -> 2-3 заработанных, ссылки снимаю - они нафиг не нужны и вечные тоже ничего не изменят.

#27 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 877 сообщений
1 485
  • ИзСанкт-Петербурга

Отправлено 19 Октябрь 2013 - 21:37

Просмотр сообщенияprotector (19 Октябрь 2013 - 09:52) писал:

Спасибо, почитаю ссылки чуть позже. Логи не смотрел. Речь идет же не об индексации, а о переиндексации. Вечером почитаю ссылки и посмотрю результат.(вчера добавил еще ссылки на переиндексацию в форму яндекса - http://site.yandex.r...ndexing/#manual)
Напишу результат. Вчера (в пятницу) вручную отправил несколько новых страниц на индексацию, а также несколько страниц на переиндексацию (добавлял описания к товарам). В результате сегодня новые страницы попали в индекс, что приятно (и так должно быть), а вот старые страницы не переиндексировались (проверил 2шт из 10). Возможно это еще связано с тем, что у меня сайт не отдает Last-Modified. Я так понял, что это важный параметр для переиндексации. Так? Тогда буду допиливать движок.

Идея с 304 Not modified - хорошая. Только какое ставить ограничение? Если больше 30 дней ничего не менялся, то менять заголовок на 304 Not modified, так?

#28 uniks

uniks

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 3 299 сообщений
3 118
  • ИзИркутск

TC Отправлено 20 Октябрь 2013 - 11:04

protector, я вижу иначе, после того, как бот посетил страницу, ей выдается 304 статус и меняется он на 200 только в том случае, если там произошли изменения: контент, ссылки.

Думаю, что публикация новостей, которые идут блоком через весь сайт, не является поводом для смены статуса на 200.

Я так же вижу, что 304 - это выход для индексации и переиндексации больших сайтов с большой вложенностью. Какие еще варианты?

#29 ksav

ksav

    Мастер

  • Основатель
  • PipPipPipPip
  • 515 сообщений
501

Отправлено 20 Октябрь 2013 - 16:09

Просмотр сообщенияprotector (19 Октябрь 2013 - 21:37) писал:

а вот старые страницы не переиндексировались (проверил 2шт из 10). Возможно это еще связано с тем, что у меня сайт не отдает Last-Modified.
Для новой и изменённой страницы должен отдаваться код "200 OK", так что ЛастМодифайд тут не повлиял.
LastModified или Кэширование на стороне клиента только поможет роботам ПС отфильтровать новые/измененные страницы и индекcировать именно их, а не все подряд (по внутреннему списку бота ПС).

Вот тут выложил подробное (но нудноватое и пёстро-раскрашенное) описание Кэширование на стороне клиента с помощью LastModified и Etag,
он же:

Цитата

"манька-облигация",
"Условный GET-запрос",
"Conditional GET",
"Ласт Модифиед",
"Дата последнего изменения страницы",
"Дата последней модификации",
"Кэширование на стороне клиента",
те желающие расширить кругозор могут "гуглить в Яндексе" и по этим кликухам тоже.


Проблема в том, что для "статики" Апач веб-сервер делает всё сам, тк он имеет дату изменения файла html
Для "динамики" с подключаемыми модулями, запросами к БД и тп - Апач не может вычислить реальную дату последней модификации страницы и умывает руки, оставляя диалог обмена заголовками LastModified и ETAG на откуп вебмастера.


Кстати, ETAG (это просто ХЭШ-строка, которую браузер клиента всегда присылает на сервер) иногда используют в качестве superCookie для слежения за посетителями, тк каждому посетителю можно прописать свой уникальный идентификатор.

#30 Serg_pnz

Serg_pnz

    Hanswurst

  • Старая гвардия
  • PipPipPipPipPip
  • 1 972 сообщений
1 545
  • Из*** гонец? Гонец из Пензы?... Нет – реальный гонец!

Отправлено 23 Октябрь 2013 - 14:50

Сегодня на вебинаре посоветовали использовать в sitemap тег lastmod.
Попутно вопрос: если sitemap будет содержать не все страницы, каким-то образом это на сайте отразится?
Цены на рекламу на форуме Webimho | Пущу на квартиру VPS саттелиты по 30 руб./мес.
Ида: Не все кальсоны с оторванными пуговицами – брюки. © Serg_pnz

#31 Zugagang

Zugagang

    Перзидент Синдиката

  • S.E.Syndicate
  • PipPipPipPipPip
  • 2 665 сообщений
1 754
  • ИзГМО

Отправлено 23 Октябрь 2013 - 15:20

Просмотр сообщенияSerg_pnz сказал:

Попутно вопрос: если sitemap будет содержать не все страницы, каким-то образом это на сайте отразится?
никак не отразится, просто бот будет дольше индексировать и смотреть чо куда как.

#32 Serg_pnz

Serg_pnz

    Hanswurst

  • Старая гвардия
  • PipPipPipPipPip
  • 1 972 сообщений
1 545
  • Из*** гонец? Гонец из Пензы?... Нет – реальный гонец!

Отправлено 30 Октябрь 2013 - 21:26

Написал Платону, сначала он попросил примеры отсутствующих страниц, а потом ответил:

Цитата

Мы проверили, Ваш сайт присутствует в поиске и находится пользователями, но часть страниц действительно отсутствует в выдаче, при этом никаких санкций на них не наложено. Дело в том, что наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в поисковую базу попадают наиболее релевантные документы ( http://help.yandex.r...luded-pages.xml ).

В то же время наш робот помнит о других страницах сайта: если на них присутствуют ссылки, он периодически посещает их, и со временем они также могут быть включены в поиск. Помимо этого мы всегда работаем над совершенствованием алгоритмов, принимающих решение по включению тех или иных страниц в выдачу, и пример Вашего сайта передан в поисковый отдел нашей компании для анализа и последующего улучшения механизмов. Обращаю Ваше внимание, что внесение изменений в систему - достаточно сложный процесс, который требует времени, так как затрагивает много различных сайтов.

Цены на рекламу на форуме Webimho | Пущу на квартиру VPS саттелиты по 30 руб./мес.
Ида: Не все кальсоны с оторванными пуговицами – брюки. © Serg_pnz

#33 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 877 сообщений
1 485
  • ИзСанкт-Петербурга

Отправлено 31 Октябрь 2013 - 13:01

Просмотр сообщенияSerg_pnz (30 Октябрь 2013 - 21:26) писал:

Написал Платону, сначала он попросил примеры отсутствующих страниц, а потом ответил:
Мне подобный ответ приходил. Сейчас какие-то страницы попали в индекс, но я на них написал по 1,5 тыс уник текста. До этого был просто вывод товара.

#34 Serg_pnz

Serg_pnz

    Hanswurst

  • Старая гвардия
  • PipPipPipPipPip
  • 1 972 сообщений
1 545
  • Из*** гонец? Гонец из Пензы?... Нет – реальный гонец!

Отправлено 31 Октябрь 2013 - 13:12

protector, ну у меня всё продолжаются падения: с каждым апом отбирается по 20-30 страниц. С 700 уже до 400 дошло.
Цены на рекламу на форуме Webimho | Пущу на квартиру VPS саттелиты по 30 руб./мес.
Ида: Не все кальсоны с оторванными пуговицами – брюки. © Serg_pnz

#35 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 877 сообщений
1 485
  • ИзСанкт-Петербурга

Отправлено 31 Октябрь 2013 - 16:03

Просмотр сообщенияSerg_pnz (31 Октябрь 2013 - 13:12) писал:

protector, ну у меня всё продолжаются падения: с каждым апом отбирается по 20-30 страниц. С 700 уже до 400 дошло.
А страницы абсолютно разные? Не дубли или полудубли?

#36 Serg_pnz

Serg_pnz

    Hanswurst

  • Старая гвардия
  • PipPipPipPipPip
  • 1 972 сообщений
1 545
  • Из*** гонец? Гонец из Пензы?... Нет – реальный гонец!

Отправлено 31 Октябрь 2013 - 19:10

Дубли есть - 130 штук из тысячи страниц (статьи из общих разделов, всё забываю тег прописать... ). Хрен бы с ними, но нет важных, например по модулям http://trei-gmbh.ru/...931t_w931t.html

Правда надо добавить, что ТОП меня больше, чем устраивает http://yandex.ru/yan...rnd=5950&lr=213
http://yandex.ru/yan...=1909644&lr=213
http://yandex.ru/yan...=1909644&lr=213
Цены на рекламу на форуме Webimho | Пущу на квартиру VPS саттелиты по 30 руб./мес.
Ида: Не все кальсоны с оторванными пуговицами – брюки. © Serg_pnz

#37 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 877 сообщений
1 485
  • ИзСанкт-Петербурга

Отправлено 31 Октябрь 2013 - 20:59

Serg_pnz, Попробуйте метод, описанный тут. Отчасти мне он помог.

#38 badimao

badimao

    Новенький

  • Новичок
  • Pip
  • 10 сообщений

Отправлено 10 Апрель 2016 - 15:27

Раньше прогонял новые страницы товаров магазина по соцзакладкам для ускорения их индексации. Если у кого-то есть свой ИМ, как вы загоняете новые товары в индекс?

#39 Serganjas

Serganjas

    в куче фуфла, как обычно

  • Участник
  • PipPipPipPip
  • 1 167 сообщений
404

Отправлено 10 Апрель 2016 - 23:27

да элементарно, индексируется быстрее всего морда, выводите как новость или ставите точку,

#40 Гэндальф Серый

Гэндальф Серый

    Новенький

  • Новичок
  • Pip
  • 3 сообщений
  • ИзМосква

Отправлено 04 Май 2016 - 12:16

Для ускорения индексации можно использовать твиттер, соц сети



Похожие темы



Также с тегом индексация, переиндексация, яндекс

Количество пользователей, читающих эту тему: 1

0 пользователей, 1 гостей, 0 анонимных



© 2018 SMO&SEO форум «WEBIMHO» — продвижение и создание сайтов, интернет-маркетинг

По вопросам рекламы на форуме и цены на рекламу
Все материалы SEO форума разрешены к копированию только с установкой гиперактивной ссылки на webimho.ru,
тем, кто этого не сделает, мы оторвем руки и ноги и поменяем местами,
а когда выйдем из тюрьмы, опять оторвем и опять поменяем.


Россия, г. Москва

Мы в соцсетях: twitter | вконтакте | facebook | livejournal