Перейти к содержимому

MOAB

- - - - -

Роботы атакуют


  • Войдите, чтобы ответить
Сообщений в теме: 6

#1 SEOBot

SEOBot

    MFA

  • Старая гвардия
  • PipPipPipPipPip
  • 1 532 сообщений
978
  • Известный тунеядец

Отправлено 06 Январь 2017 - 20:18

В связи с переездом одного из форумов на протокол https, началась переиндексация. Тк. форум огромный, куча страниц, а крутится он на бегете, то всех их мыслимые и не мыслимые лимиты нагрузки уходят в небытие. Проанализировав ситуацию по логам, видны IP которые хулиганят и грузят БД. В частности это гугля-бот.
Советы, лекции, матерные слова - выслушаю, приму в дар, что можно сделать, чтобы снизить их "рейдерский захват"?
В роботсе Crawl-delay: 10 стоит.

Изображение

Изображение
Иногда надо имитировать крушение корабля, чтобы с него сбежали крысы.
В работе использую: Топвизор | Полезное и нужное

#2 AdisPrint

AdisPrint

    Почетный

  • Активный участник
  • PipPipPipPipPip
  • 2 052 сообщений
1 678

Отправлено 06 Январь 2017 - 20:52

SEOBot, А какая посещаемость если не секрет, если раньше 65 CP хватало, а сейчас такой прыжок? Я тоже на бегете, с нагрузкой 115 СP / сутки, 65 мне было впритык. Сейчас тоже перешел на https, никаких скачков не наблюдаю.
115 СP / сутки
СНПЧ, чернила, картриджи, фотобумага для принтеров и МФУ - AdisPrint.ru

#3 SEOBot

SEOBot

    MFA

  • Старая гвардия
  • PipPipPipPipPip
  • 1 532 сообщений
978
  • Известный тунеядец

TC Отправлено 06 Январь 2017 - 21:00

Если вы про нагрузку на сайт то 65-80 СР. Посещалка 500-1000 в сутки с учетом адских роботов.
А выше скрины нагрузки на БД, т.е. пики, это когда заходил гугля.

Изображение
Иногда надо имитировать крушение корабля, чтобы с него сбежали крысы.
В работе использую: Топвизор | Полезное и нужное

#4 Дартаньян

Дартаньян

    во имя матана

  • Участник
  • PipPipPipPipPip
  • 4 667 сообщений
5 714
  • ИзКрии

Отправлено 07 Январь 2017 - 07:22

Гуглу руками в панели надо выставлять в настройках индексации

#5 GogA

GogA

    Продвинутый

  • Основатель
  • PipPipPip
  • 272 сообщений
254
  • ИзMoscow

Отправлено 09 Январь 2017 - 01:35

Crawl-delay же яндекс понимает, а гугл — нет?

Для гугла:

Цитата

Как ограничить скорость сканирования
  • Выберите свой сайт на главной странице Search Console.
  • Нажмите Настройки > Настройки сайта.
  • В разделе Скорость сканирования укажите нужное значение.
Новая скорость сканирования будет действовать в течение 90 дней.
https://support.goog...wer/48620?hl=ru

#6 SEOBot

SEOBot

    MFA

  • Старая гвардия
  • PipPipPipPipPip
  • 1 532 сообщений
978
  • Известный тунеядец

TC Отправлено 09 Январь 2017 - 09:24

В каком из 4х добавленных зеркал нужно выбирать?))
Иногда надо имитировать крушение корабля, чтобы с него сбежали крысы.
В работе использую: Топвизор | Полезное и нужное

#7 Дартаньян

Дартаньян

    во имя матана

  • Участник
  • PipPipPipPipPip
  • 4 667 сообщений
5 714
  • ИзКрии

Отправлено 09 Январь 2017 - 11:08

Просмотр сообщенияSEOBot (09 Январь 2017 - 09:24) писал:

В каком из 4х добавленных зеркал нужно выбирать?))
вуа усех


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных



© 2017 SMO&SEO форум «WEBIMHO» — продвижение и создание сайтов, интернет-маркетинг

По вопросам рекламы на форуме и цены на рекламу
Все материалы SEO форума разрешены к копированию только с установкой гиперактивной ссылки на webimho.ru,
тем, кто этого не сделает, мы оторвем руки и ноги и поменяем местами,
а когда выйдем из тюрьмы, опять оторвем и опять поменяем.


Россия, г. Москва

Мы в соцсетях: twitter | вконтакте | facebook | livejournal