Перейти к содержимому

MOAB

- - - - -

Mail.ru атакует сайт


  • Войдите, чтобы ответить
Сообщений в теме: 5

#1 dik

dik

    Продвинутый

  • Старая гвардия
  • PipPipPip
  • 445 сообщений
151

Отправлено 21 Апрель 2012 - 06:07

Сделал я небольшие изменения в шаблоне старого форума и пипец... бот майл.ру сразу жёстко накинулся весь форум переиндексировать :)
Несколько часов подряд он теперь лупит запросы по страницам не останавливаясь каждую секунду.
Вот такая короткая история, может кому на заметку пригодится, если тариф на хостинге не рассчитан на большие нагрузки.
Иногда и дурачком полезно прикинуться. Главное, чтобы это не перешло в хроническое состояние :)

#2 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 073 сообщений
7 363
  • Изсекты свидетелей Кецалькоатля

Отправлено 21 Апрель 2012 - 09:29

Поиск майл.ру это вообще сказка. Я лет 6 наблюдаю с восторгом за их метаниями между трех камней - яндекса, гугля и своего, просто эпик файл какой-то. А главное - ничего достойного так и нет, не было и скорее всего не будет

#3 php5

php5

    Joomla/OpenCart помощь

  • Старая гвардия
  • PipPipPipPip
  • 960 сообщений
411

Отправлено 21 Апрель 2012 - 10:57

Дык забаньте его=)
Кэширование на сайте есть?

#4 dik

dik

    Продвинутый

  • Старая гвардия
  • PipPipPip
  • 445 сообщений
151

TC Отправлено 21 Апрель 2012 - 11:49

nginx стоит, кэширование и gzip не включаю в настройках форума, т.к. часть юзеров жаловались при их включении.
У меня порядка 6% трафика с mail.ru идет, поэтому банить как бы жалко, да и сервак слава богу вытерпел его нагрузку :) В общем получилось, что этот паразит прошелся по всем страницам за несколько часов и теперь убежал.
Иногда и дурачком полезно прикинуться. Главное, чтобы это не перешло в хроническое состояние :)

#5 No Name

No Name

    No Rank

  • Основатель
  • PipPipPipPipPip
  • 2 688 сообщений
1 525
  • ИзДефолтситевск

Отправлено 21 Апрель 2012 - 14:22

gzip включи на уровне nginx-а. Это кошернее и, скорее всего, быстрее. И проблем быть не должно по идее, для клиента и бекэнда это будет практически прозрачный процесс.
Clever never made no one rich, it doesn't appeal to the teenage market.

#6 Fitsh

Fitsh

    Юзер

  • Участник
  • PipPipPipPipPip
  • 1 733 сообщений
1 393

Отправлено 21 Апрель 2012 - 18:09

В robots.txt можно задавать период обращения робота к сайту.
Учитывает ли его Маил, не знаю, но должен.

Пример:
User-agent: Mail.Ru
Crawl-delay: 1 # задает таймаут в 1 секунду




Похожие темы


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных



© 2017 SMO&SEO форум «WEBIMHO» — продвижение и создание сайтов, интернет-маркетинг

По вопросам рекламы на форуме и цены на рекламу
Все материалы SEO форума разрешены к копированию только с установкой гиперактивной ссылки на webimho.ru,
тем, кто этого не сделает, мы оторвем руки и ноги и поменяем местами,
а когда выйдем из тюрьмы, опять оторвем и опять поменяем.


Россия, г. Москва

Мы в соцсетях: twitter | вконтакте | facebook | livejournal