Перейти к содержимому

MOAB

* * * * * 1 Голосов

как поймать бота и перенаправить (редерикт) его в .htaccess


  • Войдите, чтобы ответить
Сообщений в теме: 17

#1 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 681 сообщений
8 316
  • Изсекты свидетелей Кецалькоатля

Отправлено 27 Январь 2018 - 14:52

Стоит конкретная задача в .htaccess определить робота (ну это мы знаем как - по юзер агенту) и перенаправить его в другое место, например в жопу, или на другой домен, другую страницу.

Вопрос как? В интернете этом вашем гребаном сплошная сраная рерайтерская копиписта, всякие деваки-улыбаки, блоги пузата, конкретных примеров хрен найдешь. Убить бы этих SEO-шников!!!111

RewriteCond %{HTTP_USER_AGENT} ^YandexBot*
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} .
RewriteCond %{HTTP_HOST} !^old-domain\.ru [NC]
RewriteRule (.*) https://new-domain.ru/$1 [R=301,L]

короче это не работает, и сейчас, я надеюсь вы расскажете полезное мне, потому что в интернете этого толком нет, значит пригодится не только мне, а еще и увеличит нам посещаемость по запросу как поймать бота и перенаправить (редерикт) его в .htaccess

#2 Spinne

Spinne

    Зануда™

  • Основатель
  • PipPipPipPipPip
  • 2 007 сообщений
3 427
  • Излесу, вестимо

Отправлено 27 Январь 2018 - 15:38

Вопрос "на одну затяжку", но вместо поиска готовых рецептов лучше один раз изучить вот это.

Решение такое:
# Это общая часть - включение mod_rewrite, установка базы преобразований (далее ее не нужно повторять)
RewriteEngine On
RewriteBase /

# Это пинок роботу в заданном направлении
RewriteCond %{HTTP_USER_AGENT} YandexBot
RewriteRule .* http://zhopa.com/zhopa.html [R=301,L]

# а дальше уже остальные правила, которые нужны для домена с www (без www), для работы движка, и т.д.

Знаки ^ ("начинается с...") и $ ("на этом заканчивается") в условии не нужны - смотри в логах, как отражена строка юзер-агента, она содержит название робота, но обычно не начинается с него. В данном случае условие получается такое: «Если переменная HTTP_USER_AGENT содержит строку "YandexBot"»

PS ...или сюда бы заглянул по старому знакомству... :)
Ник не менял, подпись поменяю позже. Ваш Зануда. Он же AHP-net, но это уже там

#3 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 681 сообщений
8 316
  • Изсекты свидетелей Кецалькоатля

TC Отправлено 27 Январь 2018 - 16:35

Просмотр сообщенияSpinne сказал:

PS ...или сюда бы заглянул по старому знакомству...
Заглядывал. Ну ты же знаешь, я в этих языках.. В логике -да..

#4 Матумба

Матумба

    во имя матана

  • Участник
  • PipPipPipPipPip
  • 5 126 сообщений
6 461
  • ИзКрии

Отправлено 28 Январь 2018 - 02:05

ну а если мы уже совсем взрослые:
server {
        # ... 
        if ($http_user_agent ~* (xovi|siteexplorer|baidu|sogou|mj12|HttpClient|commoncrawl|Vegi|Jorgee|statdom|scout|ltx71|puffin|archiver|DomainCrawler|python|delphi|curl|package|zzz|lwp|synapse|URLChecker|majestic|deusu|targetix|ahrefs|solomono|linkpad|semrush|brandwatch|opensiteexplorer|BLEXBot|netcraft|megaindex)) {
                return 444;
        }
        # ...
}

"Они не могут ничего, у них лапки котят"

#5 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 681 сообщений
8 316
  • Изсекты свидетелей Кецалькоатля

TC Отправлено 28 Январь 2018 - 11:42

, Это немного не та задача) Решение отловли всякой нечисти и отправления в ад известно.

А в данном случае, я например, хочу передать ссылочное другому домену, но только для определенного бота.

#6 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 3 216 сообщений
1 779
  • ИзСанкт-Петербурга

Отправлено 29 Январь 2018 - 12:34

Просмотр сообщенияdonc (28 Январь 2018 - 11:42) писал:

А в данном случае, я например, хочу передать ссылочное другому домену, но только для определенного бота.
Клоакингом занимаемся)
В пхп тоже можно. Используем $_SERVER['HTTP_USER_AGENT']. Если есть в нем "google", то редирект.
if ( strstr($_SERVER['HTTP_USER_AGENT'], 'Yandex') ) { $bot='Yandex';}
elseif ( strstr($_SERVER['HTTP_USER_AGENT'], 'Googlebot') ) {$bot='Google';}
Либо делать двойную проверку в пхп: еще по ip адресу.

Как сделать в htaccess, уже написали во втором сообщении.

#7 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 681 сообщений
8 316
  • Изсекты свидетелей Кецалькоатля

TC Отправлено 29 Январь 2018 - 14:28

Просмотр сообщенияprotector сказал:

В пхп тоже можно. Используем $_SERVER['HTTP_USER_AGENT']. Если есть в нем "google", то редирект.
Ага. Но в данном случае с php вышли непонятные глюки.

Просмотр сообщенияprotector сказал:

Клоакингом занимаемся)
Экспериментами с передачей ссылочного веса.

#8 angr

angr

    Мастер

  • S.E.Syndicate
  • PipPipPipPip
  • 649 сообщений
1 071

Отправлено 29 Январь 2018 - 15:02

Просмотр сообщенияdonc сказал:

Экспериментами с передачей ссылочного веса.
не отмазывайся ;)

#9 Илья

Илья

    Матаноадептикс

  • Основатель
  • PipPipPipPipPip
  • 1 608 сообщений
1 900
  • Изгалактики Мле́чный Путь

Отправлено 29 Январь 2018 - 15:51

Просмотр сообщенияДартаньян сказал:

ну а если мы уже совсем взрослые:
Ты это...давай тут брось плохому учить! <_<
«функция подсчёта длины каждого вектора в векторе векторов, на выходе вектор длин векторов-векторов» © 先生

#10 Valek

Valek

    ВСтатусе

  • Активный участник
  • PipPipPipPip
  • 1 413 сообщений
2 029
  • ИзРоссии :(

Отправлено 29 Январь 2018 - 17:38

Просмотр сообщенияИлья сказал:

Ты это...давай тут брось плохому учить!
Так и знал, что там матершиные слова написаны :new_russian:

Просмотр сообщенияdonc сказал:

Но в данном случае с php вышли непонятные глюки.
Да и на уровне сервера пободрее будет
Отличный хостинг низкие цены, высокое качество и SSL Ссылка на сайт

#11 Spinne

Spinne

    Зануда™

  • Основатель
  • PipPipPipPipPip
  • 2 007 сообщений
3 427
  • Излесу, вестимо

Отправлено 31 Январь 2018 - 15:43

Просмотр сообщенияValek (29 Январь 2018 - 17:38) писал:

Так и знал, что там матершиные слова написаны :new_russian:
Ну да, знаем мы этих д'Матаньянов – не просто на уровне сервера, а прямо в конфиге nginx матюкаются. А donc так до сих пор выделенным сервером и не обзавелся, на shared живет... Кто его там к конфигам подпустит?
Ник не менял, подпись поменяю позже. Ваш Зануда. Он же AHP-net, но это уже там

#12 Илья

Илья

    Матаноадептикс

  • Основатель
  • PipPipPipPipPip
  • 1 608 сообщений
1 900
  • Изгалактики Мле́чный Путь

Отправлено 31 Январь 2018 - 16:41

Просмотр сообщенияSpinne сказал:

А donc так до сих пор выделенным сервером и не обзавелся, на shared живет...
И правильно, тут DO радуется ценами.

пс. естественная ссылка :D
«функция подсчёта длины каждого вектора в векторе векторов, на выходе вектор длин векторов-векторов» © 先生

#13 angr

angr

    Мастер

  • S.E.Syndicate
  • PipPipPipPip
  • 649 сообщений
1 071

Отправлено 31 Январь 2018 - 16:51

Просмотр сообщенияИлья сказал:

пс. естественная ссылка
я присмотрю за тобой!

;)

#14 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 3 216 сообщений
1 779
  • ИзСанкт-Петербурга

Отправлено 31 Январь 2018 - 17:34

Просмотр сообщенияangr (31 Январь 2018 - 16:51) писал:

я присмотрю за тобой!
Это для роботов комментарий. В анкоре-то - коммерческое слово "цена", значит нужно тщательно проверять.

#15 angr

angr

    Мастер

  • S.E.Syndicate
  • PipPipPipPip
  • 649 сообщений
1 071

Отправлено 31 Январь 2018 - 18:16

Просмотр сообщенияprotector сказал:

Это для роботов комментарий. В анкоре-то - коммерческое слово "цена", значит нужно тщательно проверять.
ща по IP пробъю!

#16 Матумба

Матумба

    во имя матана

  • Участник
  • PipPipPipPipPip
  • 5 126 сообщений
6 461
  • ИзКрии

Отправлено 31 Январь 2018 - 22:39

Просмотр сообщенияИлья (31 Январь 2018 - 16:41) писал:

И предлагает заодно доказать собственность моих доменов, добавленных в НС раньше меня... :huh:
Мастерхост же просто грохнул подобных паршивцев.
"Они не могут ничего, у них лапки котят"

#17 Илья

Илья

    Матаноадептикс

  • Основатель
  • PipPipPipPipPip
  • 1 608 сообщений
1 900
  • Изгалактики Мле́чный Путь

Отправлено 01 Февраль 2018 - 11:07

Ну они чудят, да, иногда :)

Один раз снесли каплю, а потом предложили восстановить, а второй за недельную просрочку платежа тоже все "под корень" вырубили, ну так что бы не расслаблялся :lol:

Ребята интересные, но кроме сервисов в докер контейнерах я там больше ничего не держу :rolleyes:
«функция подсчёта длины каждого вектора в векторе векторов, на выходе вектор длин векторов-векторов» © 先生

#18 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 681 сообщений
8 316
  • Изсекты свидетелей Кецалькоатля

TC Отправлено 01 Февраль 2018 - 17:00

Просмотр сообщенияSpinne сказал:

А donc так до сих пор выделенным сервером и не обзавелся, на shared живет...
Я да, мне не надо. А клиенты вполне себе живут на дедиках. Только я туда не лезу



Похожие темы


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных



© 2019 SMO&SEO форум «WEBIMHO» — продвижение и создание сайтов, интернет-маркетинг

По вопросам рекламы на форуме и цены на рекламу
Все материалы SEO форума разрешены к копированию только с установкой гиперактивной ссылки на webimho.ru,
тем, кто этого не сделает, мы оторвем руки и ноги и поменяем местами,
а когда выйдем из тюрьмы, опять оторвем и опять поменяем.


Россия, г. Москва

Мы в соцсетях: twitter | вконтакте | facebook | livejournal