Перейти к содержимому

MOAB

* * * * * 2 Голосов

Обработка сессий ПС роботами


  • Войдите, чтобы ответить
Сообщений в теме: 17

#1 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 977 сообщений
1 569
  • ИзСанкт-Петербурга

Отправлено 26 Январь 2018 - 12:36

На сайте использую сессии. В частности делаю переключалку регионов и значение храню в сессии. Время жизни сессии - 72 часа. При первом заходе появляется всплывающее окно с уточнением региона.

Если робот зайдет первый раз на сайт, то он увидит это всплывающее окно.
Вопросы:
1) Если он зайдет 2-ой или 3-ий раз в течение 72часов, то он не увидит всплывающее окно (как и юзеры), так?
2) Если робот зайдет на сайт через неделю, то опять увидит это всплывающее окно?

Может лучше значение хранить в куках, а не в сессии?

#2 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 895 сообщений
3 059

Отправлено 26 Январь 2018 - 12:46

Делаете новую страницу, там пишите "мумбо юмбо каракум" пинаете её ссылками, мониторите каждый день поисковые системы на "сохраненный кеш" и на уникальный пассаж с вашей страницы.
Если по "мумбо юмбо каракум" страница находится и значение в кэше вас устраивает (долго обновляется) значит вы как Путин, опять всё сделали правильно :)

#3 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 547 сообщений
8 044
  • Изсекты свидетелей Кецалькоатля

Отправлено 26 Январь 2018 - 12:46

Просмотр сообщенияprotector сказал:

Может лучше значение хранить в куках, а не в сессии?
Лучше. И надежнее) А то вдруг спалишь ботам данные клиентов сексшопа :)

#4 Илья

Илья

    Матаноадептикс

  • Основатель
  • PipPipPipPipPip
  • 1 608 сообщений
1 900
  • Изгалактики Мле́чный Путь

Отправлено 26 Январь 2018 - 12:52

"Робот" (краулер) не видит ничего, у него глаз нет :) Он может лишь получать данные и записывать.

Получить данные можно обычным get запросом, или с обработкой js.

Можешь попробовать через curl получить body веб документа:

curl webimho.ru

Это, всего скорее и будет видеть краулер все время :)
«функция подсчёта длины каждого вектора в векторе векторов, на выходе вектор длин векторов-векторов» © 先生

#5 Матумба

Матумба

    во имя матана

  • Участник
  • PipPipPipPipPip
  • 4 928 сообщений
6 145
  • ИзКрии

Отправлено 26 Январь 2018 - 13:14

Просмотр сообщенияprotector сказал:

Может лучше значение хранить в куках, а не в сессии?
это одно и то же
Ах какое блаженство
Знать что я совершенство,
Знать что я идеал.

#6 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 977 сообщений
1 569
  • ИзСанкт-Петербурга

TC Отправлено 26 Январь 2018 - 13:20

Просмотр сообщенияИлья (26 Январь 2018 - 12:52) писал:

"Робот" (краулер) не видит ничего, у него глаз нет :) Он может лишь получать данные и записывать.

Получить данные можно обычным get запросом, или с обработкой js.

Можешь попробовать через curl получить body веб документа:

curl webimho.ru

Это, всего скорее и будет видеть краулер все время :)
То есть сделать curl 2-3 раза? Наверное, вы правы... Хороший совет.

#7 Spinne

Spinne

    Зануда™

  • Основатель
  • PipPipPipPipPip
  • 2 002 сообщений
3 403
  • Излесу, вестимо

Отправлено 27 Январь 2018 - 04:19

Просмотр сообщенияprotector (26 Январь 2018 - 12:36) писал:

На сайте использую сессии. В частности делаю переключалку регионов и значение храню в сессии. Время жизни сессии - 72 часа.
Сессия - хранение данных на сервере. Идентификатор сессии передается в куки, но может передаваться и параметром в URL (phpsessid=...).
Для спокойствия в .htaccess не помешает
php_value session.use_trans_sid 0

Поскольку куки робот не отдает, каждый раз он будет видеть одно и то же. Но всплывающее окно, наверное, инициируется Java-скриптом? Тогда роботу ничего и не должно всплыть...
Ник не менял, подпись поменяю позже. Ваш Зануда. Он же AHP-net, но это уже там

#8 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 547 сообщений
8 044
  • Изсекты свидетелей Кецалькоатля

Отправлено 27 Январь 2018 - 15:00

Spinne, о, вопрос для знатоков, то есть для тебя: как поймать бота и перенаправить (редерикт) его в .htaccess

#9 Матумба

Матумба

    во имя матана

  • Участник
  • PipPipPipPipPip
  • 4 928 сообщений
6 145
  • ИзКрии

Отправлено 28 Январь 2018 - 01:56

Просмотр сообщенияSpinne сказал:

Поскольку куки робот не отдает, каждый раз он будет видеть одно и то же. Но всплывающее окно, наверное, инициируется Java-скриптом? Тогда роботу ничего и не должно всплыть..
Если он не Гуглебот :)
"Java-скриптом"???!!! Да что ж такое то...
Ах какое блаженство
Знать что я совершенство,
Знать что я идеал.

#10 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 977 сообщений
1 569
  • ИзСанкт-Петербурга

TC Отправлено 29 Январь 2018 - 12:27

Просмотр сообщенияSpinne (27 Январь 2018 - 04:19) писал:

Поскольку куки робот не отдает, каждый раз он будет видеть одно и то же. Но всплывающее окно, наверное, инициируется Java-скриптом? Тогда роботу ничего и не должно всплыть...
Всплывающее окно инициируется Ява-скриптом. Но ведь Гугл же умеет выполнять простые скрипты. Тот же яндекс как-то отлавливает всплывающие рекламные окна. Поэтому роботы должны видеть их.

Цитата

Идентификатор сессии передается в куки
Этого не знал, спасибо).

#11 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 547 сообщений
8 044
  • Изсекты свидетелей Кецалькоатля

Отправлено 29 Январь 2018 - 14:33

Просмотр сообщенияprotector сказал:

Но ведь Гугл же умеет выполнять простые скрипты.
Ну это же легко проверить - в go.gl на скриншоте

#12 Илья

Илья

    Матаноадептикс

  • Основатель
  • PipPipPipPipPip
  • 1 608 сообщений
1 900
  • Изгалактики Мле́чный Путь

Отправлено 29 Январь 2018 - 15:49

Просмотр сообщенияprotector сказал:

Но ведь Гугл же умеет выполнять простые скрипты.
Там все немного про другое. Если простым языком, содержимое веб документа в хроме можно посмотреть 2-мя способами:

- Просмотр кода страницы (это обычный get запрос)
- Просмотр кода (это уже обработка js)

Нажимать на кнопочки, ставить флаги, варить коффэ краулер не умеет :)
«функция подсчёта длины каждого вектора в векторе векторов, на выходе вектор длин векторов-векторов» © 先生

#13 Матумба

Матумба

    во имя матана

  • Участник
  • PipPipPipPipPip
  • 4 928 сообщений
6 145
  • ИзКрии

Отправлено 30 Январь 2018 - 02:45

Просмотр сообщенияprotector сказал:

Всплывающее окно инициируется Ява-скриптом.
Да что с вами не так? Вы же варитесь в теме никак не меньше десятка лет.

Просмотр сообщенияprotector сказал:

Но ведь Гугл же умеет выполнять простые скрипты.
Гугл не умеет забирать данные по вебсокетам, а транслятору пофиг какого размера код js. Гугль забирает, собирает и индексирует js уже года так с 2015, поэтому даже не стоит пытаться его так "обмануть".

Просмотр сообщенияИлья сказал:

Нажимать на кнопочки, ставить флаги, варить коффэ краулер не умеет
Кстати, да. Вот это наше современное "А вам есть 18? [Да] [Нэт]" странным образом тут сыграло на руку для всяких финтелей после "onclick touchstart".
Ах какое блаженство
Знать что я совершенство,
Знать что я идеал.

#14 Илья

Илья

    Матаноадептикс

  • Основатель
  • PipPipPipPipPip
  • 1 608 сообщений
1 900
  • Изгалактики Мле́чный Путь

Отправлено 30 Январь 2018 - 11:10

Просмотр сообщенияДартаньян (30 Январь 2018 - 02:45) писал:

Кстати, да. Вот это наше современное "А вам есть 18? [Да] [Нэт]" странным образом тут сыграло на руку для всяких финтелей после "onclick touchstart".

Сейчас ещё дизайн сайтиков идёт в сторону моб. приложений, а это например "гамбургер" для вызова меню. Никто не мешает и тут прикрутить экшен.

Ещё есть всякие "показать ещё" и т.д. Вообщем нас ждёт светлое будущее, главное что бы все понимали что такое crawler и чем он отличается от fetcher :coolface:
«функция подсчёта длины каждого вектора в векторе векторов, на выходе вектор длин векторов-векторов» © 先生

#15 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 977 сообщений
1 569
  • ИзСанкт-Петербурга

TC Отправлено 30 Январь 2018 - 13:22

Просмотр сообщенияdonc (29 Январь 2018 - 14:33) писал:

Ну это же легко проверить - в go.gl на скриншоте
И? каком скриншоте?

#16 Spinne

Spinne

    Зануда™

  • Основатель
  • PipPipPipPipPip
  • 2 002 сообщений
3 403
  • Излесу, вестимо

Отправлено 31 Январь 2018 - 15:49

Просмотр сообщенияДартаньян (28 Январь 2018 - 01:56) писал:

Если он не Гуглебот :)
"Java-скриптом"???!!! Да что ж такое то...
А ничего такого...
Ну, увидит он эту форму. И что? Боты могут интерпретировать жабу, если им так хочется, но тексты в поля не вводят, селекторов не листают и кнопочки не нажимают. И куки не отдают.
Ник не менял, подпись поменяю позже. Ваш Зануда. Он же AHP-net, но это уже там

#17 Матумба

Матумба

    во имя матана

  • Участник
  • PipPipPipPipPip
  • 4 928 сообщений
6 145
  • ИзКрии

Отправлено 31 Январь 2018 - 22:43

Просмотр сообщенияSpinne сказал:

И куки не отдают
Лолшто? Чуваки, ну из пещер надо вылезать хоть иногда.
Ах какое блаженство
Знать что я совершенство,
Знать что я идеал.

#18 Spinne

Spinne

    Зануда™

  • Основатель
  • PipPipPipPipPip
  • 2 002 сообщений
3 403
  • Излесу, вестимо

Отправлено 04 Февраль 2018 - 16:38

[устраиваясь поудобнее] Я весь внимание...
Ник не менял, подпись поменяю позже. Ваш Зануда. Он же AHP-net, но это уже там


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных



© 2018 SMO&SEO форум «WEBIMHO» — продвижение и создание сайтов, интернет-маркетинг

По вопросам рекламы на форуме и цены на рекламу
Все материалы SEO форума разрешены к копированию только с установкой гиперактивной ссылки на webimho.ru,
тем, кто этого не сделает, мы оторвем руки и ноги и поменяем местами,
а когда выйдем из тюрьмы, опять оторвем и опять поменяем.


Россия, г. Москва

Мы в соцсетях: twitter | вконтакте | facebook | livejournal