Перейти к содержимому

MOAB

* * * * * 1 Голосов

Как проверить внешние ссылки?


  • Войдите, чтобы ответить
Сообщений в теме: 11

#1 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 937 сообщений
3 080

Отправлено 03 Август 2018 - 04:59

Есть список ссылок, там страницы на разных языках. У меня никакого желания смотреть вручную, что там написано нет.
Я хочу, чтобы среди этих ссылок не было совсем спама, фармы, адалта и прочей политики.
Сам смог придумать только спарсить страницу и прогнать её по списку стоп слов (и так постоянно делать).
Вопрос.
Как это можно сделать правильно?

#2 snatch

snatch

    Мастер

  • Активный участник
  • PipPipPipPip
  • 1 473 сообщений
1 702
  • ИзFuturama

Отправлено 03 Август 2018 - 06:32

взять в помощь базу заблокированных сайтов? хотя она далеко не все отсеит

#3 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 937 сообщений
3 080

TC Отправлено 03 Август 2018 - 08:16

вот ещё бы его скачивать научиться :)
но этого мало, конечно.

#4 Матумба

Матумба

    во имя матана

  • Участник
  • PipPipPipPipPip
  • 4 953 сообщений
6 175
  • ИзКрии

Отправлено 03 Август 2018 - 13:29

Нет, вы только посмотрите. Теорему Байеса осилить они не могут, но фильтрацию им из коробки подавай!

Просмотр сообщенияazsx сказал:

Сам смог придумать только спарсить страницу и прогнать её по списку стоп слов (и так постоянно делать).
А есть ещё какой-то способ узнать что там на странице не забрав её на обработку? :)

#5 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 937 сообщений
3 080

TC Отправлено 03 Август 2018 - 13:47

надо спросить на другом форуме.

#6 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 3 007 сообщений
1 593
  • ИзСанкт-Петербурга

Отправлено 03 Август 2018 - 15:52

Если я правильно понял, то есть список страниц, на которых стоят ссылки. Чтобы узнать анкор, нужно по-любому пропарсить программой страницу и вытащить анкор.
После этого можно что-нибудь обрабатывать.
Я сервисов таких не знаю.

#7 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 557 сообщений
8 057
  • Изсекты свидетелей Кецалькоатля

Отправлено 04 Август 2018 - 13:39

Просмотр сообщенияazsx сказал:

Сам смог придумать только спарсить страницу и прогнать её по списку стоп слов (и так постоянно делать).
Собственно так и делать, а как иначе. Чтоб быстрее - винком можно.

#8 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 937 сообщений
3 080

TC Отправлено 04 Август 2018 - 20:12

donc, и вы туда же? А если сайт сделан только под спам трафф и текста на нём нет? Ну вот тупо туб целиком грузиться без текста внутри, только анкоры на другие сайты всякие левые.
Понятно, что когда мне пишут комент на 4К символов максимум вполне можно блокировать в нём стоп слова. Но если дают линк на статью на 50К символов, там вполне могут быть стоп слова, при чём по делу. Коэффициенты вводить?
зы
в старт посте есть слово адалт. Всё -- блочить страницу?

#9 protector

protector

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 3 007 сообщений
1 593
  • ИзСанкт-Петербурга

Отправлено 06 Август 2018 - 15:41

Просмотр сообщенияazsx (04 Август 2018 - 20:12) писал:

в старт посте есть слово адалт. Всё -- блочить страницу?
Да. А как вы собрались блочить страницы с беками? В гугл.вебмастере?

#10 Spartan

Spartan

    Новенький

  • Заблокирован
  • Pip
  • 3 сообщений
0

Отправлено 01 Декабрь 2018 - 02:09

Как вариант RDS Bar, за секунды выдает основную инфу о сайте.
Других проверенных методов, быстрых и по факту эффективных не знаю.

Изображение

#11 Spinne

Spinne

    Зануда™

  • Основатель
  • PipPipPipPipPip
  • 2 004 сообщений
3 407
  • Излесу, вестимо

Отправлено 01 Декабрь 2018 - 21:39

Просмотр сообщенияazsx (03 Август 2018 - 13:47) писал:

надо спросить на другом форуме.

:rolleyes: М-да...

Проверьте на четность номер моего паспорта, пока я его вам не показал.
Ник не менял, подпись поменяю позже. Ваш Зануда. Он же AHP-net, но это уже там

#12 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 937 сообщений
3 080

TC Отправлено 02 Декабрь 2018 - 05:56

Ваш паспорт не смогу, а вот сайт пожалуйста https://ru.megaindex...tps://xnxx.com/
Другой вопрос бесплатно и чтобы они тематику определяли не по словам кеям, а именно заранее провели исследования и по пассажам с разными правилами. Наверняка такие есть, к тому же сложность представляют именно разные правила. Не факт, что если я в этой теме напишу сиськи --то тема станет интересна хоть одному дрочеру.
В гугле я искать умею.
А может другие способы есть, о которых я и не думал.



Похожие темы


Количество пользователей, читающих эту тему: 1

0 пользователей, 1 гостей, 0 анонимных



© 2018 SMO&SEO форум «WEBIMHO» — продвижение и создание сайтов, интернет-маркетинг

По вопросам рекламы на форуме и цены на рекламу
Все материалы SEO форума разрешены к копированию только с установкой гиперактивной ссылки на webimho.ru,
тем, кто этого не сделает, мы оторвем руки и ноги и поменяем местами,
а когда выйдем из тюрьмы, опять оторвем и опять поменяем.


Россия, г. Москва

Мы в соцсетях: twitter | вконтакте | facebook | livejournal