Перейти к содержимому

MOAB

* * * * * 1 Голосов

Как спарсить рубрику на али экспресс?


  • Войдите, чтобы ответить
Сообщений в теме: 11

#1 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 874 сообщений
3 053

Отправлено 27 Сентябрь 2018 - 12:48

Как спарсить рубрику на али экспресс? Может даже и лучше спарсить именно на анлийском языке, как минимум с картинками.
Программы для парсинга в гугле нашёл, ищу личные отзывы.

#2 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 492 сообщений
8 001
  • Изсекты свидетелей Кецалькоатля

Отправлено 27 Сентябрь 2018 - 13:08

Смотря что парсить. Описание там как-то хитро выводится, в коде нет.

#3 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 874 сообщений
3 053

TC Отправлено 27 Сентябрь 2018 - 13:18

вот это и плохо.

#4 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 492 сообщений
8 001
  • Изсекты свидетелей Кецалькоатля

Отправлено 27 Сентябрь 2018 - 13:22

Ну там наверное не дураки сидят. Думаю, тебе не первому пришла такая мысль в голову. Характеристики, там кстати в коде есть

#5 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 874 сообщений
3 053

TC Отправлено 27 Сентябрь 2018 - 13:29

На самом деле программ для парсинга куча. Просто они предупреждают о банах, при этом по прокси работает парсинг плохо.
Вопрос прежний, кто парсил?
зы
или спарсит?

#6 Serg_pnz

Serg_pnz

    Hanswurst

  • Старая гвардия
  • PipPipPipPipPip
  • 1 991 сообщений
1 574
  • Из*** гонец? Гонец из Пензы?... Нет – реальный гонец!

Отправлено 27 Сентябрь 2018 - 14:12

В копилку парсеров https://a-parser.com...hop-aliexpress/

А почему по прокси плохо работает парсинг? Я в своё время утащил с каких-то желтых страниц несколько десятков тысяч записей, но только это заняло большое время, дней 3-5
Цены на рекламу на форуме Webimho | Пущу на квартиру VPS саттелиты по 30 руб./мес.
Ида: Не все кальсоны с оторванными пуговицами – брюки. © Serg_pnz

#7 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 874 сообщений
3 053

TC Отправлено 27 Сентябрь 2018 - 15:35

Цитата

А почему по прокси плохо работает парсинг?
Потому что в интернетах пишут, что парсинг али вообще плохо работает, банят быстро, а если через прокси -- то банят на взлёте.
Вы пользовались этим парсером?

#8 Serg_pnz

Serg_pnz

    Hanswurst

  • Старая гвардия
  • PipPipPipPipPip
  • 1 991 сообщений
1 574
  • Из*** гонец? Гонец из Пензы?... Нет – реальный гонец!

Отправлено 27 Сентябрь 2018 - 15:50

azsx, не пользовался, руки не дошли(

azsx, вообще надо посмотреть как они банят. Я всё про те же "желтые страницы". Там как было: не выполняется js два раза с одного ip - держи бан на полчаса. Мне ~2к проксей хватило чтобы решить свою задачу. А медленно - потому что я не напрягал донора, раз в две секунды запускал парсер.
Цены на рекламу на форуме Webimho | Пущу на квартиру VPS саттелиты по 30 руб./мес.
Ида: Не все кальсоны с оторванными пуговицами – брюки. © Serg_pnz

#9 donc

donc

    Гай Юлий Калигула Сковородкер

  • Основатель
  • PipPipPipPipPip
  • 9 492 сообщений
8 001
  • Изсекты свидетелей Кецалькоатля

Отправлено 27 Сентябрь 2018 - 20:29

Собственно вся идея в том, что на али описание выводится как-то хитро, я не изучал, но по ходу - джавой.
А парсеры, знакомые мне - в частности Content Downloader X1, ее не умеют выполнять,

#10 Serg_pnz

Serg_pnz

    Hanswurst

  • Старая гвардия
  • PipPipPipPipPip
  • 1 991 сообщений
1 574
  • Из*** гонец? Гонец из Пензы?... Нет – реальный гонец!

Отправлено 28 Сентябрь 2018 - 09:41

В браузере всё открывается, в коде страницы всё есть.
0. Положим исходный урл товара
https://ru.aliexpress.com/item/Free-Shipping-10pcs-Lot-small-bouquets-of-roses-bract-simulation-flowers-Real-Touch-rose-Flowers-Home/32464525496.html
1. Идем на его мобильную версию
https://m.ru.aliexpress.com/item/32464525496.html
2. В коде ищем
<amp-iframe
в нем src
https://aeproductsourcesite.alicdn.com/product/description/msite/v2/ru_RU/desc.htm?productId=32464525496&key=HTB1yWisXdfvK1RjSspoM7PfNpXaB.zip&token=6e9981ae32139e6dd393d62d0274853b

В "глазами поискового робота" https://pr-cy.ru/simulator/ шаг 2 не работает (((

upd: а тут видно!!! http://seo-audit.inf.../robotslookurl/

upd2: не надо ходить на мобильную версию. В коде есть
window.runParams.detailDesc="https://aeproductsourcesite.alicdn.com/product/description/pc/v2/ru_RU/desc.htm?productId=32464525496&key=HTB1yWisXdfvK1RjSspoM7PfNpXaB.zip&token=6e9981ae32139e6dd393d62d0274853b";

Цены на рекламу на форуме Webimho | Пущу на квартиру VPS саттелиты по 30 руб./мес.
Ида: Не все кальсоны с оторванными пуговицами – брюки. © Serg_pnz

#11 azsx

azsx

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 4 874 сообщений
3 053

TC Отправлено 28 Сентябрь 2018 - 10:04

Serg_pnz, золото Вы, а не человек!

#12 Serg_pnz

Serg_pnz

    Hanswurst

  • Старая гвардия
  • PipPipPipPipPip
  • 1 991 сообщений
1 574
  • Из*** гонец? Гонец из Пензы?... Нет – реальный гонец!

Отправлено 28 Сентябрь 2018 - 11:08

azsx, спасибо) Надоумили меня тут http://code.mu/books...t-parsinga.html
Вам теперь остается парсер написать, чтобы али не сопротивлялся и отдавал контент. Хз, почему в первом варианте сервис не спарсил, а во втором спарсил. М.б. стоит банальная защита (пишу по ссылке, что дал ранее): записать куку, если с ошибкой, то это пришел бот, не отдавать контент.
Цены на рекламу на форуме Webimho | Пущу на квартиру VPS саттелиты по 30 руб./мес.
Ида: Не все кальсоны с оторванными пуговицами – брюки. © Serg_pnz



Похожие темы


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных



© 2018 SMO&SEO форум «WEBIMHO» — продвижение и создание сайтов, интернет-маркетинг

По вопросам рекламы на форуме и цены на рекламу
Все материалы SEO форума разрешены к копированию только с установкой гиперактивной ссылки на webimho.ru,
тем, кто этого не сделает, мы оторвем руки и ноги и поменяем местами,
а когда выйдем из тюрьмы, опять оторвем и опять поменяем.


Россия, г. Москва

Мы в соцсетях: twitter | вконтакте | facebook | livejournal