Отметить форум прочитанным

Отключен JavaScript

У вас отключен JavaScript. Некоторые возможности системы не будут работать. Пожалуйста, включите JavaScript для получения доступа ко всем функциям.

0

Подскажите парсер контента

автор темы snatch, 12 06 2016 04:16

парсер контента

Тема закрыта

Tweet

Сообщений в теме: 6

#1 snatch

Почетный

Активный участник
1 516 сообщений

1 826

ИзFuturama

Отправлено 12 Июнь 2016 - 04:16

Привет всем
Подскажите парсер контента, желательно бесплатный, те что за деньги я и сам нашел)))
Попробовал Uni Parser он глючит, мне, надо спарсить часть большого сайта, а он не хочет парсить там где я ему сказал, он парсит все подряд.
Нашел ломаный SJS, но в архиве с парсером троян, парсер нужен на раз, и ради одного раза покупать не хочется.

Разместить рекламу на форуме, расценки тут

Наверх

#2 Илья

Матаноадептикс

Основатель
1 608 сообщений

1 901

Изгалактики Мле́чный Путь

Отправлено 12 Июнь 2016 - 12:57

php

«функция подсчёта длины каждого вектора в векторе векторов, на выходе вектор длин векторов-векторов» © 先生

Наверх

#3 snatch

Почетный

Активный участник
1 516 сообщений

1 826

ИзFuturama

TC Отправлено 12 Июнь 2016 - 14:32

Илья сказал:

php

вот почему то совсем не удивлен ответом.
Пока что нашел ломаный datacol пытаюсь его настроить

Разместить рекламу на форуме, расценки тут

Наверх

#4 c4e8ece0

Ниггер на лошади

Участник
5 419 сообщений

6 991

Изцирка

Отправлено 12 Июнь 2016 - 22:35

snatch сказал:

вот почему то совсем не удивлен ответом.

ну в самом деле, надо лишь освоить пару функций и жизнь станет прекрасна
искать каждый раз корявый софт, чтобы изучить корявые настройки как-то нелогично

вот, например, проходчик по всем урлам вебимхи, написан за 10 минут (не запускал, возможно есть небольшие ошибки):
сам пхп можно освоить за пару дней с полного нуля или пару часов после другого языка

<?php

// Сбор страниц на webimho.ru

$pref = 'http://webimho.ru';
$arr = array($pref.'/');

for($i=0; $i<count($arr); $i++) {
	$url = $arr[$i];
	$page = @file_get_contents($url)
	if(!$page) {
		continue;
	}
	if(!preg_match_all('/href="(.*)"/isu', $page, $m, PREG_SET_ORDER)) {
		continue;
	}

	foreach($m as $k=>$v) {
		$new = $pref . $v[1];
		if(array_search($new, $arr)) {
			continue;
		}
		$arr[] = $new;
	}
}

?>

вот так можно без гемора выкачать какой-нибудь сайтик из линуксовой консоли:

 wget -nc -r http://webimho.ru/

хватит придумывать себе лишний геморрой

"Они не могут ничего, у них лапки котят"
mine.organic

Наверх

#5 isay777

смурфосеошнег

Модератор
2 290 сообщений

2 443

ИзМосква

Отправлено 12 Июнь 2016 - 23:15

datacol !
И есть второй, донк на нем сидит content downloader

мое портфолио - Дешевый и надежный хостинг c SSD --- СНИМАЕМ ПОЗИЦИИ ЧЕТКО

Наверх

#6 azsx

Почетный

Основатель
5 297 сообщений

3 426

Отправлено 13 Июнь 2016 - 01:39

по свету donc я также купил КД, но не осилил егошнего интерфейса. Ссылки то еще генерировать на получение мог, но вот парсинг сложных страниц методом привязки - для меня нечто.
мой выбор на сегодня, httrack + lazarus.
зы
а по теме я хз какой парсер лучше.

По вопросам рекламы на форуме и цены на рекламу

Наверх

#7 snatch

Почетный

Активный участник
1 516 сообщений

1 826

ИзFuturama

TC Отправлено 13 Июнь 2016 - 01:51

Дартаньян сказал:

ну в самом деле, надо лишь освоить пару функций и жизнь станет прекрасна искать каждый раз корявый софт, чтобы изучить корявые настройки как-то нелогично

Может быть и проще освоить, не стану спорить, но мне кажется если по каждому случаю что то учить, вникать долго и не продуктивно, спецом точно не стану за пару дней, да и со временем выученное без повторения забуду, я себя знаю. И за участие в любом случае спасибо.

isay777 сказал:

datacol !

Вроде разобрался с ним более менее, но что то он не все записывает, любые части текста, все вроде парсит, но вот если это набор однотипных ссылок, он парсит первую по списку и все, остальные не пишет в файл. При этом смотрю логи, пишет все ок, ошибок нет.

azsx сказал:

а по теме я хз какой парсер лучше.

Не мне не нужен лучший, просто нужно было спарсить часть сайта, причем даже без картинок.

Разместить рекламу на форуме, расценки тут