com.github.vector4wang.service

类 CrawlerService<T>

java.lang.Object

com.github.vector4wang.service.CrawlerService<T>

public abstract class CrawlerService<T>
extends Object

爬虫服务，可以自定义url是否存在(已抓取),自定义url是否要继续解析

作者:

: wangxc

构造器概要

构造器

构造器和说明
CrawlerService()

方法概要

限定符和类型	方法和说明
boolean	isContinue(org.jsoup.nodes.Document document) 当前待抓取的页面是否遇到WAP，账号是否被封 默认返回true，是否需要重试链接，根据目标页面返回的值做处理
boolean	isExist(String url) 待抓取的url，是否已经抓取过 默认返回false，可根据数据库存储去判断
abstract void	parsePage(org.jsoup.nodes.Document doc, T pageObj) 自定义解析页面的方法

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

CrawlerService

public CrawlerService()

方法详细资料

isExist

public boolean isExist(String url)

待抓取的url，是否已经抓取过 默认返回false，可根据数据库存储去判断

参数:

url - 即将要抓取的url

返回:

是否存在

isContinue

public boolean isContinue(org.jsoup.nodes.Document document)

当前待抓取的页面是否遇到WAP，账号是否被封 默认返回true，是否需要重试链接，根据目标页面返回的值做处理

参数:

document - 即将要解析的document

返回:

是否继续

parsePage

public abstract void parsePage(org.jsoup.nodes.Document doc,
                               T pageObj)

自定义解析页面的方法

参数:

doc - 文档内容

pageObj - 封装的对象