com.github.vector4wang.service

类 CrawlerService<T>

java.lang.Object

com.github.vector4wang.service.CrawlerService<T>

public abstract class CrawlerService<T>
extends Object

爬虫服务，可以自定义url是否存在(已抓取),自定义url是否要继续解析

作者:

: wangxc

构造器概要

构造器

构造器和说明
CrawlerService()

方法概要

限定符和类型	方法和说明
boolean	isContinue(org.jsoup.nodes.Document document) 当前待抓取的页面是否遇到WAF，账号是否被封 默认返回true，是否需要重试链接，根据目标页面返回的值做处理
boolean	isExist(String url) 待抓取的url，是否已经抓取过 默认返回false，可根据数据库存储去判断
abstract void	parsePage(org.jsoup.nodes.Document doc, T pageObj) 自定义解析页面的方法
abstract void	save(T pageObj) 保存 最终的对象

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

CrawlerService

public CrawlerService()

方法详细资料

isExist

public boolean isExist(String url)

待抓取的url，是否已经抓取过 默认返回false，可根据数据库存储去判断

参数:

url - 即将要抓取的url

返回:

是否存在

isContinue

public boolean isContinue(org.jsoup.nodes.Document document)

当前待抓取的页面是否遇到WAF，账号是否被封 默认返回true，是否需要重试链接，根据目标页面返回的值做处理

参数:

document - 即将要解析的document

返回:

是否继续

parsePage

public abstract void parsePage(org.jsoup.nodes.Document doc,
                               T pageObj)

自定义解析页面的方法

参数:

doc - 文档内容

pageObj - 封装的对象

save

public abstract void save(T pageObj)

保存 最终的对象

参数:

pageObj - 页面对象