A B C D E G I J P R S T V

A

AbstractDownloader - com.github.vector4wang.downloader中的类

自定义下载器

AbstractDownloader() - 类 的构造器com.github.vector4wang.downloader.AbstractDownloader

AbstractProxyExtractor - com.github.vector4wang.proxy中的类

Created with IDEA User: vector Data: 2018/7/17 0017 Time: 11:54 Description:

AbstractProxyExtractor() - 类 的构造器com.github.vector4wang.proxy.AbstractProxyExtractor

addWaitCrawlerUrl(String) - 类 中的方法com.github.vector4wang.VWCrawler

将url保存在目标集合中

B

build() - 类 中的方法com.github.vector4wang.VWCrawler.Builder

Builder() - 类 的构造器com.github.vector4wang.VWCrawler.Builder

C

com.github.vector4wang - 程序包 com.github.vector4wang

com.github.vector4wang.annotation - 程序包 com.github.vector4wang.annotation

com.github.vector4wang.downloader - 程序包 com.github.vector4wang.downloader

com.github.vector4wang.model - 程序包 com.github.vector4wang.model

com.github.vector4wang.proxy - 程序包 com.github.vector4wang.proxy

com.github.vector4wang.service - 程序包 com.github.vector4wang.service

com.github.vector4wang.thread - 程序包 com.github.vector4wang.thread

com.github.vector4wang.util - 程序包 com.github.vector4wang.util

CrawlerService<T> - com.github.vector4wang.service中的类

爬虫服务，可以自定义url是否存在(已抓取),自定义url是否要继续解析

CrawlerService() - 类 的构造器com.github.vector4wang.service.CrawlerService

CrawlerThread - com.github.vector4wang.thread中的类

CrawlerThread(VWCrawler) - 类 的构造器com.github.vector4wang.thread.CrawlerThread

CrawlerUtil - com.github.vector4wang.util中的类

CrawlerUtil() - 类 的构造器com.github.vector4wang.util.CrawlerUtil

CssSelector - com.github.vector4wang.annotation中的注释类型

D

downloadPage(PageRequest) - 类 中的方法com.github.vector4wang.downloader.AbstractDownloader

downloadPage(PageRequest) - 类 中的方法com.github.vector4wang.downloader.JsoupDownloader

E

extractProxyIp() - 接口 中的方法com.github.vector4wang.proxy.ProxyExtract

extractProxyIp() - 类 中的方法com.github.vector4wang.proxy.RandomProxy

G

generateUrl() - 类 中的方法com.github.vector4wang.VWCrawler

GenericsUtils - com.github.vector4wang.util中的类

GenericsUtils() - 类 的构造器com.github.vector4wang.util.GenericsUtils

getCrawledUrls() - 类 中的方法com.github.vector4wang.VWCrawler

getCrawlerService() - 类 中的方法com.github.vector4wang.VWCrawler

getDownloader() - 类 中的方法com.github.vector4wang.VWCrawler

getHeader() - 类 中的方法com.github.vector4wang.model.PageRequest

getHeaderMap() - 类 中的方法com.github.vector4wang.VWCrawler

getIp() - 类 中的方法com.github.vector4wang.proxy.Proxy2

getPort() - 类 中的方法com.github.vector4wang.proxy.Proxy2

getProxy() - 类 中的方法com.github.vector4wang.model.PageRequest

getProxy2s() - 类 中的方法com.github.vector4wang.proxy.AbstractProxyExtractor

getProxyExtractor() - 类 中的方法com.github.vector4wang.VWCrawler

getRetryCount() - 类 中的方法com.github.vector4wang.VWCrawler

getSeedsPageUrlRex() - 类 中的方法com.github.vector4wang.VWCrawler

getSuperClassGenericType(Class) - 类 中的静态方法com.github.vector4wang.util.GenericsUtils

通过反射,获得定义Class时声明的父类的范型参数的类型.

getSuperClassGenericType(Class, int) - 类 中的静态方法com.github.vector4wang.util.GenericsUtils

通过反射,获得定义Class时声明的父类的范型参数的类型.

getTargetUrlRex() - 类 中的方法com.github.vector4wang.VWCrawler

getThreadCount() - 类 中的方法com.github.vector4wang.VWCrawler

getTimeout() - 类 中的方法com.github.vector4wang.model.PageRequest

getTimeout() - 类 中的方法com.github.vector4wang.VWCrawler

getUrl() - 类 中的方法com.github.vector4wang.model.PageRequest

getUrl() - 类 中的方法com.github.vector4wang.VWCrawler

getWaitCrawlerUrls() - 类 中的方法com.github.vector4wang.VWCrawler

I

isContinue(Document) - 类 中的方法com.github.vector4wang.service.CrawlerService

当前待抓取的页面是否遇到WAF，账号是否被封 默认返回true，是否需要重试链接，根据目标页面返回的值做处理

isExist(String) - 类 中的方法com.github.vector4wang.service.CrawlerService

待抓取的url，是否已经抓取过 默认返回false，可根据数据库存储去判断

isMatch(String, String) - 类 中的静态方法com.github.vector4wang.util.CrawlerUtil

isRunning() - 类 中的方法com.github.vector4wang.thread.CrawlerThread

isTargetUrl(String) - 类 中的方法com.github.vector4wang.VWCrawler

J

JsoupDownloader - com.github.vector4wang.downloader中的类

JsoupDownloader() - 类 的构造器com.github.vector4wang.downloader.JsoupDownloader

JsoupUtil - com.github.vector4wang.util中的类

JsoupUtil() - 类 的构造器com.github.vector4wang.util.JsoupUtil

P

Page - com.github.vector4wang.model中的类

Page() - 类 的构造器com.github.vector4wang.model.Page

PageRequest - com.github.vector4wang.model中的类

PageRequest() - 类 的构造器com.github.vector4wang.model.PageRequest

PageRequest(String, int, Proxy, Map<String, String>) - 类 的构造器com.github.vector4wang.model.PageRequest

parsePage(Document, T) - 类 中的方法com.github.vector4wang.service.CrawlerService

自定义解析页面的方法

parseValueWithType(String, Field) - 类 中的静态方法com.github.vector4wang.util.ReflectUtils

根据类型将指定参数转换成对应的类型

Proxy2 - com.github.vector4wang.proxy中的类

Proxy2() - 类 的构造器com.github.vector4wang.proxy.Proxy2

Proxy2(String, int) - 类 的构造器com.github.vector4wang.proxy.Proxy2

ProxyExtract - com.github.vector4wang.proxy中的接口

R

random - 类 中的静态变量com.github.vector4wang.proxy.RandomProxy

RandomProxy - com.github.vector4wang.proxy中的类

Created with IDEA User: vector Data: 2018/7/17 0017 Time: 11:48 Description:

RandomProxy() - 类 的构造器com.github.vector4wang.proxy.RandomProxy

ReflectUtils - com.github.vector4wang.util中的类

反射工具类 https://www.cnblogs.com/panie2015/p/5571309.html

ReflectUtils() - 类 的构造器com.github.vector4wang.util.ReflectUtils

run() - 类 中的方法com.github.vector4wang.thread.CrawlerThread

S

save(T) - 类 中的方法com.github.vector4wang.service.CrawlerService

保存 最终的对象

SelectType - com.github.vector4wang.util中的枚举

setAbsProxyExtracter(AbstractProxyExtractor) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setCookie(String, String) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setCookies(Map<String, String>) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setDownloader(AbstractDownloader) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setHeader(Map<String, String>) - 类 中的方法com.github.vector4wang.model.PageRequest

setHeader(String, String) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setHeaders(HashMap<String, String>) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setIp(String) - 类 中的方法com.github.vector4wang.proxy.Proxy2

setPageParser(CrawlerService) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setPort(int) - 类 中的方法com.github.vector4wang.proxy.Proxy2

setProxy(Proxy) - 类 中的方法com.github.vector4wang.model.PageRequest

setProxy2s(List<Proxy2>) - 类 中的方法com.github.vector4wang.proxy.AbstractProxyExtractor

setProxyExtractor(AbstractProxyExtractor) - 类 中的方法com.github.vector4wang.VWCrawler

setProxys(List<Proxy2>) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setRetryCount(int) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setRunning(boolean) - 类 中的方法com.github.vector4wang.thread.CrawlerThread

setSeedsPage(String...) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setSeedsPageUrlRex(String...) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

设置种子页面URL的正则表达式

setSeedUrl(String...) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setTargetUrlRex(String...) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

设置目标页URL的正则表达式

setThreadCount(int) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setTimeout(int) - 类 中的方法com.github.vector4wang.model.PageRequest

setTimeOut(int) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setUrl(String) - 类 中的方法com.github.vector4wang.model.PageRequest

setUrl(String) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

start() - 类 中的方法com.github.vector4wang.VWCrawler

stop() - 类 中的方法com.github.vector4wang.VWCrawler

停止爬虫

T

tryStop() - 类 中的方法com.github.vector4wang.VWCrawler

尝试停止(正常情况的停止)

V

valueOf(String) - 枚举 中的静态方法com.github.vector4wang.util.SelectType

返回带有指定名称的该类型的枚举常量。

values() - 枚举 中的静态方法com.github.vector4wang.util.SelectType

按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。

VWCrawler - com.github.vector4wang中的类

vw爬虫的简单配置中心

VWCrawler() - 类 的构造器com.github.vector4wang.VWCrawler

VWCrawler.Builder - com.github.vector4wang中的类

比较流行的链式编程

A B C D E G I J P R S T V