A B C D E G I J P R S V

A

AbstractDownloader - com.github.vector4wang.downloader中的类

自定义下载器

AbstractDownloader() - 类 的构造器com.github.vector4wang.downloader.AbstractDownloader

B

build() - 类 中的方法com.github.vector4wang.VWCrawler.Builder

Builder() - 类 的构造器com.github.vector4wang.VWCrawler.Builder

C

com.github.vector4wang - 程序包 com.github.vector4wang

com.github.vector4wang.annotation - 程序包 com.github.vector4wang.annotation

com.github.vector4wang.downloader - 程序包 com.github.vector4wang.downloader

com.github.vector4wang.model - 程序包 com.github.vector4wang.model

com.github.vector4wang.proxy - 程序包 com.github.vector4wang.proxy

com.github.vector4wang.service - 程序包 com.github.vector4wang.service

com.github.vector4wang.thread - 程序包 com.github.vector4wang.thread

com.github.vector4wang.util - 程序包 com.github.vector4wang.util

CrawlerService<T> - com.github.vector4wang.service中的类

爬虫服务，可以自定义url是否存在(已抓取),自定义url是否要继续解析

CrawlerService() - 类 的构造器com.github.vector4wang.service.CrawlerService

CrawlerThread - com.github.vector4wang.thread中的类

CrawlerThread(VWCrawler) - 类 的构造器com.github.vector4wang.thread.CrawlerThread

CrawlerUtil - com.github.vector4wang.util中的类

CrawlerUtil() - 类 的构造器com.github.vector4wang.util.CrawlerUtil

CssSelector - com.github.vector4wang.annotation中的注释类型

D

downloadPage(PageRequest) - 类 中的方法com.github.vector4wang.downloader.AbstractDownloader

downloadPage(PageRequest) - 类 中的方法com.github.vector4wang.downloader.JsoupDownloader

E

extractProxyIp() - 类 中的方法com.github.vector4wang.proxy.ProxyBuilder

G

getCrawledUrls() - 类 中的方法com.github.vector4wang.VWCrawler

getCrawlerService() - 类 中的方法com.github.vector4wang.VWCrawler

getCurrentProxy() - 类 中的方法com.github.vector4wang.VWCrawler

getDownloader() - 类 中的方法com.github.vector4wang.VWCrawler

getHeader() - 类 中的方法com.github.vector4wang.model.PageRequest

getHeaderMap() - 类 中的方法com.github.vector4wang.VWCrawler

getIp() - 类 中的方法com.github.vector4wang.proxy.ProxyBuilder.Proxy2

getPort() - 类 中的方法com.github.vector4wang.proxy.ProxyBuilder.Proxy2

getProxy() - 类 中的方法com.github.vector4wang.model.PageRequest

getProxy(List<Proxy>, ProxyBuilder.Type) - 类 中的静态方法com.github.vector4wang.util.JsoupUtil

getProxys() - 类 中的方法com.github.vector4wang.VWCrawler

getProxyType() - 类 中的方法com.github.vector4wang.VWCrawler

getSeedsPageUrlRex() - 类 中的方法com.github.vector4wang.VWCrawler

getTargetUrlRex() - 类 中的方法com.github.vector4wang.VWCrawler

getThreadCount() - 类 中的方法com.github.vector4wang.VWCrawler

getTimeout() - 类 中的方法com.github.vector4wang.model.PageRequest

getTimeout() - 类 中的方法com.github.vector4wang.VWCrawler

getUrl() - 类 中的方法com.github.vector4wang.model.PageRequest

getUrl() - 类 中的方法com.github.vector4wang.VWCrawler

getWaitCrawlerUrls() - 类 中的方法com.github.vector4wang.VWCrawler

I

isContinue(Document) - 类 中的方法com.github.vector4wang.service.CrawlerService

当前待抓取的页面是否遇到WAP，账号是否被封 默认返回true，是否需要重试链接，根据目标页面返回的值做处理

isExist(String) - 类 中的方法com.github.vector4wang.service.CrawlerService

待抓取的url，是否已经抓取过 默认返回false，可根据数据库存储去判断

isMatch(String, String) - 类 中的静态方法com.github.vector4wang.util.CrawlerUtil

isTargetUrl(String) - 类 中的方法com.github.vector4wang.VWCrawler

J

JsoupDownloader - com.github.vector4wang.downloader中的类

JsoupDownloader() - 类 的构造器com.github.vector4wang.downloader.JsoupDownloader

JsoupUtil - com.github.vector4wang.util中的类

JsoupUtil() - 类 的构造器com.github.vector4wang.util.JsoupUtil

P

Page - com.github.vector4wang.model中的类

Page() - 类 的构造器com.github.vector4wang.model.Page

PageRequest - com.github.vector4wang.model中的类

PageRequest() - 类 的构造器com.github.vector4wang.model.PageRequest

PageRequest(String, int, Proxy, Map<String, String>) - 类 的构造器com.github.vector4wang.model.PageRequest

parsePage(Document, T) - 类 中的方法com.github.vector4wang.service.CrawlerService

自定义解析页面的方法

Proxy2() - 类 的构造器com.github.vector4wang.proxy.ProxyBuilder.Proxy2

Proxy2(String, int) - 类 的构造器com.github.vector4wang.proxy.ProxyBuilder.Proxy2

ProxyBuilder - com.github.vector4wang.proxy中的类

ProxyBuilder() - 类 的构造器com.github.vector4wang.proxy.ProxyBuilder

ProxyBuilder.Proxy2 - com.github.vector4wang.proxy中的类

ProxyBuilder.Type - com.github.vector4wang.proxy中的枚举

R

random - 类 中的静态变量com.github.vector4wang.util.JsoupUtil

run() - 类 中的方法com.github.vector4wang.thread.CrawlerThread

S

SelectType - com.github.vector4wang.util中的枚举

setCrawledUrls(Set<String>) - 类 中的方法com.github.vector4wang.VWCrawler

setCrawlerService(CrawlerService) - 类 中的方法com.github.vector4wang.VWCrawler

setCurrentProxy(Proxy) - 类 中的方法com.github.vector4wang.VWCrawler

setDownloader(AbstractDownloader) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setDownloader(AbstractDownloader) - 类 中的方法com.github.vector4wang.VWCrawler

setHeader(Map<String, String>) - 类 中的方法com.github.vector4wang.model.PageRequest

setHeader(String, String) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setHeaderMap(Map<String, String>) - 类 中的方法com.github.vector4wang.VWCrawler

setHeaders(HashMap<String, String>) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setIp(String) - 类 中的方法com.github.vector4wang.proxy.ProxyBuilder.Proxy2

setPageParser(CrawlerService) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setPort(int) - 类 中的方法com.github.vector4wang.proxy.ProxyBuilder.Proxy2

setProxy(Proxy) - 类 中的方法com.github.vector4wang.model.PageRequest

setProxys(ProxyBuilder, ProxyBuilder.Type) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setProxys(List<Proxy>) - 类 中的方法com.github.vector4wang.VWCrawler

setProxyType(ProxyBuilder.Type) - 类 中的方法com.github.vector4wang.VWCrawler

setSeedsPage(String...) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setSeedsPageUrlRex(Set<String>) - 类 中的方法com.github.vector4wang.VWCrawler

setSeedUrl(String...) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setTargetUrlRex(Set<String>) - 类 中的方法com.github.vector4wang.VWCrawler

setThreadCount(int) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setThreadCount(int) - 类 中的方法com.github.vector4wang.VWCrawler

setTimeout(int) - 类 中的方法com.github.vector4wang.model.PageRequest

setTimeOut(int) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setTimeout(int) - 类 中的方法com.github.vector4wang.VWCrawler

setUrl(String) - 类 中的方法com.github.vector4wang.model.PageRequest

setUrl(String) - 类 中的方法com.github.vector4wang.VWCrawler.Builder

setUrl(String) - 类 中的方法com.github.vector4wang.VWCrawler

setWaitCrawlerUrls(LinkedBlockingQueue<String>) - 类 中的方法com.github.vector4wang.VWCrawler

start() - 类 中的方法com.github.vector4wang.VWCrawler

V

valueOf(String) - 枚举 中的静态方法com.github.vector4wang.proxy.ProxyBuilder.Type

返回带有指定名称的该类型的枚举常量。

valueOf(String) - 枚举 中的静态方法com.github.vector4wang.util.SelectType

返回带有指定名称的该类型的枚举常量。

values() - 枚举 中的静态方法com.github.vector4wang.proxy.ProxyBuilder.Type

按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。

values() - 枚举 中的静态方法com.github.vector4wang.util.SelectType

按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。

VWCrawler - com.github.vector4wang中的类

vw爬虫的简单配置中心

VWCrawler() - 类 的构造器com.github.vector4wang.VWCrawler

VWCrawler.Builder - com.github.vector4wang中的类

A B C D E G I J P R S V