Crawler (WebCollector 2.52 API)

java.lang.Object
- cn.edu.hfut.dmic.webcollector.crawler.Crawler

直接已知子类:

AutoParseCrawler, BerkeleyCrawler
```
public class Crawler
extends Object
```
作者:

hu

字段概要

字段
限定符和类型	字段和说明
`protected DBManager`	`dbManager`
`protected long`	`executeInterval`
`protected Executor`	`executor`
`protected Fetcher`	`fetcher`
`protected CrawlDatums`	`forcedSeeds`
`static org.slf4j.Logger`	`LOG`
`protected int`	`maxExecuteCount`
`protected NextFilter`	`nextFilter`
`protected boolean`	`resumable`
`static int`	`RUNNING`
`protected CrawlDatums`	`seeds`
`protected int`	`status`
`static int`	`STOPED`
`protected int`	`threads`
`protected int`	`topN`

构造器概要

构造器
构造器和说明

Crawler()

Crawler(DBManager dbManager, Executor executor)
根据任务管理器和执行器构造爬虫

构造器
构造器和说明
`Crawler()`
`Crawler(DBManager dbManager, Executor executor)` 根据任务管理器和执行器构造爬虫

方法概要

All Methods Instance Methods Concrete Methods
限定符和类型	方法和说明
`void`	`addSeed(CrawlDatum datum)` 等同于 addSeed(datum, false)
`void`	`addSeed(CrawlDatum datum, boolean force)` 添加种子任务
`void`	`addSeed(CrawlDatums datums)` 等同于 addSeed(datums,false)
`void`	`addSeed(CrawlDatums datums, boolean force)` 添加种子集合
`void`	`addSeed(Links links)` 与addSeed(CrawlDatums datums)类似
`void`	`addSeed(Links links, boolean force)` 与addSeed(CrawlDatums datums, boolean force) 类似
`void`	`addSeed(Links links, String type)` 与addSeed(CrawlDatums datums)类似
`void`	`addSeed(Links links, String type, boolean force)` 与addSeed(CrawlDatums datums, boolean force) 类似
`void`	`addSeed(String url)` 与addSeed(CrawlDatum datum)类似
`void`	`addSeed(String url, boolean force)` 与addSeed(CrawlDatum datum, boolean force)类似
`void`	`addSeed(String url, String type)` 与addSeed(CrawlDatum datum)类似
`void`	`addSeed(String url, String type, boolean force)` 与addSeed(CrawlDatum datum, boolean force)类似
`DBManager`	`getDBManager()` 返回任务管理器
`long`	`getExecuteInterval()` 获取执行间隔
`Executor`	`getExecutor()` 获取每个爬取任务的最大执行次数
`int`	`getMaxExecuteCount()`
`NextFilter`	`getNextFilter()`
`int`	`getThreads()` 返回线程数
`int`	`getTopN()` 返回每次迭代爬取的网页数量上限
`protected void`	`inject()`
`void`	`injectForcedSeeds()`
`boolean`	`isResumable()` 返回是否断点爬取
`void`	`setDBManager(DBManager dbManager)` 设置任务管理器
`void`	`setExecuteInterval(long executeInterval)` 设置执行间隔
`void`	`setExecutor(Executor executor)` 设置执行器
`void`	`setMaxExecuteCount(int maxExecuteCount)` 设置每个爬取任务的最大执行次数，爬取或解析失败都会导致执行失败。
`void`	`setNextFilter(NextFilter nextFilter)`
`void`	`setResumable(boolean resumable)` 设置是否断点爬取
`void`	`setThreads(int threads)` 设置线程数
`void`	`setTopN(int topN)` 设置每次迭代爬取的网页数量上限
`void`	`start(int depth)` 开始爬取，迭代次数为depth
`void`	`stop()` 停止爬虫
`String`	`toString()`

从类继承的方法 java.lang.Object
clone, equals, finalize, getClass, hashCode, notify, notifyAll, wait, wait, wait

- 字段详细资料
  - LOG
```
public static final org.slf4j.Logger LOG
```
  - status
```
protected int status
```
  - RUNNING
```
public static final int RUNNING
```
    另请参阅:
    
    常量字段值
  - STOPED
```
public static final int STOPED
```
    另请参阅:
    
    常量字段值
  - resumable
```
protected boolean resumable
```
  - threads
```
protected int threads
```
  - topN
```
protected int topN
```
  - executeInterval
```
protected long executeInterval
```
  - seeds
```
protected CrawlDatums seeds
```
  - forcedSeeds
```
protected CrawlDatums forcedSeeds
```
  - fetcher
```
protected Fetcher fetcher
```
  - maxExecuteCount
```
protected int maxExecuteCount
```
  - executor
```
protected Executor executor
```
  - nextFilter
```
protected NextFilter nextFilter
```
  - dbManager
```
protected DBManager dbManager
```
- 构造器详细资料
  - Crawler
```
public Crawler()
```
  - Crawler
```
public Crawler(DBManager dbManager,
               Executor executor)
```
    根据任务管理器和执行器构造爬虫
    
    参数:
    
    dbManager - 任务管理器
    
    executor - 执行器
- 方法详细资料
  - inject
```
protected void inject()
               throws Exception
```
    抛出:
    
    Exception
  - injectForcedSeeds
```
public void injectForcedSeeds()
                       throws Exception
```
    抛出:
    
    Exception
  - start
```
public void start(int depth)
           throws Exception
```
    开始爬取，迭代次数为depth
    
    参数:
    
    depth - 迭代次数
    
    抛出:
    
    Exception - 异常
  - stop
```
public void stop()
```
    停止爬虫
  - addSeed
```
public void addSeed(CrawlDatum datum,
                    boolean force)
```
    添加种子任务
    
    参数:
    
    datum - 种子任务
    
    force - 如果添加的种子是已爬取的任务，当force为true时，会强制注入种子，当force为false时，会忽略该种子
  - addSeed
```
public void addSeed(CrawlDatum datum)
```
    等同于 addSeed(datum, false)
    
    参数:
    
    datum - 种子任务
  - addSeed
```
public void addSeed(CrawlDatums datums,
                    boolean force)
```
    添加种子集合
    
    参数:
    
    datums - 种子集合
    
    force - 如果添加的种子是已爬取的任务，当force为true时，会强制注入种子，当force为false时，会忽略该种子
  - addSeed
```
public void addSeed(CrawlDatums datums)
```
    等同于 addSeed(datums,false)
    
    参数:
    
    datums - 种子任务集合
  - addSeed
```
public void addSeed(Links links,
                    String type,
                    boolean force)
```
    与addSeed(CrawlDatums datums, boolean force) 类似
    
    参数:
    
    links - 种子URL集合
    
    type - 种子的type标识信息
    
    force - 是否强制注入
  - addSeed
```
public void addSeed(Links links,
                    boolean force)
```
    与addSeed(CrawlDatums datums, boolean force) 类似
    
    参数:
    
    links - 种子URL集合
    
    force - 是否强制注入
  - addSeed
```
public void addSeed(Links links,
                    String type)
```
    与addSeed(CrawlDatums datums)类似
    
    参数:
    
    links - 种子URL集合
    
    type - 种子的type标识信息
  - addSeed
```
public void addSeed(Links links)
```
    与addSeed(CrawlDatums datums)类似
    
    参数:
    
    links - 种子URL集合
  - addSeed
```
public void addSeed(String url,
                    String type,
                    boolean force)
```
    与addSeed(CrawlDatum datum, boolean force)类似
    
    参数:
    
    url - 种子URL
    
    type - 种子的type标识信息
    
    force - 是否强制注入
  - addSeed
```
public void addSeed(String url,
                    boolean force)
```
    与addSeed(CrawlDatum datum, boolean force)类似
    
    参数:
    
    url - 种子URL
    
    force - 是否强制注入
  - addSeed
```
public void addSeed(String url,
                    String type)
```
    与addSeed(CrawlDatum datum)类似
    
    参数:
    
    type - 种子的type标识信息
    
    url - 种子URL
  - addSeed
```
public void addSeed(String url)
```
    与addSeed(CrawlDatum datum)类似
    
    参数:
    
    url - 种子URL
  - isResumable
```
public boolean isResumable()
```
    返回是否断点爬取
    
    返回:
    
    是否断点爬取
  - setResumable
```
public void setResumable(boolean resumable)
```
    设置是否断点爬取
    
    参数:
    
    resumable - 是否断点爬取
  - getThreads
```
public int getThreads()
```
    返回线程数
    
    返回:
    
    线程数
  - setThreads
```
public void setThreads(int threads)
```
    设置线程数
    
    参数:
    
    threads - 线程数
  - getMaxExecuteCount
```
public int getMaxExecuteCount()
```
  - setMaxExecuteCount
```
public void setMaxExecuteCount(int maxExecuteCount)
```
    设置每个爬取任务的最大执行次数，爬取或解析失败都会导致执行失败。当一个任务执行失败时，爬虫会在后面的迭代中重新执行该任务，当该任务执行失败的次数超过最大执行次数时，任务生成器会忽略该任务
    
    参数:
    
    maxExecuteCount - 每个爬取任务的最大执行次数
  - getExecutor
```
public Executor getExecutor()
```
    获取每个爬取任务的最大执行次数
    
    返回:
    
    每个爬取任务的最大执行次数
  - setExecutor
```
public void setExecutor(Executor executor)
```
    设置执行器
    
    参数:
    
    executor - 执行器
  - getTopN
```
public int getTopN()
```
    返回每次迭代爬取的网页数量上限
    
    返回:
    
    每次迭代爬取的网页数量上限
  - setTopN
```
public void setTopN(int topN)
```
    设置每次迭代爬取的网页数量上限
    
    参数:
    
    topN - 每次迭代爬取的网页数量上限
  - getExecuteInterval
```
public long getExecuteInterval()
```
    获取执行间隔
    
    返回:
    
    执行间隔
  - setExecuteInterval
```
public void setExecuteInterval(long executeInterval)
```
    设置执行间隔
    
    参数:
    
    executeInterval - 执行间隔
  - getDBManager
```
public DBManager getDBManager()
```
    返回任务管理器
    
    返回:
    
    任务管理器
  - setDBManager
```
public void setDBManager(DBManager dbManager)
```
    设置任务管理器
    
    参数:
    
    dbManager - 任务管理器
  - getNextFilter
```
public NextFilter getNextFilter()
```
  - setNextFilter
```
public void setNextFilter(NextFilter nextFilter)
```
  - toString
```
public String toString()
```
    覆盖:
    
    toString 在类中 Object

类 Crawler

字段概要

构造器概要

方法概要

从类继承的方法 java.lang.Object

字段详细资料

LOG

status

RUNNING

STOPED

resumable

threads

topN

executeInterval

seeds

forcedSeeds

fetcher

maxExecuteCount

executor

nextFilter

dbManager

构造器详细资料

Crawler

Crawler

方法详细资料

inject

injectForcedSeeds

start

stop

addSeed

addSeed

addSeed

addSeed

addSeed

addSeed

addSeed

addSeed

addSeed

addSeed

addSeed

addSeed

isResumable

setResumable

getThreads

setThreads

getMaxExecuteCount

setMaxExecuteCount

getExecutor

setExecutor

getTopN

setTopN

getExecuteInterval

setExecuteInterval

getDBManager

setDBManager

getNextFilter

setNextFilter

toString