cn.edu.hfut.dmic.webcollector.plugin.berkeley

类 BreadthCrawler

java.lang.Object

cn.edu.hfut.dmic.webcollector.crawler.Crawler

cn.edu.hfut.dmic.webcollector.crawler.AutoParseCrawler

cn.edu.hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler

所有已实现的接口:

Executor, Visitor, Requester

直接已知子类:

DemoDepthCrawler, DemoHashSetNextFilter, DemoNextFilter, DemoPostCrawler, TutorialCrawler

public abstract class BreadthCrawler
extends AutoParseCrawler

BreadthCrawler是基于Berkeley DB的插件,于2.20版重新设计 BreadthCrawler可以设置正则规律，让遍历器自动根据URL的正则遍历网站，可以关闭这个功能，自定义遍历 如果autoParse设置为true，遍历器会自动解析页面中符合正则的链接，加入后续爬取任务，否则不自动解析链接。 注意，爬虫会保证爬取任务的唯一性，也就是会自动根据CrawlDatum的key进行去重，默认情况下key就是URL， 所以用户在编写爬虫时完全不必考虑生成重复URL的问题。 断点爬取中，爬虫仍然会保证爬取任务的唯一性。

作者:

hu

字段概要

从类继承的字段 cn.edu.hfut.dmic.webcollector.crawler.AutoParseCrawler

autoParse, LOG, parseImg, regexRule, requester, visitor

从类继承的字段 cn.edu.hfut.dmic.webcollector.crawler.Crawler

dbManager, executeInterval, executor, fetcher, forcedSeeds, maxExecuteCount, nextFilter, resumable, RUNNING, seeds, status, STOPED, threads, topN

构造器概要

构造器

构造器和说明
BreadthCrawler(String crawlPath, boolean autoParse) 构造一个基于伯克利DB的爬虫 伯克利DB文件夹为crawlPath，crawlPath中维护了历史URL等信息 不同任务不要使用相同的crawlPath 两个使用相同crawlPath的爬虫并行爬取会产生错误

方法概要

从类继承的方法 cn.edu.hfut.dmic.webcollector.crawler.AutoParseCrawler

addRegex, afterParse, execute, getRegexRule, getRequester, getResponse, getVisitor, isAutoParse, isParseImg, parseLink, setAutoParse, setParseImg, setRegexRule, setRequester, setVisitor

从类继承的方法 cn.edu.hfut.dmic.webcollector.crawler.Crawler

addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, getDBManager, getExecuteInterval, getExecutor, getMaxExecuteCount, getNextFilter, getThreads, getTopN, inject, injectForcedSeeds, isResumable, setDBManager, setExecuteInterval, setExecutor, setMaxExecuteCount, setNextFilter, setResumable, setThreads, setTopN, start, stop, toString

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, wait, wait, wait

从接口继承的方法 cn.edu.hfut.dmic.webcollector.fetcher.Visitor

visit

构造器详细资料

BreadthCrawler

public BreadthCrawler(String crawlPath,
                      boolean autoParse)

构造一个基于伯克利DB的爬虫 伯克利DB文件夹为crawlPath，crawlPath中维护了历史URL等信息 不同任务不要使用相同的crawlPath 两个使用相同crawlPath的爬虫并行爬取会产生错误

参数:

crawlPath - 伯克利DB使用的文件夹

autoParse - 是否根据设置的正则自动探测新URL