cn.edu.hfut.dmic.webcollector.example

类 DemoBingCrawler

java.lang.Object

cn.edu.hfut.dmic.webcollector.crawler.Crawler

cn.edu.hfut.dmic.webcollector.crawler.AutoParseCrawler

cn.edu.hfut.dmic.webcollector.plugin.ram.RamCrawler

cn.edu.hfut.dmic.webcollector.example.DemoBingCrawler

所有已实现的接口:

Executor, Visitor, Requester

public class DemoBingCrawler
extends RamCrawler

本教程演示了WebCollector 2.20的新特性: 1)MetaData: MetaData是每个爬取任务的附加信息,灵活应用MetaData可以大大简化爬虫的设计. 例如Post请求往往需要包含参数，而传统爬虫单纯使用URL来保存参数的方法不适合复杂的POST请求. 一些爬取任务希望获取遍历树的深度信息，这也可以通过MetaData轻松实现，可参见教程DemoDepthCrawler 2)RamCrawler: RamCrawler不需要依赖文件系统或数据库，适合一次性的爬取任务. 如果希望编写长期任务，请使用BreadthCrawler. 本教程实现了一个爬取Bing搜索前n页结果的爬虫，爬虫的结果直接输出到标准输出流 如果希望将爬取结果输出到ArrayList等数据结构中，在类中定义一个ArrayList的成员变量， 输出时将结果插入ArrayList即可，这里需要注意的是爬虫是多线程的，而ArrayList不是线程 安全的，因此在执行插入操作时，可使用synchronized(this){ //插入操作}的方式上锁保证安全。 本教程中对Bing搜索的解析规则可能会随Bing搜索的改版而失效

作者:

hu

字段概要

从类继承的字段 cn.edu.hfut.dmic.webcollector.crawler.AutoParseCrawler

autoParse, LOG, parseImg, regexRule, requester, visitor

从类继承的字段 cn.edu.hfut.dmic.webcollector.crawler.Crawler

dbManager, executeInterval, executor, fetcher, forcedSeeds, maxExecuteCount, nextFilter, resumable, RUNNING, seeds, status, STOPED, threads, topN

构造器概要

构造器

构造器和说明
DemoBingCrawler(String keyword, int maxPageNum)

方法概要

限定符和类型	方法和说明
static String	createBingUrl(String keyword, int pageNum) 根据关键词和页号拼接Bing搜索对应的URL
static void	main(String[] args)
void	visit(Page page, CrawlDatums next)

从类继承的方法 cn.edu.hfut.dmic.webcollector.plugin.ram.RamCrawler

start

从类继承的方法 cn.edu.hfut.dmic.webcollector.crawler.AutoParseCrawler

addRegex, afterParse, execute, getRegexRule, getRequester, getResponse, getVisitor, isAutoParse, isParseImg, parseLink, setAutoParse, setParseImg, setRegexRule, setRequester, setVisitor

从类继承的方法 cn.edu.hfut.dmic.webcollector.crawler.Crawler

addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, getDBManager, getExecuteInterval, getExecutor, getMaxExecuteCount, getNextFilter, getThreads, getTopN, inject, injectForcedSeeds, isResumable, setDBManager, setExecuteInterval, setExecutor, setMaxExecuteCount, setNextFilter, setResumable, setThreads, setTopN, start, stop, toString

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, wait, wait, wait

构造器详细资料

DemoBingCrawler

public DemoBingCrawler(String keyword,
                       int maxPageNum)
                throws Exception

抛出:

Exception

方法详细资料

visit

public void visit(Page page,
                  CrawlDatums next)

main

public static void main(String[] args)
                 throws Exception

抛出:

Exception

createBingUrl

public static String createBingUrl(String keyword,
                                   int pageNum)
                            throws Exception

根据关键词和页号拼接Bing搜索对应的URL

参数:

keyword - 关键词

pageNum - 页号

返回:

对应的URL

抛出:

Exception - 异常