cn.edu.hfut.dmic.webcollector.example

类 DemoPostCrawler

java.lang.Object

cn.edu.hfut.dmic.webcollector.crawler.Crawler

cn.edu.hfut.dmic.webcollector.crawler.AutoParseCrawler

cn.edu.hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler

cn.edu.hfut.dmic.webcollector.example.DemoPostCrawler

所有已实现的接口:

Executor, Visitor, Requester

public class DemoPostCrawler
extends BreadthCrawler

本教程演示了如何自定义http请求 有些爬取任务中，可能只有部分URL需要使用POST请求，我们可以利用2.20版本中添 加的MetaData功能，来完成POST请求的定制。 使用MetaData除了可以标记URL是否需要使用POST，还可以存储POST所需的参数信息 教程中还演示了如何定制Cookie、User-Agent等http请求头信息 WebCollector中已经包含了org.json的jar包

作者:

hu

字段概要

从类继承的字段 cn.edu.hfut.dmic.webcollector.crawler.AutoParseCrawler

autoParse, LOG, parseImg, regexRule, requester, visitor

从类继承的字段 cn.edu.hfut.dmic.webcollector.crawler.Crawler

dbManager, executeInterval, executor, fetcher, forcedSeeds, maxExecuteCount, nextFilter, resumable, RUNNING, seeds, status, STOPED, threads, topN

构造器概要

构造器

构造器和说明
DemoPostCrawler(String crawlPath, boolean autoParse) 假设我们要爬取三个链接 1)http://www.A.com/index.php 需要POST，并且需要附带数据id=a 2)http://www.B.com/index.php?

方法概要

限定符和类型	方法和说明
HttpResponse	getResponse(CrawlDatum crawlDatum)
static void	main(String[] args)
void	visit(Page page, CrawlDatums next)

从类继承的方法 cn.edu.hfut.dmic.webcollector.crawler.AutoParseCrawler

addRegex, afterParse, execute, getRegexRule, getRequester, getVisitor, isAutoParse, isParseImg, parseLink, setAutoParse, setParseImg, setRegexRule, setRequester, setVisitor

从类继承的方法 cn.edu.hfut.dmic.webcollector.crawler.Crawler

addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, addSeed, getDBManager, getExecuteInterval, getExecutor, getMaxExecuteCount, getNextFilter, getThreads, getTopN, inject, injectForcedSeeds, isResumable, setDBManager, setExecuteInterval, setExecutor, setMaxExecuteCount, setNextFilter, setResumable, setThreads, setTopN, start, stop, toString

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, wait, wait, wait

构造器详细资料

DemoPostCrawler

public DemoPostCrawler(String crawlPath,
                       boolean autoParse)

假设我们要爬取三个链接 1)http://www.A.com/index.php 需要POST，并且需要附带数据id=a 2)http://www.B.com/index.php?id=b 需要POST，不需要附带数据 3)http://www.C.com/ 需要GET

方法详细资料

getResponse

public HttpResponse getResponse(CrawlDatum crawlDatum)
                         throws Exception

指定者:

getResponse 在接口中 Requester

覆盖:

getResponse 在类中 AutoParseCrawler

抛出:

Exception

visit

public void visit(Page page,
                  CrawlDatums next)

main

public static void main(String[] args)
                 throws Exception

参数:

args - 参数

抛出:

Exception - 异常