类的使用
cn.edu.hfut.dmic.webcollector.model.CrawlDatum

使用CrawlDatum的程序包

程序包	说明
cn.edu.hfut.dmic.webcollector.crawldb
cn.edu.hfut.dmic.webcollector.crawler
cn.edu.hfut.dmic.webcollector.example
cn.edu.hfut.dmic.webcollector.fetcher
cn.edu.hfut.dmic.webcollector.model
cn.edu.hfut.dmic.webcollector.net
cn.edu.hfut.dmic.webcollector.plugin.berkeley
cn.edu.hfut.dmic.webcollector.plugin.nextfilter
cn.edu.hfut.dmic.webcollector.plugin.ram
cn.edu.hfut.dmic.webcollector.util

cn.edu.hfut.dmic.webcollector.crawldb中CrawlDatum的使用

返回CrawlDatum的cn.edu.hfut.dmic.webcollector.crawldb中的方法

限定符和类型	方法和说明
CrawlDatum	Generator.next()

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.crawldb中的方法

限定符和类型	方法和说明
void	Injector.inject(CrawlDatum datum)
void	DBManager.inject(CrawlDatum datum)
abstract void	DBManager.inject(CrawlDatum datum, boolean force)
void	SegmentWriter.writeFetchSegment(CrawlDatum fetchDatum)

cn.edu.hfut.dmic.webcollector.crawler中CrawlDatum的使用

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.crawler中的方法

限定符和类型	方法和说明
void	Crawler.addSeed(CrawlDatum datum) 等同于 addSeed(datum, false)
void	Crawler.addSeed(CrawlDatum datum, boolean force) 添加种子任务
void	AutoParseCrawler.execute(CrawlDatum datum, CrawlDatums next)
HttpResponse	AutoParseCrawler.getResponse(CrawlDatum crawlDatum)

cn.edu.hfut.dmic.webcollector.example中CrawlDatum的使用

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.example中的方法

限定符和类型	方法和说明
HttpResponse	DemoPostCrawler.getResponse(CrawlDatum crawlDatum)

cn.edu.hfut.dmic.webcollector.fetcher中CrawlDatum的使用

声明为CrawlDatum的cn.edu.hfut.dmic.webcollector.fetcher中的字段

限定符和类型	字段和说明
CrawlDatum	Fetcher.FetchItem.datum

返回CrawlDatum的cn.edu.hfut.dmic.webcollector.fetcher中的方法

限定符和类型	方法和说明
CrawlDatum	NextFilter.filter(CrawlDatum nextItem, CrawlDatum referer) if the crawler visit http://a.com/ and detect http://a.com/b.html then nextItem = http://a.com/b.html and referer = http://a.com/ if you want to filter nextItem, return null else you should return nextItem

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.fetcher中的方法

限定符和类型	方法和说明
void	Executor.execute(CrawlDatum datum, CrawlDatums next)
CrawlDatum	NextFilter.filter(CrawlDatum nextItem, CrawlDatum referer) if the crawler visit http://a.com/ and detect http://a.com/b.html then nextItem = http://a.com/b.html and referer = http://a.com/ if you want to filter nextItem, return null else you should return nextItem

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.fetcher中的构造器

构造器和说明
FetchItem(CrawlDatum datum)

cn.edu.hfut.dmic.webcollector.model中CrawlDatum的使用

类型参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.model中的字段

限定符和类型	字段和说明
protected ArrayList<CrawlDatum>	CrawlDatums.dataList

返回CrawlDatum的cn.edu.hfut.dmic.webcollector.model中的方法

限定符和类型	方法和说明
CrawlDatum	Page.crawlDatum()
CrawlDatum	CrawlDatums.get(int index)
CrawlDatum	Page.getCrawlDatum() 已过时。
CrawlDatum	CrawlDatum.key(String key)
CrawlDatum	CrawlDatum.meta(String key, String value)
CrawlDatum	CrawlDatum.putMetaData(String key, String value) 已过时。
CrawlDatum	CrawlDatums.remove(int index)
CrawlDatum	CrawlDatum.setKey(String key) 已过时。 使用key(String key)代替
CrawlDatum	CrawlDatum.setUrl(String url) 已过时。 使用url(String url)代替
CrawlDatum	CrawlDatum.type(String type)
CrawlDatum	CrawlDatum.url(String url)

返回变量类型为CrawlDatum的类型的cn.edu.hfut.dmic.webcollector.model中的方法

限定符和类型	方法和说明
Iterator<CrawlDatum>	CrawlDatums.iterator()

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.model中的方法

限定符和类型	方法和说明
CrawlDatums	CrawlDatums.add(CrawlDatum datum)
void	Page.crawlDatum(CrawlDatum crawlDatum)
int	CrawlDatums.indexOf(CrawlDatum datum)
boolean	CrawlDatums.remove(CrawlDatum datum)
void	Page.setCrawlDatum(CrawlDatum crawlDatum) 已过时。

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.model中的构造器

构造器和说明
Page(CrawlDatum datum, HttpResponse response)

类型变量类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.model中的构造器参数

构造器和说明
CrawlDatums(Collection<CrawlDatum> datums)

cn.edu.hfut.dmic.webcollector.net中CrawlDatum的使用

声明为CrawlDatum的cn.edu.hfut.dmic.webcollector.net中的字段

限定符和类型	字段和说明
protected CrawlDatum	HttpRequest.crawlDatum

返回CrawlDatum的cn.edu.hfut.dmic.webcollector.net中的方法

限定符和类型	方法和说明
CrawlDatum	HttpRequest.getCrawlDatum()

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.net中的方法

限定符和类型	方法和说明
HttpResponse	Requester.getResponse(CrawlDatum crawlDatum)
void	HttpRequest.setCrawlDatum(CrawlDatum crawlDatum)

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.net中的构造器

构造器和说明
HttpRequest(CrawlDatum crawlDatum)
HttpRequest(CrawlDatum crawlDatum, Proxy proxy)

cn.edu.hfut.dmic.webcollector.plugin.berkeley中CrawlDatum的使用

返回CrawlDatum的cn.edu.hfut.dmic.webcollector.plugin.berkeley中的方法

限定符和类型	方法和说明
static CrawlDatum	BerkeleyDBUtils.createCrawlDatum(com.sleepycat.je.DatabaseEntry key, com.sleepycat.je.DatabaseEntry value)
CrawlDatum	BerkeleyGenerator.next()
CrawlDatum	BerkeleyDBReader.next()

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.plugin.berkeley中的方法

限定符和类型	方法和说明
void	BerkeleyDBManager.inject(CrawlDatum datum, boolean force)
static void	BerkeleyDBUtils.writeDatum(com.sleepycat.je.Database database, CrawlDatum datum)
void	BerkeleyDBManager.writeFetchSegment(CrawlDatum fetchDatum)

cn.edu.hfut.dmic.webcollector.plugin.nextfilter中CrawlDatum的使用

返回CrawlDatum的cn.edu.hfut.dmic.webcollector.plugin.nextfilter中的方法

限定符和类型	方法和说明
CrawlDatum	HashSetNextFilter.filter(CrawlDatum nextItem, CrawlDatum referer)

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.plugin.nextfilter中的方法

限定符和类型	方法和说明
CrawlDatum	HashSetNextFilter.filter(CrawlDatum nextItem, CrawlDatum referer)

cn.edu.hfut.dmic.webcollector.plugin.ram中CrawlDatum的使用

类型参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.plugin.ram中的字段

限定符和类型	字段和说明
protected HashMap<String,CrawlDatum>	RamDB.crawlDB
protected HashMap<String,CrawlDatum>	RamDB.fetchDB
protected HashMap<String,CrawlDatum>	RamDB.linkDB

返回CrawlDatum的cn.edu.hfut.dmic.webcollector.plugin.ram中的方法

限定符和类型	方法和说明
CrawlDatum	RamGenerator.next()

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.plugin.ram中的方法

限定符和类型	方法和说明
void	RamDBManager.inject(CrawlDatum datum, boolean force)
void	RamDBManager.writeFetchSegment(CrawlDatum fetchDatum)

cn.edu.hfut.dmic.webcollector.util中CrawlDatum的使用

返回CrawlDatum的cn.edu.hfut.dmic.webcollector.util中的方法

限定符和类型	方法和说明
static CrawlDatum	CrawlDatumFormater.jsonStrToDatum(String crawlDatumKey, String str)

参数类型为CrawlDatum的cn.edu.hfut.dmic.webcollector.util中的方法

限定符和类型	方法和说明
static String	CrawlDatumFormater.datumToJsonStr(CrawlDatum datum)
static String	CrawlDatumFormater.datumToString(CrawlDatum datum)