Page (WebCollector 2.52 API)

java.lang.Object
- cn.edu.hfut.dmic.webcollector.model.Page

```
public class Page
extends Object
```
Page是爬取过程中，内存中保存网页爬取信息的一个容器，Page只在内存中存放，用于保存一些网页信息，方便用户进行自定义网页解析之类的操作。

作者:

hu

字段概要

字段
限定符和类型字段和说明

static org.slf4j.Logger LOG

字段
限定符和类型	字段和说明
`static org.slf4j.Logger`	`LOG`

构造器概要

构造器
构造器和说明

Page(CrawlDatum datum, HttpResponse response)

构造器
构造器和说明
`Page(CrawlDatum datum, HttpResponse response)`

方法概要

All Methods Instance Methods Concrete Methods 已过时的方法
限定符和类型	方法和说明
`ArrayList<String>`	`attrs(String cssSelector, String attrName)` 获取网页中满足指定css选择器的所有元素的指定属性的集合例如通过getAttrs("img[src]","abs:src")可获取网页中所有图片的链接
`String`	`charset()`
`void`	`charset(String charset)`
`int`	`code()`
`byte[]`	`content()` 返回网页/文件的内容
`String`	`contentType()`
`CrawlDatum`	`crawlDatum()`
`void`	`crawlDatum(CrawlDatum crawlDatum)`
`org.jsoup.nodes.Document`	`doc()`
`ArrayList<String>`	`getAttrs(String cssSelector, String attrName)` 已过时。已废弃，使用attrs代替
`String`	`getCharset()` 已过时。
`byte[]`	`getContent()` 已过时。
`CrawlDatum`	`getCrawlDatum()` 已过时。
`org.jsoup.nodes.Document`	`getDoc()` 已过时。
`Exception`	`getException()`
`String`	`getHtml()` 已过时。
`Links`	`getLinks(String cssSelector)` 已过时。
`HashMap<String,String>`	`getMetaData()` 已过时。
`String`	`getMetaData(String key)` 已过时。
`HttpResponse`	`getResponse()` 已过时。
`String`	`getUrl()` 已过时。
`List<String>`	`header(String name)`
`String`	`html()` 返回网页的源码字符串
`String`	`key()`
`Links`	`links()`
`Links`	`links(String cssSelector)` 获取满足选择器的元素中的链接选择器cssSelector必须定位到具体的超链接例如我们想抽取id为content的div中的所有超链接，这里就要将cssSelector定义为div[id=content] a
`boolean`	`matchContentType(String contentTypeRegex)` 判断当前Page的Http响应头的Content-Type是否符合正则
`boolean`	`matchType(String type)` 判断当前Page(CrawlDatum)的type是否为type
`boolean`	`matchUrl(String urlRegex)` 判断当前Page的URL是否和输入正则匹配
`String`	`meta(String key)`
`void`	`meta(String key, String value)`
`String`	`regex(String regex)`
`String`	`regex(String regex, int group)`
`String`	`regex(String regex, int group, String defaultResult)`
`String`	`regex(String regex, String defaultResult)`
`HttpResponse`	`response()`
`void`	`response(HttpResponse response)`
`org.jsoup.select.Elements`	`select(String cssSelector)`
`org.jsoup.nodes.Element`	`select(String cssSelector, int index)`
`void`	`setCharset(String charset)` 已过时。
`void`	`setCrawlDatum(CrawlDatum crawlDatum)` 已过时。
`void`	`setDoc(org.jsoup.nodes.Document doc)` 设置网页解析后的DOM树(Jsoup的Document对象)
`void`	`setException(Exception exception)`
`void`	`setHtml(String html)` 设置网页的源码字符串
`void`	`setMetaData(HashMap<String,String> metaData)` 已过时。
`void`	`setMetaData(String key, String value)` 已过时。
`void`	`setResponse(HttpResponse response)` 已过时。
`String`	`url()` 返回网页的url

从类继承的方法 java.lang.Object
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

LOG

public static final org.slf4j.Logger LOG

构造器详细资料

Page

public Page(CrawlDatum datum,
            HttpResponse response)

方法详细资料

matchUrl
```
public boolean matchUrl(String urlRegex)
```
判断当前Page的URL是否和输入正则匹配

参数:

urlRegex -

返回:

matchType
```
public boolean matchType(String type)
```
判断当前Page(CrawlDatum)的type是否为type

参数:

type -

返回:

是否相等

matchContentType
```
public boolean matchContentType(String contentTypeRegex)
```
判断当前Page的Http响应头的Content-Type是否符合正则

参数:

contentTypeRegex -

返回:

attrs
```
public ArrayList<String> attrs(String cssSelector,
                               String attrName)
```
获取网页中满足指定css选择器的所有元素的指定属性的集合例如通过getAttrs("img[src]","abs:src")可获取网页中所有图片的链接

参数:

cssSelector -

attrName -

返回:

getAttrs
```
@Deprecated
public ArrayList<String> getAttrs(String cssSelector,
                                               String attrName)
```
已过时。已废弃，使用attrs代替

获取网页中满足指定css选择器的所有元素的指定属性的集合例如通过getAttrs("img[src]","abs:src")可获取网页中所有图片的链接

参数:

cssSelector -

attrName -

返回:

getLinks
```
@Deprecated
public Links getLinks(String cssSelector)
```
已过时。

use Links links(String cssSelector) instead 获取满足选择器的元素中的链接选择器cssSelector必须定位到具体的超链接例如我们想抽取id为content的div中的所有超链接，这里就要将cssSelector定义为div[id=content] a

参数:

cssSelector -

返回:

links
```
public Links links(String cssSelector)
```
获取满足选择器的元素中的链接选择器cssSelector必须定位到具体的超链接例如我们想抽取id为content的div中的所有超链接，这里就要将cssSelector定义为div[id=content] a

参数:

cssSelector -

返回:

links
```
public Links links()
```

select

public org.jsoup.select.Elements select(String cssSelector)

select

public org.jsoup.nodes.Element select(String cssSelector,
                                      int index)

regex

public String regex(String regex,
                    int group,
                    String defaultResult)

regex

public String regex(String regex,
                    int group)

regex

public String regex(String regex,
                    String defaultResult)

regex
```
public String regex(String regex)
```

getContent
```
@Deprecated
public byte[] getContent()
```
已过时。

返回网页/文件的内容

返回:

网页/文件的内容

content
```
public byte[] content()
```
返回网页/文件的内容

返回:

网页/文件的内容

getUrl
```
@Deprecated
public String getUrl()
```
已过时。

返回网页的url 已废弃，使用url()方法代替

返回:

网页的url

url
```
public String url()
```
返回网页的url

返回:

网页的url

getHtml
```
@Deprecated
public String getHtml()
```
已过时。

返回网页的源码字符串已废弃，使用html()方法代替

返回:

网页的源码字符串

html
```
public String html()
```
返回网页的源码字符串

返回:

网页的源码字符串

setHtml
```
public void setHtml(String html)
```
设置网页的源码字符串

参数:

html - 网页的源码字符串

getDoc
```
@Deprecated
public org.jsoup.nodes.Document getDoc()
```
已过时。

返回网页解析后的DOM树(Jsoup的Document对象) 已废弃，使用doc()方法代替

返回:

网页解析后的DOM树

header

public List<String> header(String name)

contentType
```
public String contentType()
```

doc
```
public org.jsoup.nodes.Document doc()
```

setDoc
```
public void setDoc(org.jsoup.nodes.Document doc)
```
设置网页解析后的DOM树(Jsoup的Document对象)

参数:

doc - 网页解析后的DOM树

response
```
public HttpResponse response()
```

response

public void response(HttpResponse response)

getResponse

@Deprecated
public HttpResponse getResponse()

已过时。

setResponse

@Deprecated
public void setResponse(HttpResponse response)

已过时。

getException
```
public Exception getException()
```

setException

public void setException(Exception exception)

crawlDatum
```
public CrawlDatum crawlDatum()
```

crawlDatum

public void crawlDatum(CrawlDatum crawlDatum)

getCrawlDatum

@Deprecated
public CrawlDatum getCrawlDatum()

已过时。

setCrawlDatum

@Deprecated
public void setCrawlDatum(CrawlDatum crawlDatum)

已过时。

getMetaData

@Deprecated
public HashMap<String,String> getMetaData()

已过时。

setMetaData

@Deprecated
public void setMetaData(HashMap<String,String> metaData)

已过时。

setMetaData

@Deprecated
public void setMetaData(String key,
                                     String value)

已过时。

getMetaData

@Deprecated
public String getMetaData(String key)

已过时。

charset
```
public String charset()
```

charset
```
public void charset(String charset)
```

getCharset

@Deprecated
public String getCharset()

已过时。

setCharset

@Deprecated
public void setCharset(String charset)

已过时。

key
```
public String key()
```

code
```
public int code()
```

类 Page

字段概要

构造器概要

方法概要

从类继承的方法 java.lang.Object

字段详细资料

LOG

构造器详细资料

Page

方法详细资料

matchUrl

matchType

matchContentType

attrs

getAttrs

getLinks

links

links

select

select

regex

regex

regex

regex

getContent

content

getUrl

url

getHtml

html

setHtml

getDoc

header

contentType

doc

setDoc

response

response

getResponse

setResponse

getException

setException

crawlDatum

crawlDatum

getCrawlDatum

setCrawlDatum

getMetaData

setMetaData

meta

meta

setMetaData

getMetaData

charset

charset

getCharset

setCharset

key

code