个人工具
名字空间
变换
操作

安徽25选5平台:网页抓取

来自站长百科
跳转到: 导航, 搜索

网页抓取主要有三个方面:1、搜集新出现的网页;2、搜集那些在上次搜集后有改变的网页;3、发现自从上次搜集后已经不再存了的网页,并从库中删除。

目录

网页抓取的优先策略

通常是尽可能的首先抓取重要性的网页,这样保证在有限的资源内尽可能地照顾到那些重要性高的网页。

什么是重要性高的网页呢,主要由这三个方面决定的:

链接欢迎度

链接欢迎度主要是由反向链接的数目和质量决定的。

链接重要度

链接重要度它是关于一个URL字符串的函数,仅仅考察字符串本身,它主要通过一些模式,如认为包含|“。com”,“HOME”的URL重要度高,以及包含较少斜杠的URL重要度高等。

平均链接的深度

平均链接的深度表示在一个种子站点集合中,每个种子站点如果存在一条链路到达该网页,那么平均链接深度又是该网页的一个链接指标,因为距离种子站点越近说明被访问的机会越多。

相关条目

参考来源

留言

  • 铁总:全国铁路迎来端午假期客流最高峰 2019-03-25
  • 香港推进“青年宿舍计划”(观香港) 2019-03-25
  • 中国银行业新媒体5月排行榜 2019-03-24
  • 我老张工经历过中国计划经济时代,实践过计划经济,岂能不知计划经济?!现在的市场经济,我也有了实践感受。比较之,深感计划经济是适合社会主义的,而市场经济是不适合社 2019-03-24
  • 人民日报红船观澜:干部的心意是对群众的真情实意 2019-03-23
  • 中俄东线天然气管道黑龙江盾构隧道贯通 2019-03-22
  • 把每一元善款都用到实处 2019-03-22
  • 山东今年以来运用"四种形态"处理2.6万人次 2019-03-21
  • 大妈坐公交摔伤 合肥公交公司一审被判担全责 2019-03-21
  • 西安华大非法吸收公众存款案开庭 涉案金额23.9亿 2019-03-20
  • “儿亦当格外奋发,兢兢业业以图成功”——读向警予写给父母的信 2019-03-19
  • 中国经济稳中向好的发展态势没有变 2019-03-19
  • 凯恩率“三狮军团”艰难战胜突尼斯 2019-03-18
  • 美国佷聪明,他总是在他的贸易伙伴将要出现经济问题的时候,找个由头溜了。 2019-03-17
  • 邢台彩民守号两年中620万元 却仍有遗憾 2019-03-16
  • 963| 798| 850| 72| 844| 805| 928| 204| 299| 359|