Category - 搜索引擎

2016-04-29 11:24:48    66    0    0
讲抓取策略之前,先来聊聊为什么要这个东西。 现在假设有一堆的URL等着我们去抓取,那么哪个先抓?接下来抓哪个?怎么确定下一个目标URL? 要怎么回答这些问题呢?其实,这就是抓取策略的确定了。 # 抓取策略 抓取策略有四种: - 宽度优先队列 - 非完全PageRank策略 - OCIP策略(Online Page Importance Computation) - 大站优先策略(Larg