一、网络爬虫的概念
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。网络爬虫别名有网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者。
二、网络爬虫的基本工作流程
1.首先选取一部分精心挑选的种子URL。
2.将这些URL放入待抓取URL队列。
3.从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。
4.分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。
三、网络爬虫的作用
1、帮助搜索引擎从万维网上下载网页。
2、对网页或数据的分析与过滤。
3、对抓取目标的描述或定义。
4、可以抓取网站的信息 然后在网站更新的时候 将抓取的信息释放出来。
版权声明： 
原文链接： 
