网络爬虫基本思路

基本思路：由关键字指定的url把所有相关的 html 页面全抓下来（html即为字符串），然后解析html文本（通常是 正则表达式 或者现成工具包如jsoup），提取文本信息，然后把文本信息存储起来。

网络爬虫操作步骤

URL(统一资源定位符）

下载资源

分析下载资源（正则表达式）

抽取、清洗、储存

该文章只会操作两步步骤URL和下载html资源。

网络编程小知识

URI:(Universal Resource Identifier)统一资源标记符，用来标记抽象或物理资源的一个紧凑字符串。

URL:(Universal Resource Locator)统一资源定位符，一种定位资源的主要访问机制的字符串，一个标准的URL必须包括：protocal（协议）、host（主机）、port（ 端口号 ）、path（路径）、parameter（参数）、anchor（锚）。

URN ：(Universal Resource Name)统一资源名称，通过特定 命名空间 中的唯一名称或ID来标识资源。

URL和URN都是URI，但是URI不一定是URL或者URN。

SEO 搜索引擎优化

SEO是搜索引擎优化（Search Engine Optimization）的英文缩写，中文译为“搜索引擎优化”。在了解搜索引擎自然排名机制的基础上，对网站进行内部及外部的调整优化，改进网站在搜索引擎中的关键词自然排名，获得更多流量，从而达成网站销售及品牌建设的预期目标。

网络爬虫技术是SEO搜索引擎优化的基础（对网络爬虫感兴趣的同学可以深入研究）

JAVA 中的 JDK 已经对URL(资源定位符)封装完毕，使用者只要会用即可。

使用JAVA代码下载网站资源有如下两种情况：

该代码主要是通过URL类的openStream方法来获取网络资源，如果还想了解URL类的信息的同学可以去看看JDK中URL类的源代码。

二、网站不允许外来访问(模仿浏览器使用HTTP协议交流)代码如下

注意事项

JAVA中的控制台储存空间有限，所以有时候HTML源代码会显示不全，但你可以通过IO操作来拷贝到文件中去。

HttpURLConnection类的set Request Property方法中的（String key，String value）参数需要到浏览器相应网页中去拷贝。

拷贝如下：

1、进入浏览器相关网页。

2、按住F12进入devtools。

3、拷贝Request包中最后一行数据。

4、冒号前的对应key参数，冒号后的对应value参数。

点击关注私信小编“资源”即可获得