HTTP基本原理

我们先了解一下 URI 和 URL。URI 的全称为 Uniform Resource Identifier，即统一资源标志符；URL 的全称为 Universal Resource Locator，即统一资源定位符。它们是什么意思呢？举例来说，https://github.com/favicon.ico 既是一个 URI，也是一个 URL。即有 favicon.ico 这样一个图标资源，我们用上一行中的 URI/URL 指定了访问它的唯一方式，其中包括访问协议 https、访问路径（即根目录）和资源名称。通过一个链接，便可以从互联网中找到某个资源，这个链接就是 URI/URL。

URL 是 URI 的子集，也就是说每个 URL 都是 URI，但并非每个 URI 都是 URL。那么，怎样的 URI 不是 URL 呢？除了 URL，URI 还包括一个子类，叫作URN，其全称为 Universal Resource Name，即统一资源名称。URN 只为资源命名而不指定如何定位资源，例如 urn:isbn:0451450523 指定了一本书的 ISBN，可以唯一标识这本书，但没有指定到哪里获取这本书，这就是 URN。URL、URN和URI的关系可以用图 1-1 表示。

在目前的互联网中,URN 使用得非常少，几乎所有的 URI 都是 URL，所以对于一般的网页链接，我们既可以称之为 URL，也可以称之为 URI，我个人习惯称 URL。

但 URL 也不是随便写的，它也是需要遵循一定格式规范的，基本的组成格式如下:

其中，中括号包括的内容代表非必要部分，比如 https://www.baidu.com 这个 URL，这里就只包含了 scheme 和 hostname 两部分，没有 port、path、parameters、query、fragment。这里我们分别介绍一下几部分代表的含义和作用。

以上我们简单了解了 URL 的基本概念和构成，后文我们会结合多个实战案例来帮助大家加深理解。

刚才我们了解了 URL 的基本构成，其支持的协议有很多，比如 http、https、ftp、sftp、smb 等。

在爬虫中，我们抓取的页面通常是基于 http 或 https 协议的，因此这里首先了解一下这两个协议的含义。

HTTP 的全称是 Hypertext Transfer Protocol，中文名为超文本传输协议，其作用是把超文本数据从网络传输到本地测览器，能够保证高效而准确地传输超文本文档。HTTP 是由万维网协会（Word Wide Web Consortium）和Internet 工作小组 IETF（Internet Engineering Task Force）合作制定的规范，目前被人们广泛使用的是 HTTP 1.1 版本，当然，现在也有不少网站支持 HTTP 2.0。

HTTP 的发展历史见表 1-1。

HTTPS 的全称是 Hypertext Transfer Protocol over Secure SocketLayer，是以安全为目标的 HTTP 通道，简单讲就是 HTTP 的安全版，即在 HTTP 下加入 SSL 层，简称 HTTPS。

HTTPS 的安全基础是 SSL，因此通过该协议传输的内容都是经过 SSL 加密的，SSL 的主要作用有以下两种。

现在有越来越多的网站和 App 朝着 HTTPS 的方向发展，举例如下。

HTTPS 已然是大势所趋。

在测览器地址栏中输人一个 URL，按下回车之后便可观察到对应的页面内容。实际上，这个过程是浏览器先向网站所在的服务器发送一个请求，网站服务器接收到请求后对其进行处理和解析，然后返回对应的响应，接着传回浏览器。由于响应里包含页面的源代码等内容，所以浏览器再对其进行解析，便将网页呈现出来，流程如图 1-2 所示。

图 1-2 中的客户端代表我们自己的电脑或手机浏览器，服务器就是要访问的网站所在的服务器。

为了更直观地说明上述过程，这里用 Chrome 浏览器开发者模式下的 Network 监听组件来做一下演示。Network 监听组件可以在访问当前请求的网页时，显示产生的所有网络请求和响应。

打开 Chrome 浏览器，访问百度，这时候单击鼠标右键并选择 “检查” 菜单（或者直接按快捷键 F12）即可打开测览器的开发者工具，如图 1-3 所示。

我们切换到 Network 面板，然后重新刷新网页，这时候就可以看到在 Network 面板下方出现了很多个条目，其中一个条目就代表一次发送请求和接收响应的过程，如图1-4所示。

我们先观察第一个网络请求，即 www.baidu.com，其中各列的含义如下。

我们单击这个条目，即可看到其更详细的信息，如图 1-5 所示。

首先是 General 部分，其中 RequestURL 为请求的 URL，RequestMethod 为请求的方法，StatusCode 为响应状态码，RemoteAddress 为远程服务器的地址和端口，ReferrerPolicy 为 Referrer 判别策略。

继续往下可以看到 Response Headers 和 Request Headers，分别代表响应头和请求头。请求头中包含许多请求信息，如测览器标识、Cookie、Host 等信息，这些是请求的一部分，服务器会根据请求头里的信息判断请求是否合法，进而做出对应的响应。响应头是响应的一部分，其中包含服务器的类型、文档类型、日期等信息，浏览器在接收到响应后,会对其进行解析，进而呈现网页内容。

请求，英文为 Request，由客户端发往服务器，分为四部分内容：请求方法（Request Method）、请求的网址（Request URL）、请求头（Request Headers）、请求体（Request Body）。下面我们分别予以介绍。

请求方法，用于标识请求客户端请求服务端的方式，常见的请求方法有两种:GET 和 POST。

在测览器中直接输入 URL 并回车，便发起了一个 GET 请求，请求的参数会直接包含到 URL 里。例如，在百度搜索引擎中搜索 Python 就是一个 GET 请求，链接为 https://www.baidu.com/s?wd=Python ，其中 URL 中包含了请求的 query 信息，这里的参数 wd 表示要搜寻的关键字。POST 请求大多在提交表单时发起。例如，对于一个登录表单，输入用户名和密码后，单击 “登录” 按钮，这时通常会发起一个 POST 请求，其数据通常以表单的形式传输，而不会体现在 URL 中。

GET 和 POST 请求方法有如下区别。

登录时一般需要提交用户名和密码，其中密码是敏感信息，如果使用 GET 方式请求，密码就会暴露在 URL 里面，造成密码泄露，所以这时候最好以 POST 方式发送。上传文件时，由于文件内容比较大，因此也会选用 POST 方式。

我们平常遇到的绝大部分请求是 GET 或 POST 请求。其实除了这两个，还有一些请求方法，如 HEAD、PUT、DELETE、CONNECT、OPTIONS、TRACE 等，我们简单将请求方法总结为表 1-2。

本表参考: http://www.runoob.com/http/http-methods.html 。

请求的网址，它可以唯一确定客户端想请求的资源。关于 URL 的构成和各个部分的功能我们在前文已经提及了，这里就不再赘述。

请求头，用来说明服务器要使用的附加信息，比较重要的信息有 Cookie、Referer、User-Agent 等。下面简要说明一些常用的请求头信息。

请求头是请求的重要组成部分，在写爬虫时，通常都需要设定请求头。

请求体，一般承载的内容是 POST 请求中的表单数据，对于 GET 请求，请求体为空。

例如，我登录 GitHub 时捕获到的请求和响应如图 1-6 所示。

登录之前，需要先填写用户名和密码信息，登录时这些内容会以表单数据的形式提交给服务器，此时需要注意 Request Headers 中指定 Content-Type 为 application/x-www-form-urlencoded。只有这样设置 Content-Type，内容才会以表单数据的形式提交。另外，也可以将 Content-Type 设置为 application/json 来提交 JSON 数据，或者设置为 multipart/form-data 来上传文件。

表1-3 列出了 Content-Type 和 POST 提交数据方式的关系。

在爬虫中，构造 POST 请求需要使用正确的 Content-Type，并了解设置各种请求库的各个参数时使用的都是哪种 Content-Type，如若不然可能会导致 POST 提交后无法得到正常响应。

响应，即 Response，由服务器返回给客户端，可以分为三部分:响应状态码（Response Status Code）、响应头（Response Headers）和响应体（Response Body）。

前面我们也提到了，HTTP 协议从 2015 年起发布了厂 2.0 版本，相比 HTTP1.1 来说，HTTP2.0 变得更快、更简单、更稳定。HTTP2.0 在传输层做了很多优化，它的主要自标是通过支持完整的请求与响应复用来减少延迟，并通过有效压缩 HTTP 请求头字段的方式将协议开销降至最低，同时增加对请求优先级和服务器推送的支持，这些优化一笔勾销了 HTTP1.1 为做传输优化想出的一系列 “歪招”。

有读者这时候可能会问，为什么不叫 HTTP1.2 而叫 HTTP2.0 呢？因为 HTTP2.0 内部实现了新的二进制分层，没法与之前 HTTP1.x 的服务器和客户端兼容，所以直接修改主版本号为 2.0。

下面我们就来了解一下 HTTP2.0 相比 HTTP1.1 来说，做了哪些优化。

本节介绍了关于 HTTP 的一些基础知识，内容不少，需要好好掌握，这些知识对于后面我们编写和理解网络爬虫有非常大的帮助。

本节的内容多数为概念介绍，部分内容参考如下资料。