httpx的使用

前面我们介绍了 urllib 库和 requests 库的使用，已经可以爬取绝大多数网站的数据，但对于某些网站依然无能为力。什么情况?这些网站强制使用 HTTP/2.0 协议访问，这时 urllib 和 requests 是无法爬取数据的，因为它们只支持 HTTP/1.1，不支持 HTTP/2.0。那这种情况下应该怎么办呢?

还是有办法的，只需要使用一些支持 HTTP/2.0 的请求库就好了，目前来说，比较有代表性的是 hyper 和 httpx，后者使用起来更加方便，功能也更强大，requests 已有的功能它几乎都支持。

本节我们介绍 httpx 的使用。

示例

下面我们来看一个案例，https://spa16.scrape.center/ 就是强制使用 HTTP/2.0 访问的一个网站，用浏览器打开此网站，查看 Network 面板，可以看到 Protocol 一列都是 h2，证明请求所用的协议是 HTTP/2.0，如图 2-13 所示。

图2-13 使用 HTTP/2.0 协议访问的网站

这个网站用 requests 是无法爬取的，不妨来尝试一下:

import requests

url = 'https://spa16.scrape.center/'
response = requests.get(url)
print(response.json())

运行结果如下:

Traceback(mostrecentcalllast):
...
raise RemoteDisconnected("Remote end closed connection without
http.client.RemoteDisconnected:Remote end closed connection without response
...
requests.exceptions.ProxyError:HTTPSConnectionPool(host='spa16.scrape.center', port=443):Max retries
exceeded with url:/ (Caused by ProxyError('Cannot connect to proxy.',RemoteDisconnected('Remote end closed connection without response'))

可以看到，首先抛出的就是 RemoteDisconnected 错误，请求失败。

可能有人认为这是没有设置请求头导致的，其实不是，真实原因是 requests 这个库是使用 HTTP/1.1 访问的目标网站，而目标网站会检测请求使用的协议是不是 HTTP/2.0，如果不是就拒绝返回任何结果。

安装

httpx 可以直接使用 pip3 工具安装，所需的 Python 版本是 3.6 及以上，安装命令如下：

pip3 install httpx

但这样安装完的 httpx 是不支持 HTTP/2.0 的，如果想支持，可以这样安装：

pip3 install 'httpx[http2]'

这样就既安装了 httpx，又安装了 httpx 对 HTTP/2.0 的支持模块。

基本使用

httpx 和 requests 的很多 API 存在相似之处，我们先看下最基本的 GET 请求的用法：

import httpx

response = httpx.get('https://www.httpbin.org/get')
print(response.status_code)
print(response.headers)
print(response.text)

这里我们还是请求之前的测试网站，直接使用 httpx 的 get 方法即可，用法和 requests 里的一模一样，将返回结果赋值为 response 变量，然后打印出它的 status_code、headers、text 等属性，运行结果如下：

200
Headers({'date': 'Tue, 17 Jun 2025 09:30:47 GMT', 'content-type': 'application/json', 'content-length': '313', 'connection': 'keep-alive', 'server': 'gunicorn/19.9.0', 'access-control-allow-origin': '*', 'access-control-allow-credentials': 'true'})
{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Host": "www.httpbin.org",
    "User-Agent": "python-httpx/0.28.1",
    "X-Amzn-Trace-Id": "Root=1-685135c6-1f2543d96b4b7c2b12f78511"
  },
  "origin": "171.34.210.142",
  "url": "https://www.httpbin.org/get"
}

输出结果包含三项内容，status_code 属性对应状态码，为 200；headers 属性对应响应头，是一个 Headers 对象，类似于一个字典；text 属性对应响应体，可以看到其中的 User-Agent 是 python-httpx/0.18.1，代表我们是用 httpx 请求的。

下面换一个 User-Agent 再请求一次，代码改写如下：

import httpx

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}
response = httpx.get('https://www.httpbin.org/get',headers=headers)
print(response.text)

这里我们换了一个 User-Agent 重新请求，并将其赋值为 headers 变量，然后传递给 headers 参数，运行结果如下：

{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Host": "www.httpbin.org",
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36",
    "X-Amzn-Trace-Id": "Root=1-68513683-79b81bc779bd43b03118742d"
  },
  "origin": "171.34.210.142",
  "url": "https://www.httpbin.org/get"
}

可以发现更换后的 User-Agent 生效了。

回到本节开头提到的示例网站，我们试着用 httpx 请求一下这个网站，看看效果如何，代码如下：

import httpx

response = httpx.get("https://spa16.scrape.center")
print(response.text)

运行结果如下：

Traceback (most recent call last)：
...
raise RemoteProtocolError(msg)
httpcore.RemoteProtocolError: Server disconnected without sending a response.
The above exception was the direct cause of the following exception:
...
raise mapped_exc(message) from exc httpx.RemoteProtocolError:Server disconnected without sending a response.

可以看到，抛出了和使用 requests 请求时类似的错误，不是说好支持 HTTP/2.0 吗？其实，httpx 默认是不会开启对 HTTP/2.0 的支持的，默认使用的是 HTTP/1.1，需要手动声明一下才能使用 HTTP/2.0，代码改写如下：

import httpx

client = httpx.client(http2=True)
response = client.get('https://spa16.scrape.center/')
print(response.text)

运行结果如下：

<!DOCTYPE html><html lang=en><head><meta charset=utf-8><meta http-equiv=X-UA-Compatible content="IE=edge"><meta name=viewport content="width=device-width,initial-scale=1"><meta name=referrer content=no-referrer><link rel=icon href=/favicon.ico><title>Scrape | Book</title><link href=/css/chunk-50522e84.e4e1dae6.css rel=prefetch><link href=/css/chunk-f52d396c.4f574d24.css rel=prefetch><link href=/js/chunk-50522e84.6b3e24aa.js rel=prefetch><link href=/js/chunk-f52d396c.f8f41620.js rel=prefetch><link href=/css/app.ea9d802a.css rel=preload as=style><link href=/js/app.b93891e2.js rel=preload as=script><link href=/js/chunk-vendors.a02ff921.js rel=preload as=script><link href=/css/app.ea9d802a.css rel=stylesheet></head><body><noscript><strong>We're sorry but portal doesn't work properly without JavaScript enabled. Please enable it to continue.</strong></noscript><div id=app></div><script src=/js/chunk-vendors.a02ff921.js></script><script src=/js/app.b93891e2.js></script></body></html>

这里我们声明了一个 Client 对象，赋值为 client 变量，同时显式地将 http2 参数设置为 True，这样便开启了对 HTTP/2.0 的支持，之后就会发现可以成功获取 HTML 代码了。这也就印证了这个示例网站只能使用 HTTP/2.0 访问。

刚才我们也提到了，httpx 和 requests 有很多相似的 API，上面实现的是 GET 请求，对于 POST 请求、PUT 请求和 DELETE 请求来说，实现方式是类似的：

import httpx

r = httpx.get('https://www.httpbin.org/get',params=('name':'germey'))
r = httpx.post('https://www.httpbin.org/post',data={'name':'germey'})
r = httpx.put('https://www.httpbin.org/put')
r = httpx.delete('https://www.httpbin.org/delete')
r = httpx.patch('https://www.httpbin.org/patch')

基于得到的 Response 对象，可以使用如下属性和方法获取想要的内容。

status_code：状态码
text：响应体的文本内容。
content：响应体的二进制内容，当请求的目标是二进制数据（如图片）时，可以使用此属性获取。
headers：响应头，是 Headers 对象，可以用像获取字典中的内容一样获取其中某个 Header 的值。
json：方法，可以调用此方法将文本结果转化为 JSON 对象。

除了这些，httpx 还有一些基本用法也和 requests 极其类似，这里就不再赞述了，可以参考官方文档： https://www.python-httpx.org/quickstart/ 。

Client对象

httpx 中有一些基本的 API 和 requests 中的非常相似，但也有一些 API 是不相似的，例如 httpx 中有一个 Client 对象，就可以和 requests 中的 Session 对象类比学习。

下面我们介绍 Client 对象的使用。官方比较推荐的使用方式是 with as 语句，示例如下：

import httpx

with httpx.Client() as client:
    response = client.get('https://www.httpbin.org/get')
    print(response)

运行结果如下：

<Response [200 OK]>

这个用法等价于：

import httpx

client = httpx.client()
try:
    response = client.get('https://www.httpbin.org/get')
finally:
    client.close()

两种方式的运行结果是一样的，只不过这里需要我们在最后显式地调用 close 方法来关闭 Client 对象。

另外，在声明 Client 对象时可以指定一些参数，例如 headers，这样使用该对象发起的所有请求都会默认带上这些参数配置，示例如下：

import httpx

url='http://www.httpbin.org/headers'
headers = {'User-Agent':'my-app/0.0.1'}
with httpx.Client(headers=headers) as client:
    r = client.get(url)
    print(r.json()['headers']['User-Agent'])

这里我们声明了一个 headers 变量，内容为 User-Agent 属性，然后将此变量传递给 headers 参数初始化了一个 Client 对象，并赋值为 client 变量，最后用 client 变量请求了测试网站，并打印返回结果中的 User-Agent 的内容：

my-app/0.0.1

可以看到，headers 成功赋值了。

关于 Client 对象的更多高级用法可以参考官方文档： https://www.python-httpx.org/advanced/ 。

支持 HTTP/2.0

现在是要在客户端上开启对 HTTP/2.0 的支持，就像 “基本使用” 小节所说的那样，同样是声明 Client 对象，然后将 http2 参数设置为 True，如果不设置，那么默认支持 HTTP/1.1，即不开启对 HTTP/2.0 的支持。

写法如下：

import httpx

client = httpx.Client(http2=True)
response = client.get('https://www.httpbin.org/get')
print(response.text)
print(response.http_version)

这里我们输出了 response 变量的 http_version 属性，这是 requests 中不存在的属性，其结果可能为：

"HTTP/1.0"，"HTTP/1.1"，"HTTP/2"

这里输出的 http_version 属性值是 HTTP/2，代表使用了 HTTP/2.0 协议传输。

在客户端的 httpx 上启用对 HTTP/2.0 的支持并不意味着请求和响应都将通过 HTTP/2.0 传输，这得客户端和服务端都支持 HTTP/2.0 才行。如果客户端连接到仅支持 HTTP/1.1 的服务器，那么它也需要改用 HTTP/1.1。

支持异步请求

httpx 还支持异步客户端请求（即 AsyncClient），支持 Python 的 async 请求模式，写法如下：

import httpx
import asyncio

async def fetch(url):
    async with httpx.AsyncClient(http2=True) as client:
        response = await client.get(url)
        print(response.text)
    if __name__ == '__main__':
        asyncio.get_event_loop().run_until_complete(fetch('https://www.httpbin.org/get'))

关于异步请求，目前仅了解一下即可，后面章节也会专门对异步请求进行讲解。大家也可以参考官方文档： https://www.python-httpx.org/async/ 。

总结

本节介绍了 httpx 的基本用法，该库的 API 与 requests 的非常相似，简单易用，同时支持 HTTP/2.0，推荐大家使用。

本节代码参见: https://github.com/Python3WebSpider/HttpxTest 。