CSV文件存储

CSV,全称为 Comma-Separated Values,中文叫作逗号分隔值或字符分隔值,其文件以纯文本形式存储表格数据。CSV 文件是—个字符序列,可以由任意数目的记录组成,各条记录以某种换行符分隔开。每条记录都由若干字段组成,字段间的分隔符是其他字符或字符串,最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列,相当于一个结构化表的纯文本形式。它比 Excel 文件更加简洁,XLS 文本是电子表格,包含文本、数值、公式和格式等内容,CSV 中则不包含这些,就是以特定字符作为分隔符的纯文本,结构简单清晰。所以,有时候使用 CSV 来存储数据是比较方便的。本节我们就来讲解 Python 读取数据和将数据写入 CSV 文件的过程。

写入

这里先看一个最简单的例子:

import csv

with open("data.csv", 'w') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['id', 'name', 'age'])
    writer.writerow(['10001', 'Mike', 20])
    writer.writerow(['10002', 'Bob', 22])
    writer.writerow(['10003', 'Jordan', 21])
python

这里首先打开 data.csv 文件,然后指定打开的模式为 w(即写人),获得文件句柄,随后调用 csv 库的 Writer 方法初始化写人对象,传人该句柄,然后调用 writerow 方法传人每行的数据,这样便完成了写入。

运行结束后,会生成一个名为 data.csv 的文件,此时数据就成功写入了。直接以文本形式打开,会显示如下内容:

id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
bash

可以看到,写入 CSV 文件的文本默认以逗号分隔每条记录,每调用一次 writerow 方法即可写入一行数据。用 Excel 打开 data.csv 文件的结果如图 4-6 所示。

如果想修改列与列之间的分隔符,可以传入 delimiter 参数,其代码如下:

import csv

with open("data.csv", 'w') as csvfile:
    writer = csv.writer(csvfile, delimiter=' ')
    writer.writerow(['id', 'name', 'age'])
    writer.writerow(['10001', 'Mike', 20])
    writer.writerow(['10002', 'Bob', 22])
    writer.writerow(['10003', 'Jordan', 21])
python

这里在初始化写入对象时,将空格传入了 delimiter 参数,此时输出结果中的列与列之间就是以空格分隔了,内容如下:

id name age
10001 Mike 20
10002 Bob 22
10003 Jordan 21
bash

另外,我们也可以调用 writerows 方法同时写人多行,此时参数需要传入二维列表,例如:

import csv

with open('data.csv', 'w') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['id', 'name', 'age'])
    writer.writerow([['10001', 'Mike', 20], ['10002', 'Bob', 22], ['10003', 'Jordan', 21]])
python

输出结果是相同的,内容如下:

id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
bash

但是一般情况下,爬虫爬取的都是结构化数据,我们一般会用字典表示这种数据。csv 库也提供了字典的写入方式,实例如下:

import csv

with open("data.csv", 'w') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
    writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
    writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})
python

这里先定义了 3 个字段,用 fieldnames 表示,然后将其传给 DictWriter 方法以初始化一个字典写入对象,并将对象赋给 writer 变量。接着调用写入了对象的 writeheader 方法先写入头信息,再调用 writerow 方法传入了相应字典。最终写入的结果和之前是完全相同的,内容如下:

id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
bash

这样就把字典写入了 CSV 文件中。

另外,如果想追加写入,可以修改文件的打开模式,即把 open 函数的第二个参数改成 a,代码如下:

import csv

with open('data.csv', 'a') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writerow({'id': '10004', 'name': 'Durant', 'age': 22})
python

这样再次执行这段代码,文件内容便会变成:

id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
10004,Durant,22
bash

由结果可见,数据被追加写入到了文件中。

如果要写入中文内容,我们知道可能会遇到字符编码的问题,此时需要给 open 参数指定编码格式。例如,这里再写入一行包含中文的数据,代码改写如下:

import csv

with open('data.csv', 'a', encoding='utf-8') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writerow({'id': '10004', 'name': '王伟', 'age': 22})
python

这里要是没有给 open 函数指定编码,可能会发生编码错误。

另外,如果接触过 pandas 等库,可以调用 DataFrame 对象的 to_csv 方法将数据写入 CSV 文件中。

这种方法需要安装 pandas 库,安装命令为:

pip3 install pandas
bash

安装完成之后,我们便可以使用 pandas 库将数据保存为 CSV 文件,实例代码如下:

import pandas as pd

data = [
    {'id': '10001', 'name': 'Mike', 'age': 20},
    {'id': '10002', 'name': 'Bob', 'age': 22},
    {'id': '10003', 'name': 'Jordan', 'age': 21},
]

df = pd.DataFrame(data)
df.to_csv('data.csv', index=False)
python

这里我们先定义了几条数据,每条数据都是一个字典,然后将其组合成一个列表,赋值为 data。

紧接着我们使用 pandas 的 DataFrame 类新建了一个 DataFrame 对象,参数传入 data,并把该对象赋值为 df。最后我们调用 df 的 to_csv 方法也可以将数据保存为 CSV 文件。

读取

我们同样可以使用 csv 库来读取 CSV 文件。例如,将刚才写入的文件内容读取出来,相关代码如下:

import csv

with open("data.csv", 'r', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile)
    for row in reader:
        print(row)
python

运行结果如下:

['id','name','age']
['10001','Mike','20']
['10002','Bob','22']
['10003','Jordan','21']
bash

这里我们构造的是 Reader 对象,通过遍历输出了文件中每行的内容,每一行都是一个列表。注意,如果 CSV 文件中包含中文,还需要指定文件编码。

另外,我们也可以使用 pandas 的 read_csv 方法将数据从 CSV 文件中读取出来,例如:

import pandas as pd

df = pd.read_csv('data.csv')
print(df)
python

运行结果如下:

    id     name   age
0  10001   Mike   20
1  10002   Bob    22
2  10003   Jordan 21
bash

这里的 df 实际上是—个 DataFrame 对象,如果你对此比较熟悉,则可以直接使用它完成一些数据的分析处理。

如果只想读取文件里面的数据,可以把 df 再进一步转化为列表或者元组,实例代码如下:

import pandas as pd

df = pd.read_csv('data.csv')
data = df.values.tolist()
print(data)
python

这里我们调用了 df 的 values 属性,再调用 tolist方法,即可将数据转化为列表形式,运行结果如下:

[[10001, 'Mike', 20], [10002, 'Bob', 22], [10003, 'Jordan', 21]]
bash

另外,直接对 df 进行逐行遍历,同样能得到列表类型的结果,代码如下:

import pandas as pd

df = pd.read_csv('data.csv')
for index, row in df.iterrows():
    print(row.tolist())
python

运行结果如下:

[10001, 'Mike', 20]
[10002, 'Bob', 22]
[10003, 'Jordan', 21]
bash

可以看到,我们同样获取了列表类型的结果。

总结

本节中,我们了解了 CSV 文件的写入和读取方式。这也是一种常用的数据存储方式,需要熟练掌握。