Python 与 rrdtool 的结合模块

rrdtool（round robin database）工具为环状数据库的存储格式，round robin 是一种处理定量数据以及当前元素指针的技术。rrdtool 主要用来跟踪对象的变化情况，生成这些变化的走势图，比如业务的访问流量、系统性能、磁盘利用率等趋势图，很多流行监控平台都使用到 rrdtool，比较有名的为 Cacti、Ganglia、Monitorix 等。更多 rrdtool 介绍见官网 http://oss.oetiker.ch/rrdtool/ 。rrdtool 是一个复杂的工具，涉及较多参数概念，本节主要通过 Python 的 rrdtool 模块对 rrdtool 的几个常用方法进行封装，包括 create、fetch、graph、info、update 等方法，本节对 rrdtool 的基本知识不展开说明，重点放在 Python rrdtool 模块的常用方法使用介绍上。

rrdtool 模块的安装方法如下：

easy_install python-rrdtool    #pip安装方法
pip install python-rrdtool    #easy_install安装方法

#需要rrdtool工具及其他类包支持，CentOS环境推荐使用yum安装方法
# yum install rrdtool-python

rrdtool模块常用方法说明

下面介绍 rrdtool 模块常用的几个方法，包括 create（创建 rrd）、update（更新 rrd）、graph（绘图）、fetch（查询 rrd）等。

Create方法

create filename [--start|-b start time] [--step|-s step][DS:ds-name:DST:heartbeat:min:max][RRA:CF:xff:steps:rows] 方法，创建一个后缀为 rrd 的 rrdtool 数据库，参数说明如下：

filename 创建的 rrdtool 数据库文件名，默认后缀为 .rrd；
--start 指定 rrdtool 第一条记录的起始时间，必须是 timestamp 的格式；
--step 指定 rrdtool 每隔多长时间就收到一个值，默认为 5 分钟；
DS 用于定义数据源，用于存放脚本的结果的变量；
DST 用于定义数据源类型，rrdtool 支持 COUNTER（递增类型）、DERIVE（可递增可递减类型）、ABSOLUTE（假定前一个时间间隔的值为0，再计算平均值）、GUAGE（收到值后直接存入RRA）、COMPUTE（定义一个表达式，引用 DS 并自动计算出某个值）5种，比如网卡流量属于计数器型，应该选择 COUNTER；
RRA 用于指定数据如何存放，我们可以把一个 RRA 看成一个表，保存不同间隔的统计结果数据，为 CF 做数据合并提供依据，定义格式为：[RRA:CF:xff:steps:rows]；
CF 统计合并数据，支持 AVERAGE（平均值）、MAX（最大值）、MIN（最小值）、LAST（最新值）4种方式

update方法

update filename [--template|-t ds-name[:ds-name]...]N|timestamp:value[:value...][timestamp:value[:value...] ...] 方法，存储一个新值到 rrdtool 数据库，updatev 和 update 类似，区别是每次插入后会返回一个状态码，以便了解是否成功（updatev 用 0 表示成功，-1 表示失败）。参数说明如下：

filename 指定存储数据到的目标rrd文件名；
-t ds-name[:ds-name] 指定需要更新的DS名称；
N|Timestamp 表示数据采集的时间戳，N 表示当前时间戳；
value[:value…] 更新的数据值，多个 DS 则多个值。

graph方法

graph filename [-s|--start seconds] [-e|--end seconds] [-x|--x-grid x-axis grid and label] [-y|--y-grid y-axis grid and label] [--alt-y-grid] [--alt-y-mrtg] [--alt-autoscale] [--alt-autoscale-max] [--units-exponent] value [-v|--vertical-label text] [-w|--width pixels] [-h|--height pixels] [-i|--interlaced] [-f|--imginfo formatstring] [-a|--imgformat GIF|PNG|GD] [-B|--background value] [-O|--overlay value][-U|--unit value] [-z|--lazy] [-o|--logarithmic] [-u|--upper-limit value] [-l|--lower-limit value] [-g|--no-legend] [-r|--rigid] [--step value] [-b|--base value] [-c|--color COLORTAG#rrggbb] [-t|--title title] [DEF:vname=rrd:ds-name:CF] [CDEF:vname=rpn-expression][PRINT:vname:CF:format] [GPRINT:vname:CF:format][COMMENT:text] [HRULE:value#rrggbb[:legend]][VRULE:time#rrggbb[:legend]] [LINE{1|2|3}:vname[#rrggbb [:legend]]] [AREA:vname[#rrggbb[:legend]]][STACK:vname[#rrggbb[:legend]]]

根据指定的 rrdtool 数据库进行绘图，关键参数说明如下：

filename 指定输出图像的文件名，默认是 PNG 格式；
--start 指定起始时间；
--end 指定结束时间；
--x-grid 控制 X 轴网格线刻度、标签的位置；
--y-grid 控制 Y 轴网格线刻度、标签的位置；
--vertical-label 指定 Y 轴的说明文字；
--width pixels 指定图表宽度（像素）；
--height pixels 指定图表高度（像素）；
--imgformat 指定图像格式（GIF|PNG|GD）；
--background 指定图像背景颜色，支持 #rrggbb 表示法；
--upper-limit 指定 Y 轴数据值上限；
--lower-limit 指定 Y 轴数据值下限；
--no-legend 取消图表下方的图例；
--rigid 严格按照 upper-limit 与 lower-limit 来绘制；
--title 图表顶部的标题；
DEF:vname=rrd:ds-name:CF 指定绘图用到的数据源；
CDEF:vname=rpn-expression 合并多个值；
GPRINT:vname:CF:format 图表的下方输出最大值、最小值、平均值等；
COMMENT:text 指定图表中输出的一些字符串；
HRULE:value#rrggbb 用于在图表上面绘制水平线；
VRULE:time#rrggbb 用于在图表上面绘制垂直线；
LINE{1|2|3}:vname 使用线条来绘制数据图表，{1|2|3} 表示线条的粗细；
AREA:vname 使用面积图来绘制数据图表。

fetch 方法

fetch filename CF [--resolution|-r resolution] [--start|-s start] [--end|-e end]

根据指定的 rrdtool 数据库进行查询，关键参数说明如下：

filename 指定要查询的 rrd 文件名；
CF 包括 AVERAGE、MAX、MIN、LAST，要求必须是建库时 RRA 中定义的类型，否则会报错；
--start --end 指定查询记录的开始与结束时间，默认可省略。

实践：实现网卡流量图表绘制

在日常运营工作当中，观察数据的变化趋势有利于了解我们的服务质量，比如在系统监控方面，网络流量趋势图直接展现了当前网络的吞吐。CPU、内存、磁盘空间利用率趋势则反映了服务器运行健康状态。通过这些数据图表管理员可以提前做好应急预案，对可能存在的风险点做好防范。本次实践通过 rrdtool 模块实现服务器网卡流量趋势图的绘制，即先通过 create 方法创建一个 rrd 数据库，再通过 update 方法实现数据的写入，最后可以通过 graph 方法实现图表的绘制，以及提供 last、first、info、fetch 方法的查询。图3-12为 rrd 创建到输出图表的过程。

Figure 1. 图3-12 创建、更新rrd及输出图表流程

第一步采用 create 方法创建 rrd 数据库，参数指定了一个 rrd 文件、更新频率 setp、起始时间—start、数据源DS、数据源类型DST、数据周期定义 RRA 等，详细源码如下：

rrdtool/create.py

# -*- coding: utf-8 -*-
# !/usr/bin/python
import rrdtool
import time

cur_time = str(int(time.time()))  # 获取当前Linux时间戳作为rrd起始时间
# 数据写频率--step为300秒(即5分钟一个数据点)
rrd = rrdtool.create('Flow.rrd', '--step', '300', '--start', cur_time,
                     # 定义数据源eth0_in(入流量)、eth0_out(出流量)；类型都为COUNTER(递增)；600秒为心跳值，
                     # 其含义是600秒没有收到值，则会用UNKNOWN代替；0为最小值；最大值用U代替，表示不确定
                     'DS:eth0_in:COUNTER:600:0:U',
                     'DS:eth0_out:COUNTER:600:0:U',
                     # RRA定义格式为[RRA:CF:xff:steps:rows]，CF定义了AVERAGE、MAX、MIN三种数据合并方式
                     # xff定义为0.5，表示一个CDP中的PDP值如超过一半值为UNKNOWN，则该CDP的值就被标为UNKNOWN
                     # 下列前4个RRA的定义说明如下，其他定义与AVERAGE方式相似，区别是存最大值与最小值
                     # 每隔5分钟(1＊300秒)存一次数据的平均值,存600笔，即2.08天
                     # 每隔30分钟(6＊300秒)存一次数据的平均值,存700笔，即14.58天（2周）
                     # 每隔2小时(24＊300秒)存一次数据的平均值,存775笔，即64.58天（2个月）
                     # 每隔24小时(288＊300秒)存一次数据的平均值,存797笔，即797天(2年)
                     'RRA:AVERAGE:0.5:1:600',
                     'RRA:AVERAGE:0.5:6:700',
                     'RRA:AVERAGE:0.5:24:775',
                     'RRA:AVERAGE:0.5:288:797',
                     'RRA:MAX:0.5:1:600',
                     'RRA:MAX:0.5:6:700',
                     'RRA:MAX:0.5:24:775',
                     'RRA:MAX:0.5:444:797',
                     'RRA:MIN:0.5:1:600',
                     'RRA:MIN:0.5:6:700',
                     'RRA:MIN:0.5:24:775',
                     'RRA:MIN:0.5:444:797')
if rrd:
    print(rrdtool.error())

第二步采用 updatev 方法更新 rrd 数据库，参数指定了当前的 Linux 时间戳，以及指定 eth0_in、eth0_out 值（当前网卡的出入流量），网卡流量我们通过 psutil 模块来获取，如 psutil.net_io_counters()[1] 为入流量，关于 psutil 模块的介绍见第1.1。详细源码如下：

rrdtool/update.py

# -*- coding: utf-8 -*-
# !/usr/bin/python
import rrdtool
import time, psutil

total_input_traffic = psutil.net_io_counters()[1]  # 获取网卡入流量
total_output_traffic = psutil.net_io_counters()[0]  # 获取网卡出流量
starttime = int(time.time())  # 获取当前Linux时间戳

# 将获取到的三个数据作为updatev的参数，返回{'return_value': 0L}则说明更新成功，反之失败
update = rrdtool.updatev('/home/test/rrdtool/Flow.rrd', '%s:%s:%s' %
                         (str(starttime), str(total_input_traffic), str(total_output_traffic)))
print(update)

将代码加入 crontab，并配置 5 分钟作为采集频率，crontab 配置如下：

*/5 * * * * /usr/bin/python /home/test/rrdtool/update.py > /dev/null 2>&1

第三步采用 graph 方法绘制图表，此示例中关键参数使用了 --x-grid 定义 X 轴网格刻度；DEF 指定数据源；使用 CDEF 合并数据；HRULE 绘制水平线（告警线）；GPRINT 输出最大值、最小值、平均值等。详细源码如下：

rrdtool/graph.py

# -*- coding: utf-8 -*-
# !/usr/bin/python
import rrdtool
import time

# 定义图表上方大标题
title = "Server network  traffic flow (" + time.strftime('%Y-%m-%d', \
                                                         time.localtime(time.time())) + ")"
# 重点解释"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H"参数的作用（从左往右进行分解）
# "MINUTE: 12"表示控制每隔12分钟放置一根次要格线
# "HOUR: 1"表示控制每隔1小时放置一根主要格线
# "HOUR: 1"表示控制1个小时输出一个label标签
# "0: %H"0
# 表示数字对齐格线， %H表示标签以小时显示
rrdtool.graph("Flow.png", "--start", "-1d", "--vertical-label=Bytes/s", \
              "--x-grid", "MINUTE:12:HOUR:1:HOUR:1:0:%H", \
              "--width", "650", "--height", "230", "--title", title,
              "DEF:inoctets=Flow.rrd:eth0_in:AVERAGE",  # 指定网卡入流量数据源DS及CF
              "DEF:outoctets=Flow.rrd:eth0_out:AVERAGE",  # 指定网卡出流量数据源DS及CF
              "CDEF:total=inoctets,outoctets,+",  # 通过CDEF合并网卡出入流量，得出总流量total
              "LINE1:total#FF8833:Total traffic",  # 以线条方式绘制总流量
              "AREA:inoctets#00FF00:In traffic",  # 以面积方式绘制入流量
              "LINE1:outoctets#0000FF:Out traffic",  # 以线条方式绘制出流量
              "HRULE:6144#FF0000:Alarm value\\r",  # 绘制水平线，作为告警线，阈值为6.1k
              "CDEF:inbits=inoctets,8,＊",  # 将入流量换算成bit，即＊8，计算结果给inbits
              "CDEF:outbits=outoctets,8,＊",  # 将出流量换算成bit，即＊8，计算结果给outbits
              "COMMENT:\\r",  # 在网格下方输出一个换行符
              "COMMENT:\\r",
              "GPRINT:inbits:AVERAGE:Avg In traffic\: %6.2lf %Sbps",  # 绘制入流量平均值
              "COMMENT:   ",
              "GPRINT:inbits:MAX:Max In traffic\: %6.2lf %Sbps",  # 绘制入流量最大值
              "COMMENT:  ",
              "GPRINT:inbits:MIN:MIN In traffic\: %6.2lf %Sbps\\r",  # 绘制入流量最小值
              "COMMENT: ",
              "GPRINT:outbits:AVERAGE:Avg Out traffic\: %6.2lf %Sbps",  # 绘制出流量平均值
              "COMMENT: ",
              "GPRINT:outbits:MAX:Max Out traffic\: %6.2lf %Sbps",  # 绘制出流量最大值
              "COMMENT: ",
              "GPRINT:outbits:MIN:MIN Out traffic\: %6.2lf %Sbps\\r")  # 绘制出流量最小值

以上代码将生成一个 Flow.png 文件，如图3-13所示。

Figure 2. 图3-13 graph.py执行输出图表

提示

查看 rrd 文件内容有利于观察数据的结构、更新等情况，rrdtool 提供几个常用命令：

info 查看 rrd 文件的结构信息，如 rrdtool info Flow.rrd；
first 查看 rrd 文件第一个数据的更新时间，如 rrdtool first Flow.rrd；
last 查看 rrd 文件最近一次更新的时间，如 rrdtool last Flow.rrd；
fetch 根据指定时间、CF 查询 rrd 文件，如 rrdtool fetch Flow.rrd AVERAGE。

参考提示

rrdtool 参数说明参考 http://bbs.chinaunix.net/thread-2150417-1-1.html 和 http://oss.oetiker.ch/rrdtool/doc/index.en.html 。