首页 > 插件开发 > > 正文

物理机性能监控—基于collectd插件编写

日期:2016-11-22 17:29:10编辑作者:新葡京线上娱乐

目前在做一个对物理机的性能指标监控的项目。在业内实现方式主要有如下两种方案:

  1、在物理机中部署agent程序,实现对数据指标的采集。此方案在采集数据和容错处理上都比较简单,而且由于agent分布在不同的物理机上,天生的就避免了集中式采集所造成的性能问题。采用agent方式的缺点是在项目上线进行实施部署时会存在较大的工作量,因为需要对所有的物理机进行agent的安装部署。并且一旦agent程序被有意无意的停掉,将获取不到数据。

  2、通过远程访问的方式获取物理机的连接,运行操作系统指令获取数据指标。此方案不需要安装agent程序,实施工作量小,但是由于使用的是远程交互的方式,不太容易进行错误处理,一旦出现操作系统命令运行阻塞,而且采集程序没有及时发现,接踵而来的是大量的操作系统命令阻塞,会存在导致物理机宕机的风险。另外一方面当采集成百上千的物理机数据时,一定要考虑分布式采集。

  在开发过程中发现了collectd开源框架,下面将从以下几方面对collectd进行介绍:

  1、collectd介绍

  2、collectd的基本安装配置

  3、collectd插件编写

  collectd介绍

  collectd是一个守护进程,由c语言实现,用来收集系统信息,可以通过多种方式使其可用(文件、网络等)。守护进程本身只有给插件载入、查询和提交的功能,除此之外没做其他事情,数据的采集和获取都是通过插件进行。collectd支持多种插件,主要分为read类型的插件和write类型的插件。Read类型的插件就是用于读取监控项的指标的插件。write类型的插件就是将获取到的值写入文件、数据库、缓存等介质中。目前collectd可以应用在 Linux,Solaris,Mac OS X,AIX,FreeBSD,NetBSD 和 OpenBSD 等常见的操作系统中。

  基于collectd的插件编写

  上图为collectd的架构图,图中可以看到collectd进程通过和各种插件交互完成对数据的采集。

  collectd基本安装配置

  下面简要介绍Collectd的安装配置。将要以Centos7.X操作系统为例进行介绍。在服务器联网的情况下,可以通过Yum进行安装,过程如下:

  1、安装collectd软件

  # yum install epel-release

  # yum install collectd

  2、启动collectd服务,并且设置开机启动

  # systemctl start collectd

  # systemctl enable collectd

  根据以上命令collectd已经成功的安装到服务器上,并且配置了开机自启动。

  另外服务的停止命令和重启命令分别为:

  # systemctl stop collectd

  # systemctl restart collectd

  4 、修改collectd的配置文件

  collectd的插件都需要在collectd.conf文件中进行开启和关闭。例如,可以将”LoadPlugin cpu”前的 “#”号去掉,用于启动cpu的read监控。

                基于collectd的插件编写

  collectd有自己的类型,都存储在Types.db中,文件内容如下。

  基于collectd的插件编写

  其中第一列为类型的名称;第二列为对类型的描述(包括:GAUGE,DERIVE,COUNTER,ABSOLUTE),由四列组成,分别为数据源名、类型、最小值和最大值组成,中间以冒号”:”进行分隔。U表示没有定义,意思就是没有范围。用户可以根据需要定义自己的collectd的类型,以方便理解。

  我们可以定义从名称上容易理解的类型。实现方式是在文件types.db中添加自己定义的类型,或者自定义mytypes.db文件。如 :

  基于collectd的插件编写

  1、加入如下信息:test value:GAUGE:0:U

  2、然后修改collectd.conf启用自定义的mytypes.db文件

  这样就成功添加了一个自定义的类型 test。

  collectd插件编写

  collectd实现了常见的指标的监控。但是在实际的项目中collectd已经提供了的插件明显是不够的,这样就需要开发自己的read插件,来实现对更多的指标的数据采集。另外在实现自己的项目时,总是希望采集得到的数据能够存入自定义的数据存储中,这时就需要自己实现 write插件,将获取到的数据按照要求插入自己的数据存储中。

  collectd 支持各种自定义扩展,C-plugins,Perl-plugins,Java-plugins,Python-plugins,UNIX 域套接字,Java 的 MBean 的支持等。这样就允许通过python或者java等程序实现read和write的插件。下面通过一个简单的例子介绍一下使用python语言开发自己的read插件和write插件。

  1) 在配置文件中启用插件

  首先需要对配置文件进行修改,将python插件进行启用,以保证由python开发的插件的程序可用。

                  基于collectd的插件编写

  配置插件,在此处我们配置插件的路径为”/root”,并通过Import将写好的test.py模块进行进行加载。如果有多个模块可以调用多个Import。然后配置<Module>模块,模块名和Import相对应。在<Module>模块中可以根据插件的需要配置自己的参数,在此处为了看效果随便配置了参数t和Interval。

                  基于collectd的插件编写

  2)开发自己的python程序。

  创建test.py文件,并且放到”/root”路径下。在test.py文件中引入collectd模块。collectd提供了基本的方法用于注册自己插件的配置加载函数、数据读取函数和数据写函数。

  基于collectd的插件编写

  以上三个方法的参数最重要的都是一个回调函数,分别用于读取配置文件、采集监控数据和处理获取的监控数据。

  1、配置文件回调函数

  def configure_callback(conf=None):

  pass

  os.system("echo '"+str(conf)+"'>>/tmp/config.log")

  try:

  for c in conf.children:

  os.system("echo '"+ str(c.values[0])+"'>>/tmp/config.log")

  except Exception ,e:

  os.system("echo '"+e+"'>>/tmp/config.log")

  finally:

  pass

  1中首先创建读取配置的函数。它的作用是读取collectd.conf文件中的配置,对应的就是上面配置的module,t,Interval。为了能够看到效果,我们将获取到的配置信息写入到config.log文件中。

  2是创建的监控的读回调函数。在此处定义了一个getTestValue函数,返回了数字123(在真实的系统中,需要根据自己需要去获取数据)。然后定义了读回调函数read_callback,设置了类型为自定义的类型“test”,接着设置了其它的参数,最后调用dispatch方法,发送获取的结果,给write插件读取。

  其中type为上文中自定义的类型,也可以为在types.db中定义的其它类型。

  2、读回调函数

  def getTestValue():

  return 123

  def read_callback():

  type = "test"

  val = collectd.Values(type)

  val.plugin = "test"

  val.host = "127.0.0.1"

  val.type_instance = "test_instance"

  val.interval = 30

  val.values = [getTestValue()]

  val.dispatch()

  创建”写”回调函数,为了能够看到效果,我们将数据写 到write.log文件中。在实际的项目中,可以在此处加入自己的逻辑,将数据写入数据库,缓存等自己需要的介质中,以达到和项目集成的目的。

  3、写回调函数

  def write_callback(data=None):

  os.system("echo '"+str(data)+"'>>/tmp/write.log")

  4中是将自己实现的回调函数注册到collectd中,使其生效。

  4、注册回调函数

  collectd.register_config(configure_callback)

  collectd.register_read(read_callback)

  collectd.register_write(write_callback)

  重启服务,将会在/tmp路径下看到config.log 和 write.log。其中config.log中将会读取 t 和 Interval参数,而在write.log中将会看到test类型 值为123的数据。

  根据以上例子我们只是将获取的结果记录到了临时文件中,当然在和真实的项目集成时,我们也可以将结果写入数据库,缓存等自己需要的存储介质中。

  总结

  使用collectd的开源采集框架,是一个比较好的选择。collectd实际上属于Agent的采集方式,并且 collected已经提供了很多常见的采集指标,如CPU,内存等等,不仅能够减少开发的工作量,collectd还提供了更加灵活稳定的框架,支持自定义插件用于采集满足需求的数据。

相关文章

http://www.it-adv.net/cjkf/2016129.html

新葡京娱乐网址:搜索引擎优化基础知识PPT

这几天整理了一份《搜索引擎优化》的PPT,同事交流之用。主要内容有:SEO常用术语解释如何让搜索引擎收录网站SEO的目的站点自身内部的优化 ..

发布日期:2016-11-15 详细>>

http://www.it-adv.net/cjkf/201644.html

VS 2010 Beta 2测试功能抢先学(三)

 虽然是以介绍VS 2010 测试功能的专题,但随着学习的深入,我有了越来却强的认识 :如果主角儿只有一位的话,整个VS 2010工具的真正主 ..

发布日期:2016-10-07 详细>>

微软公司(Microsoft)简介

 微软公司(microsoft)创建于1975年,总部设在华盛顿州的雷德蒙市(Redmond,邻近西雅图)。目前是全球最大的电脑软件提供商。微软公司现 ..

发布日期:2016-10-07 详细>>

http://www.it-adv.net/cjkf/2016132.html

H5 Store来啦!这是要打败App Store的节奏吗?

现在已经有超过160W的人在快站拥有自己的站点,站长们对站点模板、插件的需求也随之增多, 希望用更多个性化插件包装自己的站点。仅仅依靠 ..

发布日期:2016-11-22 详细>>

页面前端的水有多深?

但凡从事互联网的人基本都会写几行 html,用过 Word 的人用 Dreamweaver 也能做出规整的页面,所以大部分人会很自然地认为页面的开发 ..

发布日期:2016-10-08 详细>>

网站统计: