HA InfluxDB 作为 Prometheus 的后端存储

Prometheus本地存储专为短期且性能要求不高的数据而设计的，因此，使用的时候需要确认当前数据的保留期限以及相应的可用性要求。为了让我们将持久数据存储更长的时间，我们使用了“外部存储”机制。在这种模式下，Prometheus 将自己的数据复制到外部存储。,Prometheus高可用有多种方案，但我们选择了通过 InfluxDB 实现的高可用解决方案。InfluxDB 是一种可靠且强大的存储软件，有很多功能。此外，它非常适合与Grafana对接，从而提供可视化监控 。,在我们的部署过程中，我们遵循了Influx-Relay 官方文档(https://github.com/influxdata/influxdb-relay/blob/master/README.md)。安装需要三个节点：,根据InfluxDB 官方推荐的 Influx-Relay 方案，推荐使用 5 节点（四个 InfluxDB 实例 + Loadbalancer 节点），但三个节点足以满足我们的工作负载。,,节点上操作系统都使用了 Ubuntu Xenial。见下表软件版本：,部署 InfluxDB HA 我们使用了本文7.1中描述的Influxdb HA 部署脚本 。,HA 机制已从 InfluxDB（自版本 1.xx 起）移出，现在仅作为企业选项提供。目前有一个官方的fork还在活跃，这里主要讲一下目前活跃的relay的fork，github地址在influxdb-relay(https://github.com/vente-privee/influxdb-relay)。,Influx-relay 是用 Golang 编写的，其原理总结为将写入查询代理到多个目的地（InfluxDB 实例）。Influx-Relay 在每个 InfluxDB 节点上运行，因此任何 InfluxDB 实例的写入请求都会在所有其他节点上进行镜像。Influx-Relay 轻巧而健壮，不会消耗太多系统资源。请参阅本文7.3描述的Influx-Relay配置。,Nginx 守护进程在单独的节点上运行并充当负载均衡器（上游代理模式）。它将“/query”查询直接重定向到每个 InfluxDB 实例，并将“/write”查询重定向到每个 Influx-relay 守护进程。轮询算法被调度用于查询和写入。这样，传入的读取和写入在整个 InfluxDB 集群中均衡。请参阅本文7.4描述的Nginx配置。,InfluxDB HA 安装使用 Prometheus 进行了测试，该 Prometheus 轮询 200 节点的服务，并生成大量流向其外部存储的数据流。为了测试 InfluxDB 性能，在 Grafana 的帮助下使用并可视化了“_internal”数据库计数器。我们发现 3 节点的 InfluxDB HA 可以轻松处理 200 节点的 Prometheus 负载，并且总体性能不会降低。用于 InfluxDB 监控的 Grafana 仪表板可以在参考本文的7.5部分。,这些图表是通过Grafana 根据原生存储在 InfluxDB ‘_internal’ 数据库中的指标构建的。为了创建可视化，我们使用了 Grafana InfluxDB Dashboard(https://docs.openstack.org/developer/performanc-docs/methodologies/monitoring/influxha.html#grafana-influxdb-dashboard)。,操作系统性能指标是使用 Telegraf 代理收集的，该代理安装在每个集群节点上，并按需启用需要的插件。请参阅Containerized Openstack Monitoring(https://docs.openstack.org/developer/performance-docs/methodologies/monitoring/index.html)文档中的Telegraf​ 系统(​https://docs.openstack.org/developer/performance-docs/methodologies/monitoring/index.html#telegraf-sys-conf​) 配置文件。,InfluxDB node1 操作系统性能,InfluxDB node2 操作系统性能,负载均衡节点操作系统性能,配置压缩包（用于部署脚本）,influx_ha_deployment.tar`(https://docs.openstack.org/developer/performance-docs/_downloads/influx_ha_deployment.tar),InfluxDB 配置,第一个实例,第二个实例,Nginx 配置,04,Influxdb对接Grafana所使用的Dashboard图形可以参考InfluxDB_Dashboard.json(https://docs.openstack.org/developer/performance-docs/_downloads/InfluxDB_Dashboard.json),目前influxdb本身的集群方案属于闭源状态，而本身的开源的influxdb并不支持高可用集群。Prometheus本身不推荐作为数据存储的工具，因此，通过influxdb-relay可以实现相对完善，可靠的监控高可用方案。,参考：