grafana官网：https://grafana.com/zh-cn/grafana/
grafana下载：https://grafana.com/grafana/download?pg=graf&plcmt=deploy-box-1
promtheus官网：https://prometheus.io/docs/introduction/overview/
promtheus和采集服务下载：https://prometheus.io/download/
loki github地址：https://github.com/grafana/loki/
loki配置文件下载：https://raw.githubusercontent.com/grafana/loki/v1.5.0/cmd/loki/loki-local-config.yaml
loki push API：https://grafana.com/docs/loki/latest/reference/api/#push-log-entries-to-loki
1、说明
本文介绍使用grafana+prometheus+loki实现数据和日志的方法，其中数据和日志的采集使用自定义采集的方式，使用既有协议，发送到数据库源存储
- grafana负责界面展示配置
- prometheus负责数据的存储，为grafana提供数据源（exporter等应用负责数据采集）
- loki负责日志的存储，为grafana提供数据源（promtail负责日志的采集）
架构图如下：
2、grafana部署
根据对应的系统下载对应包，以二进制为例
./bin/grafana server #启动grafana
默认配置文件是 /conf/default.ini，其中 http_port 一项是服务的http访问端口
启动后，打开浏览器访问：http://127.0.0.1:3000
默认用户名和密码都是：admin，登录后会提示改密码
3、prometheus部署
prometheus 是一种时序数据库，用于存放数据，也可以作为 grafana 的数据源提供数据
3.1、自定义采集程序
下面程序以随机数示例
package collector
import (
"github.com/prometheus/client_golang/prometheus"
"math/rand"
)
type Test struct {
queryCountDesc *prometheus.Desc
}
func (e *Test) Init(config *ExporterConfig) {
e.queryCountDesc = prometheus.NewDesc(
prometheus.BuildFQName(NAMESPACE, "", config.ExporterName), // 自定义指标名称
config.HelpInfo, // 指标的help信息
[]string{"sensor_type"}, //这里要和下面的metric一一对应上
prometheus.Labels{},
)
}
func (e *Test) Describe(ch chan<- *prometheus.Desc) {
ch <- e.queryCountDesc
}
func (e *Test) Collect(ch chan<- prometheus.Metric) {
queryCount := e.CalcFrequency()
ch <- prometheus.MustNewConstMetric(
e.queryCountDesc,
prometheus.CounterValue,
float64(queryCount),
"sensor_name", //这里是传感器名称，要和上面desc一一对应上
)
}
func (e *Test) CalcFrequency() float64 {
return rand.Float64() //随机数
}
main入口
func main() {
// 实例化并注册数据采集器exporter
reg := prometheus.NewPedanticRegistry()
for _, sensorConfig := range yamlConfig.ROSConfig.SensorConfig {
if sensorConfig.Enable {
getCollector := collector.GetCollector(&collector.ExporterConfig{
Node: node,
HelpInfo: sensorConfig.Help,
TopicName: sensorConfig.Topic,
ExporterName: sensorConfig.Name,
})
reg.MustRegister(getCollector)
log.Info("register topic: %s", sensorConfig.Topic)
}
}
// 定义一个采集数据的采集器集合，它可以合并多个不同的采集器数据到一个结果集合中
gatherers := prometheus.Gatherers{
reg, //自定义的采集器
}
// 启动http服务
h := promhttp.HandlerFor(gatherers,
// HandlerFor函数传递上边的gatherers对象，并返回一个httpHandler对象h。
// 这个httpHandler对象h可以调用其自身的ServHTTP函数来接收HTTP请求，并返回响应
promhttp.HandlerOpts{
ErrorHandling: promhttp.ContinueOnError, // 采集过程中如果出现错误，继续采集其他数据，不会中断采集器的工作
})
// 创建一个HTTP处理器来暴露指标
http.HandleFunc("/metrics", func(w http.ResponseWriter, r *http.Request) {
log.Debug("start...")
h.ServeHTTP(w, r)
})
// 启动Web服务器，对外接口9101，交由prometheus来访问获取数据
err = http.ListenAndServe(fmt.Sprintf(":%d", 9101), nil)
if err != nil {
log.Error("listen and server fail, error: %s", err.Error())
return
}
}
3.2、prometheus配置
官方提供了很多常见的数据采集服务，可以根据需要自用，比如：node_exporter服务主要采集服务器的系统参数。本次以自定义数据采集示例
prometheus 下载解压后，进入目录，如下：
.
├── console_libraries
├── consoles
├── data
├── LICENSE
├── NOTICE
├── prometheus
├── prometheus.yml
└── promtool
prometheus 是需要执行的二进制，prometheus.yaml 是配置文件，修改配置
scrape_configs:
- job_name: "node"
static_configs:
- targets: ["localhost:9101"]
其他配置不管，这里配置采集程序
job_name 是采集程序名称
static_configs 配置采集程序的http地址，可以是多个，这里配置端口是9101，就是上面自定义采集程序开放的9101端口
3.3、运行prometheus
./prometheus --config.file="prometheus.yml" #使用指定配置文件启动prometheus
peometheus 默认使用9090端口提供数据，也可以访问查看配置情况，
打开浏览器，访问：http://127.0.0.1:9090/
以此点击：Status -> Target，可以看到配置的采集服务，如下图：
这里是采集服务没有运行，如果运行，则可以点击EndPoint进入查看数据
4、loki部署
loki下载解压，看一下loki的配置文件，部分配置说明如下：
server:
http_listen_port: 3100 #loki接收的http端口
运行loki
./loki-linux-amd64 -config.file=loki-local-config.yaml
运行后查询采集内容，打开浏览器，访问：http://127.0.0.1:3100/metrics，即可看到原始数据上报
4.1、自定义日志采集
loki开放http接口接收日志，从文档中找到push api即可使用
POST /loki/api/v1/push
header中添加
Content-Type: application/json
body内容
{
"streams": [
{
"stream": {
"label": "value"
},
"values": [
[ "<unix epoch in nanoseconds>", "<log line>" ],
[ "<unix epoch in nanoseconds>", "<log line>" ]
]
}
]
}
测试
$ curl -v -H "Content-Type: application/json" -XPOST -s "http://localhost:3100/loki/api/v1/push" --data-raw \
'{"streams": [{ "stream": { "foo": "bar2" }, "values": [ [ "1570818238000000000", "fizzbuzz" ] ] }]}'
5、grafana配置
5.1、添加数据源
登录grafana，打开左上角菜单栏 -> Connections -> Data sources -> Add new data source，添加数据源，这里要添加两个
选择 prometheus，输入URL：http://localhost:9090（根据实际url修改），点击最下方的Save& test，保存并测试
选择 loki，输入URL：http://localhost:3100（根据实际url修改），点击最下方的Save& test，保存并测试
5.2、自定义面板
打开左上角菜单栏 -> Dabshboards -> New，创建新面板，自己摸索配置即可