golang进阶:logrus日志使用教程
golang日志库
golang
标准库的日志框架非常简单,仅仅提供了print
,panic
和fatal
三个函数对于更精细的日志级别、日志文件分割以及日志分发等方面并没有提供支持.
所以催生了很多第三方的日志库,但是在golang的世界里,没有一个日志库像slf4j那样在Java中具有绝对统治地位.golang中,流行的日志框架包括logrus、zap、zerolog、seelog等.
logrus
是目前Github上star数量最多的日志库,目前(2018.12,下同)star数量为8119,fork数为1031.
logrus
功能强大,性能高效,而且具有高度灵活性,提供了自定义插件的功能.很多开源项目,如docker
,prometheus
,dejavuzhou/ginbro
等,都是用了logrus来记录其日志.
zap是Uber推出的一个快速、结构化的分级日志库.具有强大的ad-hoc分析功能,并且具有灵活的仪表盘.zap目前在GitHub上的star数量约为4.3k. seelog提供了灵活的异步调度、格式化和过滤功能.目前在GitHub上也有约1.1k.
logrus特性
- 完全兼容golang标准库日志模块:logrus拥有六种日志级别:
debug
、info
、warn
、error
、fatal
和panic
,这是golang标准库日志模块的API的超集.如果您的项目使用标准库日志模块,完全可以以最低的代价迁移到logrus上.logrus.Debug("Useful debugging information.")
logrus.Info("Something noteworthy happened!")
logrus.Warn("You should probably take a look at this.")
logrus.Error("Something failed but I'm not quitting.")
logrus.Fatal("Bye.")
//log之后会调用os.Exit(1)logrus.Panic("I'm bailing.")
//log之后会panic()
- 可扩展的Hook机制:允许使用者通过hook的方式将日志分发到任意地方,如本地文件系统、标准输出、
logstash
、elasticsearch
或者mq
等,或者通过hook定义日志内容和格式等. - 可选的日志输出格式:logrus内置了两种日志格式,
JSONFormatter
和TextFormatter
,如果这两个格式不满足需求,可以自己动手实现接口Formatter,来定义自己的日志格式. Field
机制:logrus
鼓励通过Field机制进行精细化的、结构化的日志记录,而不是通过冗长的消息来记录日志.logrus
是一个可插拔的、结构化的日志框架.Entry
:logrus.WithFields
会自动返回一个*Entry,Entry
里面的有些变量会被自动加上time:entry
被创建时的时间戳- msg:在调用
.Info()
等方法时被添加 - level
logrus的使用
1.基本用法
package main
import (
log "github.com/sirupsen/logrus"
)
func main() {
log.WithFields(log.Fields{
"animal": "walrus",
}).Info("A walrus appears")
}
上面代码执行后,标准输出上输出如下:
time="2018-08-11T15:42:22+08:00" level=info msg="A walrus appears" animal=walrus
logrus
与golang标准库日志模块完全兼容,因此您可以使用log“github.com/sirupsen/logrus”
替换所有日志导入.
logrus
可以通过简单的配置,来定义输出、格式或者日志级别等.
package main
import (
"os"
log "github.com/sirupsen/logrus"
)
func init() {
// 设置日志格式为json格式
log.SetFormatter(&log.JSONFormatter{})
// 设置将日志输出到标准输出(默认的输出为stderr,标准错误)
// 日志消息输出可以是任意的io.writer类型
log.SetOutput(os.Stdout)
// 设置日志级别为warn以上
log.SetLevel(log.WarnLevel)
}
func main() {
log.WithFields(log.Fields{
"animal": "walrus",
"size": 10,
}).Info("A group of walrus emerges from the ocean")
log.WithFields(log.Fields{
"omg": true,
"number": 122,
}).Warn("The group's number increased tremendously!")
log.WithFields(log.Fields{
"omg": true,
"number": 100,
}).Fatal("The ice breaks!")
}
2.自定义Logger
如果想在一个应用里面向多个地方log
,可以创建Logger实例.
logger
是一种相对高级的用法, 对于一个大型项目, 往往需要一个全局的logrus
实例,即logger
对象来记录项目所有的日志.如:
package main
import (
"github.com/sirupsen/logrus"
"os"
)
// logrus提供了New()函数来创建一个logrus的实例.
// 项目中,可以创建任意数量的logrus实例.
var log = logrus.New()
func main() {
// 为当前logrus实例设置消息的输出,同样地,
// 可以设置logrus实例的输出到任意io.writer
log.Out = os.Stdout
// 为当前logrus实例设置消息输出格式为json格式.
// 同样地,也可以单独为某个logrus实例设置日志级别和hook,这里不详细叙述.
log.Formatter = &logrus.JSONFormatter{}
log.WithFields(logrus.Fields{
"animal": "walrus",
"size": 10,
}).Info("A group of walrus emerges from the ocean")
}
3.Fields用法
前一章提到过,logrus
不推荐使用冗长的消息来记录运行信息,它推荐使用Fields
来进行精细化的、结构化的信息记录.
例如下面的记录日志的方式:
log.Fatalf("Failed to send event %s to topic %s with key %d", event, topic, key)
在logrus
中不太提倡,logrus
鼓励使用以下方式替代之:
log.WithFields(log.Fields{
"event": event,
"topic": topic,
"key": key,
}).Fatal("Failed to send event")
前面的WithFields API可以规范使用者按照其提倡的方式记录日志.但是WithFields依然是可选的,因为某些场景下,使用者确实只需要记录仪一条简单的消息.
通常,在一个应用中、或者应用的一部分中,都有一些固定的Field.比如在处理用户http请求时,上下文中,所有的日志都会有request_id
和user_ip
.为了避免每次记录日志都要使用log.WithFields(log.Fields{“request_id”: request_id, “user_ip”: user_ip}),我们可以创建一个logrus.Entry实例,为这个实例设置默认Fields,在上下文中使用这个logrus.Entry实例记录日志即可.
requestLogger := log.WithFields(log.Fields{"request_id": request_id, "user_ip": user_ip})
requestLogger.Info("something happened on that request") # will log request_id and user_ip
requestLogger.Warn("something not great happened")
4.Hook接口用法
logrus最令人心动的功能就是其可扩展的HOOK机制了,通过在初始化时为logrus添加hook,logrus可以实现各种扩展功能.
logrus的hook接口定义如下,其原理是每此写入日志时拦截,修改logrus.Entry.
// logrus在记录Levels()返回的日志级别的消息时会触发HOOK,
// 按照Fire方法定义的内容修改logrus.Entry.
type Hook interface {
Levels() []Level
Fire(*Entry) error
}
一个简单自定义hook如下,DefaultFieldHook定义会在所有级别的日志消息中加入默认字段appName=”myAppName”.
type DefaultFieldHook struct {
}
func (hook *DefaultFieldHook) Fire(entry *log.Entry) error {
entry.Data["appName"] = "MyAppName"
return nil
}
func (hook *DefaultFieldHook) Levels() []log.Level {
return log.AllLevels
}
hook
的使用也很简单,在初始化前调用log.AddHook(hook)
添加相应的hook
即可.
logrus
官方仅仅内置了syslog
的hook
.
此外,但Github也有很多第三方的hook
可供使用,文末将提供一些第三方HOOK
的连接.
4.1 Logrus-Hook-Email
email
这里只需用NewMailAuthHook
方法得到hook
,再添加即可
func Email(){
logger:= logrus.New()
//parameter"APPLICATION_NAME", "HOST", PORT, "FROM", "TO"
//首先开启smtp服务,最后两个参数是smtp的用户名和密码
hook, err := logrus_mail.NewMailAuthHook("testapp", "smtp.163.com",25,"username@163.com","username@163.com","smtp_name","smtp_password")
if err == nil {
logger.Hooks.Add(hook)
}
//生成*Entry
var filename="123.txt"
contextLogger :=logger.WithFields(logrus.Fields{
"file":filename,
"content": "GG",
})
//设置时间戳和message
contextLogger.Time=time.Now()
contextLogger.Message="这是一个hook发来的邮件"
//只能发送Error,Fatal,Panic级别的log
contextLogger.Level=logrus.FatalLevel
//使用Fire发送,包含时间戳,message
hook.Fire(contextLogger)
}
4.2 Logrus-Hook-Slack
安装logrus-slack-pacakge go get github.com/multiplay/go-slack
import (
"github.com/sirupsen/logrus"
"github.com/multiplay/go-slack/chat"
"github.com/multiplay/go-slack/lrhook"
)
func Bearychat(){
//cfg必须符合Config里面的变量,
cfg := lrhook.Config{
MinLevel: logrus.InfoLevel,
Message: chat.Message{
Text: "发生了错误",
},
Attachment: chat.Attachment{
//Attach里面有很多字段,这里能够设置的只有title
// Field Text - Will be set to that of log entry Message.
// Field Fields - Will be created to match the log entry Fields.其实bearchart里面没有field字段
// Field Color - Will be set according to the LevelColors or UnknownColor if a match is not found..
Title: "123.txt",
},
}
h := lrhook.New(cfg, "https://hook.bearychat.com/=bw9Y1/incoming/********")
logrus.SetFormatter(&logrus.JSONFormatter{})
logrus.AddHook(h)
//这里就可以使用Warn了
logrus.Warn("")
}
问题一:
但这里有个问题,那就是,lrhook
里面config的变量与bearchat
里面的变量不对应,导致bearchat
定义的的字段不能有效设置
但使用lrhook
的好处是,在发生log
时会自动发送
解决方法:
使用webhook
,构造与规定对应的json
,并且可以处理macdown
,只需在log
发生时,手动调用即可
func Bearyweb() {
c := webhook.New("https://**************")
m := &chat.Message{
Text: "filename",
Markdown: true,
Attachments: []*chat.Attachment{
{
Title : "world war 2",
Text : "*go back* \n**macdown**\n>fjia",
Color : "#ffa500",
},
},
}
m.Send(c)
}
问题二:
bearchat
里面都是设置对应字段,所以不能像email那样把log级别自动加上
解决方法:
在将某个字段手动设置为想要的log
级别,比如把Attachments:title
字段设置为“Warn”
,
4.3 Logrus-Hook 日志分隔
logrus本身不带日志本地文件分割功能,但是我们可以通过file-rotatelogs进行日志本地文件分割. 每次当我们写入日志的时候,logrus都会调用file-rotatelogs来判断日志是否要进行切分.关于本地日志文件分割的例子网上很多,这里不再详细介绍,奉上代码:
import (
"github.com/lestrrat-go/file-rotatelogs"
"github.com/rifflock/lfshook"
log "github.com/sirupsen/logrus"
"time"
)
func newLfsHook(logLevel *string, maxRemainCnt uint) log.Hook {
writer, err := rotatelogs.New(
logName+".%Y%m%d%H",
// WithLinkName为最新的日志建立软连接,以方便随着找到当前日志文件
rotatelogs.WithLinkName(logName),
// WithRotationTime设置日志分割的时间,这里设置为一小时分割一次
rotatelogs.WithRotationTime(time.Hour),
// WithMaxAge和WithRotationCount二者只能设置一个,
// WithMaxAge设置文件清理前的最长保存时间,
// WithRotationCount设置文件清理前最多保存的个数.
//rotatelogs.WithMaxAge(time.Hour*24),
rotatelogs.WithRotationCount(maxRemainCnt),
)
if err != nil {
log.Errorf("config local file system for logger error: %v", err)
}
level, ok := logLevels[*logLevel]
if ok {
log.SetLevel(level)
} else {
log.SetLevel(log.WarnLevel)
}
lfsHook := lfshook.NewHook(lfshook.WriterMap{
log.DebugLevel: writer,
log.InfoLevel: writer,
log.WarnLevel: writer,
log.ErrorLevel: writer,
log.FatalLevel: writer,
log.PanicLevel: writer,
}, &log.TextFormatter{DisableColors: true})
return lfsHook
}
使用上述本地日志文件切割的效果如下:
logrus 线程安全
默认的logger在并发写的时候是被mutex保护的,比如当同时调用hook和写log时mutex就会被请求,有另外一种情况,文件是以appending mode打开的, 此时的并发操作就是安全的,可以用logger.SetNoLock()来关闭它