发现内存泄漏
由于在电脑上运行 DBaaS 时较卡顿，通过查看任务管理器发现，在 DBaaS 运行过程中，内存占用不断增加，并且 CPU 占用率一直维持在 20% 左右（事件监听导致）。
通过 kubectl top 查看服务器上的 DBaaS 容器占用内存已接近 2G，初步确定可能是 协程泄露 导致，出现了应该释放而没有被释放的协程，导致系统协程数量一直上升。
使用 pprof 性能分析工具
首先需要在 main 包中引入 pprof 包
import _ "net/http/pprof"
然后在 main 函数中开启一个 http 服务，http.pprof 会注册一些路由到 http.DefaultServeMux 默认路由中
go func() {
_ = http.ListenAndServe("0.0.0.0:8080", nil)
}()
使用浏览器打开 http://localhost:8080/debug/pprof/，如下图：
主要关注 goroutine 这行， 前面的数字 498，表示当前正在运行的协程数量。
点击 goroutein 的链接可查看当前正在运行协程的详细信息，如下图：
可以看到 writeLoop 方法开启了 256 个协程，readLoop 方法开启了 254 个协程，大部分的协程都由这两个方法产生，并且可以看到这两个方法都在 net/http 包下的 transport 文件中。
分析协程泄露的原因
排查显式的协程泄露
通过观察 debug/pprof 中的信息发现协程的数量会每隔五秒增加四个，规律增长，于是推测协程泄露发生在每隔 5s 执行一次的定时任务中。有以下两个任务是每隔 5s 执行：
metricsPods := "@every 5s"
_, err = cc.AddFunc(metricsPods, cs.AsyncMetricsPods)
utils.LoggerError(err)
asyncCommonInfo := "@every 5s"
_, err = cc.AddFunc(asyncCommonInfo, cs.AsyncCommonInfo)
utils.LoggerError(err)
一个是采集性能数据，另一个是同步集群信息，不过通过排查相关代码并未发现问题。
排查隐式的协程泄露
在 pprof 的性能数据中还有一个很重要的信息，就是协程的启动信息
goroutine profile: total 530 // 总的协程数量
256 @ 0x62ec9a 0x63fc68 0x9a54de 0x664a41
# 0x9a54dd net/http.(*persistConn).writeLoop+0xfd D:/Go/go1.16.windows-amd64/src/net/http/transport.go:2382
...
第二行的 256 表示由 net/http.(*persistConn).writeLoop 方法启动的协程数量，后面是此方法所在的文件以及行号，由此可看出协程泄露主要发生在这里。
通过对此方法的追踪和分析，发现调用它的方法主要是 net/http.(*Client).Do，于是全局搜索 http.Client 的引用，最终把问题锁定在采集性能数据的一段代码中：
func (cs *commonService) AsyncMetricsPods() {
...
tr := &http.Transport{
TLSClientConfig: &tls.Config{
RootCAs: pool,
Certificates: []tls.Certificate{cliCrt},
},
}
client := &http.Client{Transport: tr}
response, err := client.Do(request)
...
}
此处主要是建立一个 TLS 长连接，主要问题是每次采集的时候都会创建一个 Client，并且未配置最大连接数和连接空闲时间，就会导致连接越来越多而且不会被回收。
代码改造
首先采集数据不用每次都创建一个 Client，可以在系统初始化时创建一个并复用，其次需要对连接进行一些配置：最大连接数，空闲连接数，连接超时和空闲连接时间。代码如下：
func (cs *commonService) setClientTR() {
if cs.Config == nil || cs.clientTR != nil {
return
}
pool := x509.NewCertPool()
pool.AppendCertsFromPEM(cs.Config.CAData)
cliCrt, err := tls.X509KeyPair(cs.Config.CertData, cs.Config.KeyData)
if err != nil {
return
}
dialer := &net.Dialer{
Timeout: 10 * time.Second,
KeepAlive: time.Minute,
}
tr := &http.Transport{
DialContext: dialer.DialContext,
IdleConnTimeout: time.Minute,
MaxIdleConns: 60,
MaxConnsPerHost: 20,
TLSClientConfig: &tls.Config{
RootCAs: pool,
Certificates: []tls.Certificate{cliCrt},
},
}
cs.clientTR = &http.Client{Transport: tr, Timeout: 10 * time.Second}
}
func (cs *commonService) AsyncMetricsPods() {
...
response, err := cs.clientTR.Do(request)
...
}
系统初始化时调用 setClientTR 创建 Client，采集数据时直接复用。
最终结果
如图所示，协程的数量稳定在 26 个，内存占用也稳定在 20MB 左右：
