开发笔记:linux性能优化动态追踪

当碰到内核线程的资源使用异常时&＃xff0c;很多常用的进程级性能工具并不能直接用到内核线程上。这时可以使用内核自带的perf 来观察它们的行为&＃xff0c;找出热点函数&＃xff0c;进一步定位性能瓶颈。不过&＃xff0c;perf 产生的汇总报告并不直观&＃xff0c;所以通常推荐用火焰图来协助排查

一、动态追踪技术

使用perf对系统内核线程进行分析时&＃xff0c;内核线程依然还在正常运行中&＃xff0c;所以这种方法也被称为动态追踪技术

1.1 动态追踪技术定义

动态追踪技术&＃xff0c;通过探针机制来采集内核或者应用程序的运行信息&＃xff0c;从而可以不用修改内核和应用程序的代码就获得丰富的信息&＃xff0c;从而分析、定位想要排查的问题

1.2 以往没有动态追踪时的做法

以往&＃xff0c;在排查和调试性能问题时&＃xff0c;往往需要&＃xff1a;

1. 先为应用程序设置一系列的断点(比如使用GDB)
2. 然后以手动或者脚本(比如GDB的Python扩展)的方式在这些断点处分析应用程序的状态&＃xff0c;或者增加一系列的日志&＃xff0c;从日志中寻找线索

不足&＃xff1a;

1. 断点往往会中断应用的正常运行
2. 增加新的日志需要重新编译和部署
3. 大量的性能问题
4. 难以复现的问题是一个巨大挑战
   出现的概率小&＃xff0c;只有线上环境才能碰到的情况

这些方法虽然依然广泛使用&＃xff0c;但在排查复杂的性能问题时往往耗时耗力&＃xff0c;更会对应用的正常运行造成巨大影响

1.3 动态追踪技术的优势

而动态追踪技术的出现&＃xff0c;就为这些问题提供了完美的方案&＃xff1a;它既不需要停止服务&＃xff0c;也不需要修改应用程序的代码&＃xff0c;所有一切还按照原来的方式正常运行就可以协助分析出问题的根源

同时&＃xff0c;相比以往的进程级跟踪方法(比如 ptrace)&＃xff0c;动态追踪往往只会带来很小的性能损耗(通常在5%或者更少)

既然动态追踪有这么多好处&＃xff0c;那么都有哪些动态追踪的方法&＃xff0c;又该如何使用这些动态追踪方法呢&＃xff1f;

二、动态追踪DTrace

说到动态追踪(Dynamic Tracing)&＃xff0c;就不得不提源于Solaris系统的DTrace。DTrace是动态追踪技术的鼻祖&＃xff0c;它提供了一个通用的观测框架&＃xff0c;并可以使用D语言进行自由扩展

DTrace的工作原理如下图所示&＃xff1a;

DTrace的运行常驻在内核中&＃xff0c;用户可以通过dtrace命令把D语言编写的追踪脚本&＃xff0c;提交到内核中的运行时来执行
DTrace可以跟踪用户态和内核态的所有事件&＃xff0c;并通过一些列的优化措施保证最小的性能开销

虽然直到现在&＃xff0c;DTrace本身依然无法在Linux中运行&＃xff0c;但它同样对Linux动态追踪产生了巨大的影响

总的来说&＃xff0c;为了追踪内核或用户空间的事件&＃xff0c;Dtrace把用户传入的追踪处理函数(一般称为Action)关联到被称为探针的检测点上。这些探针&＃xff0c;实际上也就是各种动态追踪技术所依赖的事件源

三、动态追踪的事件源

根据事件类型的不同&＃xff0c;动态追踪所使用的事件源可以分为静态探针、动态探针以及硬件事
件等三类。它们的关系如下图所示&＃xff1a;

3.1 静态探针

静态探针&＃xff0c;指事先在代码中定义好&＃xff0c;并编译到应用程序或者内核中的探针

这些探针只有在开启探测功能时才会被执行到&＃xff0c;未开启时并不会执行

常见的静态探针包括内核中的跟踪点(tracepoints)和USDT(Userland Statically Defined Tracing)探针&＃xff1a;

• 跟踪点(tracepoints)

实际上就是在源码中插入的一些带有控制条件的探测点&＃xff0c;这些探测点允许事后再添加处理数
比如在内核中&＃xff0c;最常见的静态跟踪方法就是printk&＃xff0c;即输出日志
Linux内核定义了大量的跟踪点&＃xff0c;可以通过内核编译选项来开启或者关闭

• USDT探针

全称是用户级静态定义跟踪&＃xff0c;需要在源码中插入DTRACE_PROBE()代码&＃xff0c;并编译到应用程序中
不过&＃xff0c;也有很多应用程序内置了USDT探针&＃xff0c;比如mysql、PostgreSQL等

3.2 动态探针

动态探针&＃xff0c;则是指没有事先在代码中定义&＃xff0c;但却可以在运行时动态添加的探针
比如函数的调用和返回等
动态探针支持按需在内核或者应用程序中添加探测点&＃xff0c;具有更高的灵活性

常见的动态探针有两种&＃xff0c;即用于内核态的kprobes和用于用户态的uprobes&＃xff1a;

• kprobes

用来跟踪内核态的函数&＃xff0c;包括用于函数调用的kprobe和用于函数返回的kretprobe

• uprobes

用来跟踪用户态的函数&＃xff0c;包括用于函数调用的uprobe和用于函数返回的uretprobe

注意&＃xff0c;kprobes需要内核编译时开启CONFIG_KPROBE_EVENTS&＃xff0c;而uprobes则需要内核编译时开启CONFIG_UPROBE_EVENTS

四、动态追踪机制

在这些探针的基础上&＃xff0c;Linux提供了一系列的动态追踪机制&＃xff0c;比如ftrace、perf、eBPF等

4.1 ftrace

最早用于函数跟踪&＃xff0c;后来又扩展支持了各种事件跟踪功能

ftrace的使用接口跟之前提到的procfs类似&＃xff0c;它通过debugfs(4.1以后也支持tracefs)&＃xff0c;以普通文件的形式向用户空间提供访问接口

这样&＃xff0c;不需要额外的工具就可以通过挂载点(通常为/sys/kernel/debug/tracing目录)内的文件读写来跟ftrace交互&＃xff0c;跟踪内核或者应用程序的运行事件

4.2 perf

一种最简单的静态跟踪机制&＃xff0c;可以通过perf来自定义动态事件(perf probe)&＃xff0c;只关注真正感兴趣的事件

4.3 eBPF

eBPF则在BPF(Berkeley Packet Filter)的基础上扩展而来&＃xff0c;不仅支持事件跟踪机制&＃xff0c;还可以通过自定义的BPF代码(使用 C 语言)来自由扩展。所以&＃xff0c;eBPF实际上就是常驻于内核的运行时&＃xff0c;可以说就是Linux版的DTrace

除此之外&＃xff0c;还有很多内核外的工具也提供了丰富的动态追踪功能
最常见的就是SystemTap、BCC(BPF Compiler Collection)&＃xff0c;以及常用于容器性能分析的sysdig等