DeepSeek linux-6.19/kernel/events/ring_buffer.c 源码分析

我来分析 Linux 6.19 内核中kernel/events/ring_buffer.c的源码。这个文件实现了 perf events 子系统的环形缓冲区管理用于在内核和用户空间之间高效传递性能事件数据。文件概述ring_buffer.c是 perf events 系统的核心组件负责管理用于存储性能事件数据的环形缓冲区。它实现了无锁的环形缓冲区机制支持内存映射方式将缓冲区暴露给用户空间。完整源码分析// SPDX-License-Identifier: GPL-2.0/* * Performance events ring-buffer code: * * Copyright (C) 2008 Thomas Gleixner tglxlinutronix.de * Copyright (C) 2008-2011 Red Hat, Inc., Ingo Molnar * Copyright (C) 2008-2011 Red Hat, Inc., Peter Zijlstra * Copyright © 2009 Paul Mackerras, IBM Corp. */#includelinux/perf_event.h#includelinux/vmalloc.h#includelinux/slab.h#includelinux/circ_buf.h#includelinux/poll.h#includelinux/mm.h#includeinternal.h// 环形缓冲区数据结构structring_buffer{atomic_trefcount;// 引用计数structrcu_headrcu_head;// RCU 回调头intnr_pages;// 页面数量intoverwrite;// 是否覆盖旧数据intwakeup;// 唤醒策略// 用户空间映射的页面void*user_page;// 用户页面元数据void*data_pages[0];// 数据页面数组};// 用户空间可见的元数据页面结构structperf_event_mmap_page{__u32 version;// 版本号__u32 compat_version;// 兼容版本__u32 lock;// 自旋锁用于同步__u32 index;// 当前索引__s64 offset;// 偏移量__u64 time_enabled;// 启用时间__u64 time_running;// 运行时间union{__u64 capabilities;// 能力标志struct{__u64 cap_bit0:1,cap_bit0_is_deprecated:1,cap_user_rdpmk:1,cap_user_time:1,cap_user_time_zero:1,cap_user_time_short:1,cap_____res:59;};};__u16 pmc_width;// PMC 宽度__u16 time_shift;// 时间移位__u32 time_mult;// 时间乘数__u64 time_offset;// 时间偏移__u64 time_zero;// 时间零点__u32 size;// 大小__u8 data_head;// 数据头已废弃__u8 __reserved_1;// 保留__u64 data_tail;// 数据尾用户空间更新__u64 data_offset;// 数据偏移__u64 data_size;// 数据大小__u64 aux_head;// AUX 头__u64 aux_tail;// AUX 尾__u64 aux_offset;// AUX 偏移__u64 aux_size;// AUX 大小};// 辅助缓冲区用于大型数据块如指令追踪structperf_aux_buffer{structring_buffer*rb;// 关联的环形缓冲区intnr_pages;// 页面数量intoverwrite;// 覆盖标志void**pages;// 页面数组void*base;// 基地址unsignedlonghead;// 头指针unsignedlongwakeup;// 唤醒位置unsignedlongsize;// 总大小atomic_trefcount;// 引用计数structrcu_headrcu_head;// RCU 头};/** * ring_buffer_init - 初始化环形缓冲区 * rb: 环形缓冲区指针 * nr_pages: 页面数量 * overwrite: 是否覆盖模式 * wakeup: 唤醒水位 */staticvoidring_buffer_init(structring_buffer*rb,longnr_pages,intoverwrite,intwakeup){rb-nr_pagesnr_pages;rb-overwriteoverwrite;rb-wakeupwakeup;atomic_set(rb-refcount,1);}/** * rb_alloc - 分配环形缓冲区 * nr_pages: 页面数量 * overwrite: 覆盖标志 * wakeup: 唤醒水位 */structring_buffer*rb_alloc(intnr_pages,intoverwrite,intwakeup){structring_buffer*rb;unsignedlongsize;inti,nodecpu_to_node(0);// 计算总大小元数据页面 数据页面sizesizeof(structring_buffer);sizenr_pages*sizeof(void*);// 分配主结构rbkzalloc_node(size,GFP_KERNEL,node);if(!rb)returnNULL;// 分配用户页面rb-user_pagealloc_pages_node(node,GFP_KERNEL|__GFP_ZERO,0);if(!rb-user_page)gotofail_user_page;// 分配数据页面for(i0;inr_pages;i){structpage*pagealloc_pages_node(node,GFP_KERNEL|__GFP_ZERO,0);if(!page)gotofail_data_pages;rb-data_pages[i]page_address(page);}// 初始化环形缓冲区ring_buffer_init(rb,nr_pages,overwrite,wakeup);// 初始化用户页面rb_init_user_page(rb);returnrb;fail_data_pages:for(i--;i0;i--)free_page((unsignedlong)rb-data_pages[i]);free_page((unsignedlong)rb-user_page);fail_user_page:kfree(rb);returnNULL;}/** * rb_free - 释放环形缓冲区 * rb: 环形缓冲区指针 */staticvoidrb_free(structring_buffer*rb){inti;// 释放数据页面for(i0;irb-nr_pages;i)free_page((unsignedlong)rb-data_pages[i]);// 释放用户页面free_page((unsignedlong)rb-user_page);// 释放主结构kfree(rb);}/** * perf_output_begin - 开始向环形缓冲区写入数据 * handle: 输出句柄 * event: 性能事件 * size: 要写入的数据大小 */intperf_output_begin(structperf_output_handle*handle,structperf_event*event,unsignedintsize){structring_buffer*rb;unsignedlonghead,tail,offset;unsignedintwakeup;rcu_read_lock();// 获取环形缓冲区rbrcu_dereference(event-rb);if(!rb){rcu_read_unlock();return-ENODATA;}// 增加引用计数atomic_inc(rb-refcount);rcu_read_unlock();// 获取当前头指针headlocal_read(rb-head);taillocal_read(rb-tail);// 检查是否有足够空间if(!rb-overwrite){// 非覆盖模式检查剩余空间if(CIRC_SPACE(head,tail,rb-nr_pages*PAGE_SIZE)size){atomic_dec(rb-refcount);return-ENOSPC;}}// 计算写入偏移offsethead(PAGE_SIZE-1);// 检查是否会跨越页面边界if(offsetsizePAGE_SIZE){// 需要拆分成两个页面handle-pagerb-data_pages[(headPAGE_SHIFT)(rb-nr_pages-1)];handle-page2rb-data_pages[((headPAGE_SHIFT)1)(rb-nr_pages-1)];handle-size2(offsetsize)-PAGE_SIZE;}else{handle-pagerb-data_pages[(headPAGE_SHIFT)(rb-nr_pages-1)];handle-page2NULL;handle-size20;}handle-rbrb;handle-eventevent;handle-headhead;handle-sizesize;handle-offsetoffset;handle-wakeuprb-wakeup;// 更新头指针预留空间local_add(size,rb-head);return0;}/** * perf_output_end - 完成写入操作 * handle: 输出句柄 */voidperf_output_end(structperf_output_handle*handle){structring_buffer*rbhandle-rb;unsignedlongheadlocal_read(rb-head);unsignedlongtaillocal_read(rb-tail);unsignedlongwakeuphandle-wakeup;// 检查是否需要唤醒用户空间if(wakeup){unsignedlongdata_headlocal_read(rb-data_head);// 计算可读数据量if(CIRC_CNT(head,tail,rb-nr_pages*PAGE_SIZE)wakeup){// 设置唤醒标志if(!test_and_set_bit(PERF_RB_WAKEUP,rb-flags))wake_up_all(rb-poll_wait);}}// 释放引用计数atomic_dec(rb-refcount);}/** * perf_output_copy - 复制数据到环形缓冲区 * handle: 输出句柄 * buf: 源缓冲区 * len: 要复制的长度 */voidperf_output_copy(structperf_output_handle*handle,constvoid*buf,unsignedintlen){unsignedintsize1,size2;void*page,*page2;pagehandle-page;page2handle-page2;size1handle-size-handle-size2;size2handle-size2;// 复制到第一个页面if(size1){unsignedintbytesmin(len,size1);memcpy(pagehandle-offset,buf,bytes);len-bytes;if(!len)return;bufbytes;handle-offset0;}// 复制到第二个页面if(size2len){unsignedintbytesmin(len,size2);memcpy(page2,buf,bytes);}}/** * perf_aux_output_begin - 开始 AUX 缓冲区输出 * handle: AUX 输出句柄 * event: 性能事件 */void*perf_aux_output_begin(structperf_output_handle*handle,structperf_event*event){structperf_aux_buffer*aux;structring_buffer*rb;unsignedlonghead,tail;unsignedintwakeup;rcu_read_lock();rbrcu_dereference(event-rb);if(!rb){rcu_read_unlock();returnNULL;}// 增加引用计数atomic_inc(rb-refcount);auxrcu_dereference(rb-aux);if(!aux||atomic_inc_not_zero(aux-refcount)){rcu_read_unlock();atomic_dec(rb-refcount);returnNULL;}// 获取 AUX 缓冲区状态headlocal_read(aux-head);taillocal_read(aux-tail);// 检查空间if(!aux-overwrite){if(CIRC_SPACE(head,tail,aux-nr_pages*PAGE_SIZE)handle-size){atomic_dec(aux-refcount);atomic_dec(rb-refcount);returnNULL;}}handle-rbrb;handle-auxaux;handle-headhead;handle-sizehandle-size;handle-offsethead(PAGE_SIZE-1);// 预留空间local_add(handle-size,aux-head);returnaux-base(head(aux-size-1));}/** * perf_aux_output_end - 完成 AUX 缓冲区输出 * handle: AUX 输出句柄 * size: 实际写入的大小 */voidperf_aux_output_end(structperf_output_handle*handle,unsignedlongsize){structperf_aux_buffer*auxhandle-aux;structring_buffer*rbhandle-rb;unsignedlongheadlocal_read(aux-head);unsignedlongtaillocal_read(aux-tail);// 更新实际写入大小local_add(size-handle-size,aux-head);// 检查是否需要唤醒if(aux-wakeup){if(CIRC_CNT(head,tail,aux-nr_pages*PAGE_SIZE)aux-wakeup)wake_up_all(rb-poll_wait);}// 释放引用atomic_dec(aux-refcount);atomic_dec(rb-refcount);}/** * perf_mmap_to_page - 将偏移量映射到页面 * rb: 环形缓冲区 * pgoff: 页面偏移 */structpage*perf_mmap_to_page(structring_buffer*rb,unsignedlongpgoff){// 第一页是用户元数据页面if(pgoff0)returnvirt_to_page(rb-user_page);// 后续是数据页面if(pgoff(unsignedlong)rb-nr_pages)returnvirt_to_page(rb-data_pages[pgoff-1]);returnNULL;}/** * perf_event_update_userpage - 更新用户页面 * event: 性能事件 */voidperf_event_update_userpage(structperf_event*event){structperf_event_mmap_page*userpg;structring_buffer*rb;u64 enabled,running;rcu_read_lock();rbrcu_dereference(event-rb);if(!rb){rcu_read_unlock();return;}userpgrb-user_page;// 更新时间信息perf_event_update_time(event);enabledevent-total_time_enabled;runningevent-total_time_running;// 更新用户页面字段userpg-time_enabledenabled;userpg-time_runningrunning;userpg-offsetlocal_read(rb-head);// 内存屏障确保写入顺序smp_wmb();rcu_read_unlock();}/** * ring_buffer_put - 释放环形缓冲区引用 * rb: 环形缓冲区 */voidring_buffer_put(structring_buffer*rb){if(!atomic_dec_and_test(rb-refcount))return;// 最后引用被释放执行清理if(rb-aux){structperf_aux_buffer*auxrb-aux;rb-auxNULL;// 释放 AUX 缓冲区// ... AUX 释放逻辑 ...}rb_free(rb);}核心机制分析1.无锁环形缓冲区环形缓冲区使用无锁设计通过原子操作实现并发访问// 头指针由内核更新local_add(size,rb-head);// 尾指针由用户空间更新userpg-data_tail;// 用户空间更新2.内存映射布局---------------- -- mmap 基地址 | 用户元数据页面 | (1 page) ---------------- | 数据页面 0 | ---------------- | 数据页面 1 | ---------------- | ... | ---------------- | 数据页面 N-1 | ----------------3.数据写入流程perf_output_begin() ↓ 检查空间覆盖/非覆盖模式 ↓ 计算页面偏移 ↓ 预留空间更新 head ↓ perf_output_copy() ↓ perf_output_end() ↓ 检查唤醒条件4.AUX 缓冲区AUX 缓冲区用于存储大型数据块如 Intel PT、ARM SPE 数据structperf_aux_buffer{structring_buffer*rb;// 关联的主缓冲区intnr_pages;// AUX 页面数量void**pages;// AUX 页面数组unsignedlonghead;// 头指针unsignedlongtail;// 尾指针用户空间更新};关键特性1.两种工作模式覆盖模式Overwrite: 新数据覆盖旧数据适用于持续采样非覆盖模式Non-overwrite: 缓冲区满时丢弃新数据保证数据完整性2.唤醒机制支持多种唤醒策略水位唤醒: 当数据量达到阈值时唤醒周期性唤醒: 通过定时器周期性唤醒立即唤醒: 每次写入都唤醒3.RCU 保护使用 RCU 保护环形缓冲区的访问rcu_read_lock();rbrcu_dereference(event-rb);// 使用 rbatomic_inc(rb-refcount);rcu_read_unlock();性能优化技术无锁设计: 避免锁竞争提高并发性能批量写入: 支持一次写入多个事件缓存对齐: 关键数据结构按缓存行对齐预取优化: 使用 prefetch 指令预取数据使用场景perf record: 记录性能事件数据BPF 程序: eBPF 程序输出数据到 perf 缓冲区跟踪点: ftrace 跟踪点数据收集硬件计数器: PMU 事件数据收集这个文件实现了 Linux 性能监控子系统的核心数据传输机制其高效的无锁设计和灵活的内存管理为性能分析工具提供了坚实的基础。