eBPF代码流程分析
0x1:应用层流程
基于Linux kernel source v5.13
1.加载bpf.o文件并处理elf section信息
1.int bpf_object__open(char *path) //参数是bpf.o文件路径
-- __bpf_object__open(const char *path, const void *obj_buf, size_t obj_buf_sz, const struct bpf_object_open_opts *opts)//读取obj文件，解析elf中section信息。
-- obj = bpf_object__new(path, obj_buf, obj_buf_sz, obj_name); //创建并初始化obj结构体
err = bpf_object__elf_init(obj); //读取elf文件
err = err ? : bpf_object__check_endianness(obj); //判断大小端
err = err ? : bpf_object__elf_collect(obj); //读取elf节信息(license / version / maps / .reloc / .text)
err = err ? : bpf_object__collect_externs(obj); //读取btf section
err = err ? : bpf_object__finalize_btf(obj); //读取需要 btf处理的data section
err = err ? : bpf_object__init_maps(obj, opts); //读取map信息(user map / global data map / btf map / kconfig map)
err = err ? : bpf_object__collect_relos(obj); //读取重定位信息
2.加载obj文件到内核
2.int bpf_object__load(struct bpf_object *obj) //加载第一步生成的obj结构体
-- bpf_object__load_xattr(struct bpf_object_load_attr *attr)
-- err = bpf_object__probe_loading(obj); //加载bpf prog到内核（这里加载的是未经过修改的bpf代码）
err = err ? : bpf_object__load_vmlinux_btf(obj, false); //读取内核vmlinux信息
err = err ? : bpf_object__resolve_externs(obj, obj->kconfig); //读取内核kconfig /vmlinux / kallsysm信息
err = err ? : bpf_object__sanitize_and_load_btf(obj); // BPF_BTF_LOAD 加载btf信息
err = err ? : bpf_object__sanitize_maps(obj); // 判断内核支持的map种类
err = err ? : bpf_object__init_kern_struct_ops_maps(obj);
err = err ? : bpf_object__create_maps(obj); //BPF_MAP_CREATE 创建map
err = err ? : bpf_object__relocate(obj, attr->target_btf_path); //处理bpf代码重定位信息
err = err ? : bpf_object__load_progs(obj, attr->log_level); //这里加载经过重定位 btf修改的bpf代码 ****
-- libbpf__bpf_prog_load(const struct bpf_prog_load_params *load_attr)
-- sys_bpf_prog_load(union bpf_attr *attr, unsigned int size)
//调用sys_bpf(BPF_PROG_LOAD, attr, size) 完成bpf prog的加载
union bpf_attr attr; 是一个union结构，根据bpf_type的不同，产生不同的结构，具体可以在kernel source/include/uapi/linux/bpf.h中查看
0x2:内核流程
define __NR_bpf 321 //调用号在x64下为321
static inline int sys_bpf(enum bpf_cmd cmd, union bpf_attr *attr, unsigned int size)
{
return syscall(__NR_bpf, cmd, attr, size);
}
sys_bpf()
-- __SYS_CALL(_NR_bpf, cmd, attr, size)
-- SYSCALL_DEFINE3(bpf, cmd, uattr, size)
/kernel/bpf/syscall.c/
SYSCALL_DEFINE3(bpf, int, cmd, union bpf_attr __user *, uattr, unsigned int, size) {
//这个函数就是内核处理应用层bpf相关操作的总入口，根据cmd参数的不同，产生不同结构的struct bpf_attr
... ...
copy_from_user(&attr, uattr, size); //拷贝虚拟地址内容到内核中
security_bpf(cmd, &attr, size); //LSM 框架支持 截止目前v5.13，只实现了几个函数，和selinux/appamor相差甚远
switch (cmd) {
case BPF_MAP_CREATE:
err = map_create(&attr); //创建map
break;
case BPF_PROG_LOAD:
err = bpf_prog_load(&attr, uattr); //加载bpf程序
break;
default:
err = -EINVAL;
break;
}
... ...
}
重点看看bpf prog加载流程，熟悉verfiy机制和jit机制
static int bpf_prog_load(union bpf_attr *attr, union bpf_attr __user *uattr)
{
... ...
license_is_gpl_compatible(license); // 开源许可证判断
if (is_net_admin_prog_type(type) && !capable(CAP_NET_ADMIN) && !capable(CAP_SYS_ADMIN)) //如果是net相关类型，判断所需权限是否满足
if (is_perfmon_prog_type(type) && !perfmon_capable()) //判断是追踪相关类型，判断所需权限是否满足
bpf_prog_alloc(bpf_prog_size(attr->insn_cnt), GFP_USER); //给 struct bpf_prog 申请内存，该结构是bpf在内核中的实例
copy_from_user(prog->insns, u64_to_user_ptr(attr->insns),bpf_prog_insn_size(prog)) //拷贝bpf字节码到内核
bpf_check(&prog, attr, uattr); //bpf verify机制核心
-- 1.调用replace_map_fd_with_map_ptr将eBPF汇编中的fd替换为对应的map结构体地址。
-- 2.check_subprogs检查所有条件跳转指令都位于相应subprog内（本eBPF函数内）
-- 3.check_cfg采用深度优先算法确保函数分支不存在循环和存在执行不到的指令。
-- 4.do_check函数检查寄存器和参数的合法性。
-- 5.调用fix_call_args函数对多bpf函数的prog进行jit (多sub prog在这里jit，单prog的在下面bpf_prog_select_runtime进行jit)
bpf_prog_select_runtime(prog, &err); //bpf jit机制核心,将bpf字节码编译为目标平台汇编代码
bpf_audit_prog(prog, BPF_AUDIT_LOAD); //打印一条prog load 的 audit信息
perf_event_bpf_event(prog, PERF_BPF_EVENT_PROG_LOAD, 0); //通过perf机制加载到对应的hook api中
err = bpf_prog_new_fd(prog);//返回给应用层bpf prog的fd信息，后续应用层用该fd进行操作(详细可以看libbpf如何通过fd操作map)
... ...
}
struct bpf_prog {
u16 pages; /* 分配page数 */
u16 jited:1, /* prog是否已经jit过*/
jit_requested:1,/* 是否需要jit */
undo_set_mem:1, /* Passed set_memory_ro() checkpoint */
gpl_compatible:1, /* Is filter GPL compatible? */
cb_access:1, /* Is control block accessed? */
dst_needed:1, /* Do we need dst entry? */
blinded:1, /* 常量致盲 */
is_func:1, /* eBPF func? 大多数情况是 */
kprobe_override:1, /* 是否是overrided kprobe */
has_callchain_buf:1; /* callchain buffer allocated? */
enum bpf_prog_type type; /* prog类型,eg kprobe 、tracepoint*/
enum bpf_attach_type expected_attach_type; /* For some prog types */
u32 len; /* eBPF指令个数 */
u32 jited_len; /* eBPF汇编指令代码总长度 */
u8 tag[BPF_TAG_SIZE];
struct bpf_prog_aux *aux; /* Auxiliary fields */
struct sock_fprog_kern *orig_prog; /* Original BPF program */
unsigned int (*bpf_func)(const void *ctx,
const struct bpf_insn *insn);/* 存放jit后的可执行汇编 */
/* 不支持jit,需要模拟，x64支持jit,不需要模拟 */
union {
struct sock_filter insns[0]; /* 从用户态拷贝来的eBPF原程序 */
struct bpf_insn insnsi[0];
};
};
第一参数cmd
enum bpf_cmd {
BPF_MAP_CREATE, //前五个是操作Map的
BPF_MAP_LOOKUP_ELEM,
BPF_MAP_UPDATE_ELEM,
BPF_MAP_DELETE_ELEM,
BPF_MAP_GET_NEXT_KEY,
BPF_PROG_LOAD, //eBPF字节码加载
BPF_OBJ_PIN,
BPF_OBJ_GET,
BPF_PROG_ATTACH,
BPF_PROG_DETACH,
BPF_PROG_TEST_RUN,
BPF_PROG_GET_NEXT_ID,
BPF_MAP_GET_NEXT_ID,
BPF_PROG_GET_FD_BY_ID,
BPF_MAP_GET_FD_BY_ID,
BPF_OBJ_GET_INFO_BY_FD,
BPF_PROG_QUERY,
BPF_RAW_TRACEPOINT_OPEN,
BPF_BTF_LOAD, //加载btf信息
BPF_BTF_GET_FD_BY_ID,
BPF_TASK_FD_QUERY,
BPF_MAP_LOOKUP_AND_DELETE_ELEM,
BPF_MAP_FREEZE,
BPF_BTF_GET_NEXT_ID,
BPF_MAP_LOOKUP_BATCH,
BPF_MAP_LOOKUP_AND_DELETE_BATCH,
BPF_MAP_UPDATE_BATCH,
BPF_MAP_DELETE_BATCH,
BPF_LINK_CREATE,
BPF_LINK_UPDATE,
BPF_LINK_GET_FD_BY_ID,
BPF_LINK_GET_NEXT_ID,
BPF_ENABLE_STATS,
BPF_ITER_CREATE,
};
BPF MAP 类型
enum bpf_map_type {
BPF_MAP_TYPE_UNSPEC = 0,
BPF_MAP_TYPE_HASH = 1, //哈希表
BPF_MAP_TYPE_ARRAY = 2, //数组映射，已针对快速查找速度进行了优化，通常用于计数器
BPF_MAP_TYPE_PROG_ARRAY = 3, //对应eBPF程序的文件描述符数组；用于实现跳转表和子程序以处理特定的数据包协议
BPF_MAP_TYPE_PERF_EVENT_ARRAY = 4, // linux kernel 4.4 存储指向struct perf_event的指针，用于读取和存储perf事件计数器
BPF_MAP_TYPE_PERCPU_HASH = 5, //每个CPU的哈希表
BPF_MAP_TYPE_PERCPU_ARRAY = 6, //每个CPU的数组
BPF_MAP_TYPE_STACK_TRACE = 7, //存储堆栈跟踪
BPF_MAP_TYPE_CGROUP_ARRAY = 8, //存储指向控制组的指针
BPF_MAP_TYPE_LRU_HASH = 9, //仅保留最近使用项目的哈希表
BPF_MAP_TYPE_LRU_PERCPU_HASH = 10, //每个CPU的哈希表，仅保留最近使用的项目
BPF_MAP_TYPE_LPM_TRIE = 11, //最长前缀匹配树，适用于将IP地址匹配到某个范围
BPF_MAP_TYPE_ARRAY_OF_MAPS = 12,
BPF_MAP_TYPE_HASH_OF_MAPS = 13,
BPF_MAP_TYPE_DEVMAP = 14, //用于存储和查找网络设备引用
BPF_MAP_TYPE_SOCKMAP = 15, //存储和查找套接字，并允许使用BPF辅助函数进行套接字重定向
BPF_MAP_TYPE_CPUMAP = 16,
BPF_MAP_TYPE_XSKMAP = 17,
BPF_MAP_TYPE_SOCKHASH = 18,
BPF_MAP_TYPE_CGROUP_STORAGE = 19,
BPF_MAP_TYPE_REUSEPORT_SOCKARRAY = 20,
BPF_MAP_TYPE_PERCPU_CGROUP_STORAGE = 21,
BPF_MAP_TYPE_QUEUE = 22,
BPF_MAP_TYPE_STACK = 23,
BPF_MAP_TYPE_SK_STORAGE = 24,
BPF_MAP_TYPE_DEVMAP_HASH = 25,
BPF_MAP_TYPE_STRUCT_OPS = 26,
BPF_MAP_TYPE_RINGBUF = 27, // linux kernel 5.8 Perf Buffer增强版
BPF_MAP_TYPE_INODE_STORAGE = 28,
};
详细介绍： BFP MAP介绍
BPF PROG 类型
【helper函数使用范围】不同类型eBPF程序可以使用的eBPF helper函数范围
enum bpf_prog_type {
BPF_PROG_TYPE_UNSPEC,
BPF_PROG_TYPE_SOCKET_FILTER, //网络数据包过滤器
BPF_PROG_TYPE_KPROBE, //确定是否应触发kprobe
BPF_PROG_TYPE_SCHED_CLS, //网络流量控制分类器
BPF_PROG_TYPE_SCHED_ACT, //网络流量控制操作
BPF_PROG_TYPE_TRACEPOINT, //确定是否应触发跟踪点
BPF_PROG_TYPE_XDP, //从设备驱动程序接收路径运行的网络数据包筛选器
BPF_PROG_TYPE_PERF_EVENT, //确定是否应该触发性能事件处理程序
BPF_PROG_TYPE_CGROUP_SKB, //用于控制组的网络数据包过滤器
BPF_PROG_TYPE_CGROUP_SOCK, //用于控制组的网络数据包筛选器，允许修改套接字选项
BPF_PROG_TYPE_LWT_IN,
BPF_PROG_TYPE_LWT_OUT,
BPF_PROG_TYPE_LWT_XMIT,
BPF_PROG_TYPE_SOCK_OPS,
BPF_PROG_TYPE_SK_SKB,
BPF_PROG_TYPE_CGROUP_DEVICE,
BPF_PROG_TYPE_SK_MSG,
BPF_PROG_TYPE_RAW_TRACEPOINT,
BPF_PROG_TYPE_CGROUP_SOCK_ADDR,
BPF_PROG_TYPE_LWT_SEG6LOCAL,
BPF_PROG_TYPE_LIRC_MODE2,
BPF_PROG_TYPE_SK_REUSEPORT,
BPF_PROG_TYPE_FLOW_DISSECTOR,
BPF_PROG_TYPE_CGROUP_SYSCTL,
BPF_PROG_TYPE_RAW_TRACEPOINT_WRITABLE,
BPF_PROG_TYPE_CGROUP_SOCKOPT,
BPF_PROG_TYPE_TRACING,
BPF_PROG_TYPE_STRUCT_OPS,
BPF_PROG_TYPE_EXT,
BPF_PROG_TYPE_LSM,
};
0x3:BPF寄存器
eBPF从bpf的两个32位寄存器扩展到10个64位寄存器R0~R9和一个只读栈帧寄存器，并支持call指令，更加贴近现代64位处理器硬件
R0对应rax， 函数返回值
R1对应rdi， 函数参数1
R2对应rsi， 函数参数2
R3对应rdx， 函数参数3
R4对应rcx， 函数参数4
R5对应r8， 函数参数5
R6对应rbx， callee保存
R7对应r13， callee保存
R8对应r14， callee保存
R9对应r15， callee保存
R10对应rbp，只读栈帧寄存器
0x4:内核路径
/Documentation/bpf/btf.rst
/include/uapi/linux/bpf_common.h 和 /include/uapi/linux/bpf.h 定义了指令集
/samples/bpf 相关的样例
/tools/bpf/bpftool 工具，用来调试bpf
/tools/testing/selftests/bpf 测试代码
本文由博客一文多发平台 OpenWrite 发布！