欢迎来到爱学习爱分享,在这里,你会找到许多有趣的技术 : )

徒手造了个轮子:实现 epoll

Linux 1035℃

Epoll是Linux IO多路复用的管理机制。作为现在Linux平台高性能网络IO必须的组件。内核的实现可以参照:fs/eventpoll.c .

为什么需要自己实现epoll呢?现在自己打算做一个用户态的协议栈。采用单线程的模式。

github.com/wangbojing/N

,至于为什么要实现用户态协议栈?可以自行百度C10M的问题。

由于协议栈做到了用户态故需要自己实现高性能网络IO的管理。所以epoll就自己实现一下。代码:

github.com/wangbojing/N

在实现epoll之前,先得好好理解内核epoll的运行原理。内核的epoll可以从四方面来理解。

1. Epoll的数据结构,rbtree对<fd, event>的存储,ready队列存储就绪io。

2. Epoll的线程安全,SMP的运行,以及防止死锁。

3. Epoll内核回调。

4. Epoll的LT(水平触发)与ET(边沿触发)

下面从这四个方面来实现epoll。

一、Epoll数据结构

Epoll主要由两个结构体:eventpoll与epitem。Epitem是每一个IO所对应的的事件。比如 epoll_ctl EPOLL_CTL_ADD操作的时候,就需要创建一个epitem。Eventpoll是每一个epoll所对应的的。比如epoll_create 就是创建一个eventpoll。

Epitem的定义:

Eventpoll的定义

数据结构如下图所示。

List 用来存储准备就绪的IO。对于数据结构主要讨论两方面:insert与remove。同样如此,对于list我们也讨论insert与remove。何时将数据插入到list中呢?当内核IO准备就绪的时候,则会执行epoll_event_callback的回调函数,将epitem添加到list中。

那何时删除list中的数据呢?当epoll_wait激活重新运行的时候,将list的epitem逐一copy到events参数中。

Rbtree用来存储所有io的数据,方便快速通io_fd查找。也从insert与remove来讨论。

对于rbtree何时添加:当App执行epoll_ctl EPOLL_CTL_ADD操作,将epitem添加到rbtree中。何时删除呢?当App执行epoll_ctl EPOLL_CTL_DEL操作,将epitem添加到rbtree中。

List与rbtree的操作又如何做到线程安全,SMP,防止死锁呢?

二、Epoll锁机制

Epoll 从以下几个方面是需要加锁保护的。List的操作,rbtree的操作,epoll_wait的等待。

List使用最小粒度的锁spinlock,便于在SMP下添加操作的时候,能够快速操作list。

  1. List添加

346行:获取spinlock。

347行:epitem 的rdy置为1,代表epitem已经在就绪队列中,后续再触发相同事件就只需更改event。

348行:添加到list中。

349行:将eventpoll的rdnum域 加1。

350行:释放spinlock

2. List删除

301行:获取spinlock

304行:判读rdnum与maxevents的大小,避免event溢出。

307行:循环遍历list,判断添加list不能为空

309行:获取list首个结点

310行:移除list首个结点。

311行:将epitem的rdy域置为0,标识epitem不再就绪队列中。

313行:copy epitem的event到用户空间的events。

316行:copy数量加1

317行:eventpoll中rdnum减一。

避免SMP体系下,多核竞争。此处采用自旋锁,不适合采用睡眠锁。

3. Rbtree的添加

149行:获取互斥锁。

153行:查找sockid的epitem是否存在。存在则不能添加,不存在则可以添加。

160行:分配epitem。

167行:sockid赋值

168行:将设置的event添加到epitem的event域。

170行:将epitem添加到rbrtree中。

173行:释放互斥锁。

Rbtree删除:

177行:获取互斥锁。

181行:删除sockid的结点,如果不存在,则rbtree返回-1。

188行:释放epitem

190行:释放互斥锁。

Epoll_wait的挂起。

采用pthread_cond_wait,具体实现可以参照。

github.com/wangbojing/N

三、Epoll回调

Epoll 的回调函数何时执行,此部分需要与Tcp的协议栈一起来阐述。Tcp协议栈的时序图如下图所示,epoll从协议栈回调的部分从下图的编号1,2,3,4。具体Tcp协议栈的实现,后续从另外的文章中表述出来。下面分别对四个步骤详细描述

编号1:是tcp三次握手,对端反馈ack后,socket进入rcvd状态。需要将监听socket的event置为EPOLLIN,此时标识可以进入到accept读取socket数据。

编号2:在established状态,收到数据以后,需要将socket的event置为EPOLLIN状态。

编号3:在established状态,收到fin时,此时socket进入到close_wait。需要socket的event置为EPOLLIN。读取断开信息。

编号4:检测socket的send状态,如果对端cwnd>0是可以,发送的数据。故需要将socket置为EPOLLOUT。

所以在此四处添加EPOLL的回调函数,即可使得epoll正常接收到io事件。

四、LT与ET

LT(水平触发)与ET(边沿触发)是电子信号里面的概念。不清楚可以man epoll查看的。如下图所示:

比如:event = EPOLLIN | EPOLLLT,将event设置为EPOLLIN与水平触发。只要event为EPOLLIN时就能不断调用epoll回调函数。

比如: event = EPOLLIN | EPOLLET,event如果从EPOLLOUT变化为EPOLLIN的时候,就会触发。在此情形下,变化只发生一次,故只调用一次epoll回调函数。关于水平触发与边沿触发放在epoll回调函数执行的时候,如果为EPOLLET(边沿触发),与之前的event对比,如果发生改变则调用epoll回调函数,如果为EPOLLLT(水平触发),则查看event是否为EPOLLIN,即可调用epoll回调函数。

转载请注明:爱学习爱分享 » 徒手造了个轮子:实现 epoll

喜欢 (0)or分享 (0)