一个TCP非阻塞client端简单的例子
如果我们要产生一个非阻塞的socket,在c语言中如下代码所示:
// 创建socket
intsock_fd=socket(af_inet,sock_stream,0);
...
// 更改socket为nonblock
fcntl(sock_fd,f_setfl,fdflags|o_nonblock);
// connect
....
while(1){
intrecvlen=recv(sock_fd,recvbuf,recv_buf_size);
......
}
...
由于网络协议非常复杂，内核里面用到了大量的面向对象的技巧，所以我们从创建连接开始，一步一步追述到最后代码的调用点。
socket的创建
很明显，内核的第一步应该是通过af_inet、sock_stream以及最后一个参数0定位到需要创建一个tcp的socket,如下图绿线所示:
我们跟踪源码调用
socket(af_inet,sock_stream,0)
|->sys_socket进入系统调用
|->sock_create
|->__sock_create
进一步分析__sock_create的代码判断:
conststructnet_proto_family*pf;
// rcu(read-copy update)是linux的一种内核同步方法，在此不阐述
// family=inet
pf=rcu_dereference(net_families[family]);
err=pf->create(net,sock,protocol);
conststructnet_proto_family*pf;// rcu(read-copy update)是linux的一种内核同步方法，在此不阐述// family=inetpf = rcu_dereference(net_families[family]); err = pf->create(net, sock, protocol);
则通过源码可知，由于是af_inet(pf_inet),所以net_families[pf_inet].create=inet_create(以后我们都用pf_inet表示)，即pf->create = inet_create; 进一步追溯调用:
inet_create(structnet*net,structsocket*sock,intprotocol){
sock*sock;
......
// 此处是寻找对应协议处理器的过程
lookup_protocol:
// 迭代寻找protocol==answer->protocol的情况
list_for_each_rcu(p,&inetsw[sock->type])answer=list_entry(p,structinet_protosw,list);
/* check the non-wild match. */
if(protocol==answer->protocol){
if(protocol!=ipproto_ip)
break;
}
......
// 这边answer指的是sock_stream
sock->ops=answer->ops;
answer_no_check=answer->no_check;
// 这边sk->prot就是answer_prot=>tcp_prot
sk=sk_alloc(net,pf_inet,gfp_kernel,answer_prot);
sock_init_data(sock,sk);
......
}
上面的代码就是在inet中寻找sock_stream的过程了 我们再看一下inetsw[sock_stream]的具体配置:
staticstructinet_protoswinetsw_array[]=
{
{
.type=sock_stream,
.protocol=ipproto_tcp,
.prot= &tcp_prot,
.ops=&inet_stream_ops,
.capability= -1,
.no_check=0,
.flags=inet_protosw_permanent|
inet_protosw_icsk,
},
......
}
这边也用了重载，af_inet有tcp、udp以及raw三种:
从上述代码，我们可以清楚的发现sock->ops=&inet_stream_ops;
conststructproto_opsinet_stream_ops={
.family =pf_inet,
.owner =this_module,
......
.sendmsg =tcp_sendmsg,
.recvmsg =sock_common_recvmsg,
......
}
即sock->ops->recvmsg = sock_common_recvmsg;
同时sock->sk->sk_prot = tcp_prot;
我们再看下tcp_prot中的各个函数重载的定义:
structprototcp_prot={
.name =tcp,
.close =tcp_close,
.connect =tcp_v4_connect,
.disconnect =tcp_disconnect,
.accept =inet_csk_accept,
......
// 我们重点考察tcp的读
.recvmsg =tcp_recvmsg,
......
}
fcntl控制socket的阻塞\非阻塞状态
我们用fcntl修改socket的阻塞\非阻塞状态。 事实上: fcntl的作用就是将o_nonblock标志位存储在sock_fd对应的filp结构的f_lags里,如下图所示。
fcntl(sock_fd,f_setfl,fdflags|o_nonblock);
|->setfl
追踪setfl代码:
staticintsetfl(intfd,structfile*filp,unsignedlongarg){
......
filp->f_flags=(arg&setfl_mask)|(filp->f_flags& ~setfl_mask);
......
}
上图中，由sock_fd在task_struct(进程结构体)->files_struct->fd_array中找到对应的socket的file描述符，再修改file->flags
在调用socket.recv的时候
我们跟踪源码调用:
socket.recv
|->sys_recv
|->sys_recvfrom
|->sock_recvmsg
|->__sock_recvmsg
|->sock->ops->recvmsg
由上文可知: sock->ops->recvmsg = sock_common_recvmsg;
sock
值得注意的是,在sock_recmsg中,有对标识o_nonblock的处理
if(sock->file->f_flags&o_nonblock)
flags|=msg_dontwait;
上述代码中sock关联的file中获取其f_flags,如果flags有o_nonblock标识，那么就设置msg_flags为msg_dontwait(不等待)。
fcntl与socket就是通过其共同操作file结构关联起来的。
继续跟踪调用
sock_common_recvmsg
intsock_common_recvmsg(structkiocb *iocb,structsocket *sock,
structmsghdr *msg,size_tsize,intflags){
......
// 如果flags的msg_dontwait标识置位，则传给recvmsg的第5个参数为正,否则为0
err=sk->sk_prot->recvmsg(iocb,sk,msg,size,flags&msg_dontwait,
flags& ~msg_dontwait,&addr_len);
.....
}
由上文可知: sk->sk_prot->recvmsg 其中sk_prot=tcp_prot,即最终调用的是tcp_prot->tcp_recvmsg,上面的代码可以看出，如果fcntl(o_nonblock)=>msg_dontwait置位=>(flags & msg_dontwait)>0, 再结合tcp_recvmsg的函数签名,即如果设置了o_nonblock的话，设置给tcp_recvmsg的nonblock参数>0,关系如下图所示:
最终的调用逻辑tcp_recvmsg
首先我们看下tcp_recvmsg的函数签名:
inttcp_recvmsg(structkiocb*iocb,structsock*sk,structmsghdr*msg,
size_tlen,intnonblock,intflags,int*addr_len)
显然我们关注焦点在(int nonblock这个参数上):
inttcp_recvmsg(structkiocb*iocb,structsock*sk,structmsghdr*msg,
size_tlen,intnonblock,intflags,int*addr_len){
......
// copied是指向用户空间拷贝了多少字节，即读了多少
intcopied;
// target指的是期望多少字节
inttarget;
// 等效为timo = noblock ? 0 : sk->sk_rcvtimeo;
timeo=sock_rcvtimeo(sk,nonblock);
......
// 如果设置了msg_waitall标识target=需要读的长度
// 如果未设置，则为最低低水位值
target=sock_rcvlowat(sk,flags&msg_waitall,len);
......
do{
// 表明读到数据
if(copied){
// 注意，这边只要!timeo，即nonblock设置了就会跳出循环
if(sk->sk_err||
sk->sk_state==tcp_close||
(sk->sk_shutdown&rcv_shutdown)||
!timeo||
signal_pending(current)||
(flags&msg_peek))
break;
}else{
// 到这里，表明没有读到任何数据
// 且nonblock设置了导致timeo=0，则返回-eagain,符合我们的预期
if(!timeo){
copied= -eagain;
break;
}
// 这边如果堵到了期望的数据，继续，否则当前进程阻塞在sk_wait_data上
if(copied>=target){
/* do not sleep, just process backlog. */
release_sock(sk);
lock_sock(sk);
}else
sk_wait_data(sk,&timeo);
}while(len>0);
......
returncopied
}
上面的逻辑归结起来就是：
(1)在设置了nonblock的时候，如果copied>0,则返回读了多少字节,如果copied=0，则返回-eagain,提示应用重复调用。
(2)如果没有设置nonblock，如果读取的数据>=期望，则返回读取了多少字节。如果没有则用sk_wait_data将当前进程等待。
如下流程图所示:
阻塞函数sk_wait_data
sk_wait_data代码-函数为:
// 将进程状态设置为可打断interruptible
prepare_to_wait(sk->sk_sleep,&wait,task_interruptible);
set_bit(sock_async_waitdata,&sk->sk_socket->flags);
// 通过调用schedule_timeout让出cpu，然后进行睡眠
rc=sk_wait_event(sk,timeo,!skb_queue_empty(&sk->sk_receive_queue));
// 到这里的时候，有网络事件或超时事件唤醒了此进程，继续运行
clear_bit(sock_async_waitdata,&sk->sk_socket->flags);
finish_wait(sk->sk_sleep,&wait);
该函数调用schedule_timeout进入睡眠，其进一步调用了schedule函数，首先从运行队列删除，其次加入到等待队列，最后调用和体系结构相关的switch_to宏来完成进程间的切换。
如下图所示:
阻塞后什么时候恢复运行呢
情况1:有对应的网络数据到来
首先我们看下网络分组到来的内核路径，网卡发起中断后调用netif_rx将事件挂入cpu的等待队列，并唤起软中断(soft_irq)，再通过linux的软中断机制调用net_rx_action，如下图所示:
紧接着跟踪next_rx_action
next_rx_action
|-process_backlog
......
|->packet_type->func在这里我们考虑ip_rcv
|->ipprot->handler在这里ipprot重载为tcp_protocol
(handler即为tcp_v4_rcv)
紧接着tcp_v4_rcv:
tcp_input.c
tcp_v4_rcv
|-tcp_v4_do_rcv
|-tcp_rcv_state_process
|-tcp_data_queue
|-sk->sk_data_ready=sock_def_readable
|-wake_up_interruptible
|-__wake_up
|-__wake_up_common
在这里__wake_up_common将停在当前wait_queue_head_t中的进程唤醒，即状态改为task_running，等待cfs调度以进行下一步的动作,如下图所示。
情况2:设定的超时时间到来
在前面调用sk_wait_event中调用了schedule_timeout
fastcallsignedlong__sched schedule_timeout(signedlongtimeout){
......
// 设定超时的回掉函数为process_timeout
setup_timer(&timer,process_timeout,(unsignedlong)current);
__mod_timer(&timer,expire);
// 这边让出cpu
schedule();
del_singleshot_timer_sync(&timer);
timeout=expire-jiffies;
out:
// 返回经过了多长事件
returntimeout<0?0:timeout;
}
process_timeout函数即是将此进程重新唤醒
staticvoidprocess_timeout(unsignedlong__data)
{
wake_up_process((structtask_struct*)__data);
}
这几种积分运算电路推导的详细过程！
华为进入全球创新前十强 中兴位列全球创新企业70强
荣耀畅玩8C评测 性价比顶尖价格与实用并重
电子芯闻早报：鸿海欲斥资268亿元收购夏普
分析一下本征半导体
一个TCP非阻塞client端简单的例子
快讯：信达物联携手海尔云裳衣联网，开启“物联网洗衣新模式”
世纪华通在元宇宙布局，元宇宙概念走弱
揭开SiC MOSFET挑战的神秘面纱
三星正在开发自有的区块链网络，未来有可能发行所谓的”三星币”
XR才是通往元宇宙终极钥匙
Redmi Note 9T：奥利奥四摄 支持NFC
CMSIS-NN内核的神经网络提升微控制器的性能
LG 2020款LG gram 17上手体验，PCIe SSD与散热性能升级
宽禁带生态系统的碳化硅功率MOSFET模型
LinkConnector宣布与Publisher Discovery结成合作伙伴关系
如何使用网络分析仪精确地测量噪声系数
便携果汁杯、吐司机等网红小家电值得拥有吗？
互联联接是基础，智能联接是关键，IPv6+是万物智联的技术基底座
自动驾驶实现的过程
// 创建socket
intsock_fd=socket(af_inet,sock_stream,0);
...
// 更改socket为nonblock
fcntl(sock_fd,f_setfl,fdflags|o_nonblock);
// connect
....
while(1){
intrecvlen=recv(sock_fd,recvbuf,recv_buf_size);
......
}
...
由于网络协议非常复杂，内核里面用到了大量的面向对象的技巧，所以我们从创建连接开始，一步一步追述到最后代码的调用点。
socket的创建
很明显，内核的第一步应该是通过af_inet、sock_stream以及最后一个参数0定位到需要创建一个tcp的socket,如下图绿线所示:
我们跟踪源码调用
socket(af_inet,sock_stream,0)
|->sys_socket进入系统调用
|->sock_create
|->__sock_create
进一步分析__sock_create的代码判断:
conststructnet_proto_family*pf;
// rcu(read-copy update)是linux的一种内核同步方法，在此不阐述
// family=inet
pf=rcu_dereference(net_families[family]);
err=pf->create(net,sock,protocol);
conststructnet_proto_family*pf;// rcu(read-copy update)是linux的一种内核同步方法，在此不阐述// family=inetpf = rcu_dereference(net_families[family]); err = pf->create(net, sock, protocol);
则通过源码可知，由于是af_inet(pf_inet),所以net_families[pf_inet].create=inet_create(以后我们都用pf_inet表示)，即pf->create = inet_create; 进一步追溯调用:
inet_create(structnet*net,structsocket*sock,intprotocol){
sock*sock;
......
// 此处是寻找对应协议处理器的过程
lookup_protocol:
// 迭代寻找protocol==answer->protocol的情况
list_for_each_rcu(p,&inetsw[sock->type])answer=list_entry(p,structinet_protosw,list);
/* check the non-wild match. */
if(protocol==answer->protocol){
if(protocol!=ipproto_ip)
break;
}
......
// 这边answer指的是sock_stream
sock->ops=answer->ops;
answer_no_check=answer->no_check;
// 这边sk->prot就是answer_prot=>tcp_prot
sk=sk_alloc(net,pf_inet,gfp_kernel,answer_prot);
sock_init_data(sock,sk);
......
}
上面的代码就是在inet中寻找sock_stream的过程了 我们再看一下inetsw[sock_stream]的具体配置:
staticstructinet_protoswinetsw_array[]=
{
{
.type=sock_stream,
.protocol=ipproto_tcp,
.prot= &tcp_prot,
.ops=&inet_stream_ops,
.capability= -1,
.no_check=0,
.flags=inet_protosw_permanent|
inet_protosw_icsk,
},
......
}
这边也用了重载，af_inet有tcp、udp以及raw三种:
从上述代码，我们可以清楚的发现sock->ops=&inet_stream_ops;
conststructproto_opsinet_stream_ops={
.family =pf_inet,
.owner =this_module,
......
.sendmsg =tcp_sendmsg,
.recvmsg =sock_common_recvmsg,
......
}
即sock->ops->recvmsg = sock_common_recvmsg;
同时sock->sk->sk_prot = tcp_prot;
我们再看下tcp_prot中的各个函数重载的定义:
structprototcp_prot={
.name =tcp,
.close =tcp_close,
.connect =tcp_v4_connect,
.disconnect =tcp_disconnect,
.accept =inet_csk_accept,
......
// 我们重点考察tcp的读
.recvmsg =tcp_recvmsg,
......
}
fcntl控制socket的阻塞\非阻塞状态
我们用fcntl修改socket的阻塞\非阻塞状态。 事实上: fcntl的作用就是将o_nonblock标志位存储在sock_fd对应的filp结构的f_lags里,如下图所示。
fcntl(sock_fd,f_setfl,fdflags|o_nonblock);
|->setfl
追踪setfl代码:
staticintsetfl(intfd,structfile*filp,unsignedlongarg){
......
filp->f_flags=(arg&setfl_mask)|(filp->f_flags& ~setfl_mask);
......
}
上图中，由sock_fd在task_struct(进程结构体)->files_struct->fd_array中找到对应的socket的file描述符，再修改file->flags
在调用socket.recv的时候
我们跟踪源码调用:
socket.recv
|->sys_recv
|->sys_recvfrom
|->sock_recvmsg
|->__sock_recvmsg
|->sock->ops->recvmsg
由上文可知: sock->ops->recvmsg = sock_common_recvmsg;
sock
值得注意的是,在sock_recmsg中,有对标识o_nonblock的处理
if(sock->file->f_flags&o_nonblock)
flags|=msg_dontwait;
上述代码中sock关联的file中获取其f_flags,如果flags有o_nonblock标识，那么就设置msg_flags为msg_dontwait(不等待)。
fcntl与socket就是通过其共同操作file结构关联起来的。
继续跟踪调用
sock_common_recvmsg
intsock_common_recvmsg(structkiocb *iocb,structsocket *sock,
structmsghdr *msg,size_tsize,intflags){
......
// 如果flags的msg_dontwait标识置位，则传给recvmsg的第5个参数为正,否则为0
err=sk->sk_prot->recvmsg(iocb,sk,msg,size,flags&msg_dontwait,
flags& ~msg_dontwait,&addr_len);
.....
}
由上文可知: sk->sk_prot->recvmsg 其中sk_prot=tcp_prot,即最终调用的是tcp_prot->tcp_recvmsg,上面的代码可以看出，如果fcntl(o_nonblock)=>msg_dontwait置位=>(flags & msg_dontwait)>0, 再结合tcp_recvmsg的函数签名,即如果设置了o_nonblock的话，设置给tcp_recvmsg的nonblock参数>0,关系如下图所示:
最终的调用逻辑tcp_recvmsg
首先我们看下tcp_recvmsg的函数签名:
inttcp_recvmsg(structkiocb*iocb,structsock*sk,structmsghdr*msg,
size_tlen,intnonblock,intflags,int*addr_len)
显然我们关注焦点在(int nonblock这个参数上):
inttcp_recvmsg(structkiocb*iocb,structsock*sk,structmsghdr*msg,
size_tlen,intnonblock,intflags,int*addr_len){
......
// copied是指向用户空间拷贝了多少字节，即读了多少
intcopied;
// target指的是期望多少字节
inttarget;
// 等效为timo = noblock ? 0 : sk->sk_rcvtimeo;
timeo=sock_rcvtimeo(sk,nonblock);
......
// 如果设置了msg_waitall标识target=需要读的长度
// 如果未设置，则为最低低水位值
target=sock_rcvlowat(sk,flags&msg_waitall,len);
......
do{
// 表明读到数据
if(copied){
// 注意，这边只要!timeo，即nonblock设置了就会跳出循环
if(sk->sk_err||
sk->sk_state==tcp_close||
(sk->sk_shutdown&rcv_shutdown)||
!timeo||
signal_pending(current)||
(flags&msg_peek))
break;
}else{
// 到这里，表明没有读到任何数据
// 且nonblock设置了导致timeo=0，则返回-eagain,符合我们的预期
if(!timeo){
copied= -eagain;
break;
}
// 这边如果堵到了期望的数据，继续，否则当前进程阻塞在sk_wait_data上
if(copied>=target){
/* do not sleep, just process backlog. */
release_sock(sk);
lock_sock(sk);
}else
sk_wait_data(sk,&timeo);
}while(len>0);
......
returncopied
}
上面的逻辑归结起来就是：
(1)在设置了nonblock的时候，如果copied>0,则返回读了多少字节,如果copied=0，则返回-eagain,提示应用重复调用。
(2)如果没有设置nonblock，如果读取的数据>=期望，则返回读取了多少字节。如果没有则用sk_wait_data将当前进程等待。
如下流程图所示:
阻塞函数sk_wait_data
sk_wait_data代码-函数为:
// 将进程状态设置为可打断interruptible
prepare_to_wait(sk->sk_sleep,&wait,task_interruptible);
set_bit(sock_async_waitdata,&sk->sk_socket->flags);
// 通过调用schedule_timeout让出cpu，然后进行睡眠
rc=sk_wait_event(sk,timeo,!skb_queue_empty(&sk->sk_receive_queue));
// 到这里的时候，有网络事件或超时事件唤醒了此进程，继续运行
clear_bit(sock_async_waitdata,&sk->sk_socket->flags);
finish_wait(sk->sk_sleep,&wait);
该函数调用schedule_timeout进入睡眠，其进一步调用了schedule函数，首先从运行队列删除，其次加入到等待队列，最后调用和体系结构相关的switch_to宏来完成进程间的切换。
如下图所示:
阻塞后什么时候恢复运行呢
情况1:有对应的网络数据到来
首先我们看下网络分组到来的内核路径，网卡发起中断后调用netif_rx将事件挂入cpu的等待队列，并唤起软中断(soft_irq)，再通过linux的软中断机制调用net_rx_action，如下图所示:
紧接着跟踪next_rx_action
next_rx_action
|-process_backlog
......
|->packet_type->func在这里我们考虑ip_rcv
|->ipprot->handler在这里ipprot重载为tcp_protocol
(handler即为tcp_v4_rcv)
紧接着tcp_v4_rcv:
tcp_input.c
tcp_v4_rcv
|-tcp_v4_do_rcv
|-tcp_rcv_state_process
|-tcp_data_queue
|-sk->sk_data_ready=sock_def_readable
|-wake_up_interruptible
|-__wake_up
|-__wake_up_common
在这里__wake_up_common将停在当前wait_queue_head_t中的进程唤醒，即状态改为task_running，等待cfs调度以进行下一步的动作,如下图所示。
情况2:设定的超时时间到来
在前面调用sk_wait_event中调用了schedule_timeout
fastcallsignedlong__sched schedule_timeout(signedlongtimeout){
......
// 设定超时的回掉函数为process_timeout
setup_timer(&timer,process_timeout,(unsignedlong)current);
__mod_timer(&timer,expire);
// 这边让出cpu
schedule();
del_singleshot_timer_sync(&timer);
timeout=expire-jiffies;
out:
// 返回经过了多长事件
returntimeout<0?0:timeout;
}
process_timeout函数即是将此进程重新唤醒
staticvoidprocess_timeout(unsignedlong__data)
{
wake_up_process((structtask_struct*)__data);
}
这几种积分运算电路推导的详细过程！
华为进入全球创新前十强 中兴位列全球创新企业70强
荣耀畅玩8C评测 性价比顶尖价格与实用并重
电子芯闻早报：鸿海欲斥资268亿元收购夏普
分析一下本征半导体
一个TCP非阻塞client端简单的例子
快讯：信达物联携手海尔云裳衣联网，开启“物联网洗衣新模式”
世纪华通在元宇宙布局，元宇宙概念走弱
揭开SiC MOSFET挑战的神秘面纱
三星正在开发自有的区块链网络，未来有可能发行所谓的”三星币”
XR才是通往元宇宙终极钥匙
Redmi Note 9T：奥利奥四摄 支持NFC
CMSIS-NN内核的神经网络提升微控制器的性能
LG 2020款LG gram 17上手体验，PCIe SSD与散热性能升级
宽禁带生态系统的碳化硅功率MOSFET模型
LinkConnector宣布与Publisher Discovery结成合作伙伴关系
如何使用网络分析仪精确地测量噪声系数
便携果汁杯、吐司机等网红小家电值得拥有吗？
互联联接是基础，智能联接是关键，IPv6+是万物智联的技术基底座
自动驾驶实现的过程