<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:DengXian;
panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:"\@DengXian";
panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri",sans-serif;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"># HG changeset patch<o:p></o:p></p>
<p class="MsoNormal"># User Liu Qiao <qiao.liu@intel.com><o:p></o:p></p>
<p class="MsoNormal"># Date 1599735293 14400<o:p></o:p></p>
<p class="MsoNormal"># Thu Sep 10 06:54:53 2020 -0400<o:p></o:p></p>
<p class="MsoNormal"># Node ID f79d524a2cc0093c53490f947564e42371cf944f<o:p></o:p></p>
<p class="MsoNormal"># Parent da5e3f5b16733167142b599b6af3ce9469a07d52<o:p></o:p></p>
<p class="MsoNormal">Use BPF to distribute packet to different work thread.<o:p></o:p></p>
<p class="MsoNormal">Use Berkeley Packet Filter to get packet queue_mapping number,<o:p></o:p></p>
<p class="MsoNormal">and use this queue_mapping number to distribute the packet to<o:p></o:p></p>
<p class="MsoNormal">different work thread, this will improve CPU utilization and http<o:p></o:p></p>
<p class="MsoNormal">latency.<o:p></o:p></p>
<p class="MsoNormal">Author: Samudrala, Sridhar <sridhar.samudrala@intel.com><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">diff -r da5e3f5b1673 -r f79d524a2cc0 auto/os/linux<o:p></o:p></p>
<p class="MsoNormal">--- a/auto/os/linux Wed Sep 02 23:13:36 2020 +0300<o:p></o:p></p>
<p class="MsoNormal">+++ b/auto/os/linux Thu Sep 10 06:54:53 2020 -0400<o:p></o:p></p>
<p class="MsoNormal">@@ -32,6 +32,10 @@<o:p></o:p></p>
<p class="MsoNormal"> have=NGX_HAVE_POSIX_FADVISE . auto/nohave<o:p></o:p></p>
<p class="MsoNormal">fi<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal">+if [ $version -lt 263680 ]; then<o:p></o:p></p>
<p class="MsoNormal">+ have=NGX_HAVE_REUSEPORT_CBPF . auto/nohave<o:p></o:p></p>
<p class="MsoNormal">+fi<o:p></o:p></p>
<p class="MsoNormal">+<o:p></o:p></p>
<p class="MsoNormal"># epoll, EPOLLET version<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> ngx_feature="epoll"<o:p></o:p></p>
<p class="MsoNormal">diff -r da5e3f5b1673 -r f79d524a2cc0 auto/unix<o:p></o:p></p>
<p class="MsoNormal">--- a/auto/unix Wed Sep 02 23:13:36 2020 +0300<o:p></o:p></p>
<p class="MsoNormal">+++ b/auto/unix Thu Sep 10 06:54:53 2020 -0400<o:p></o:p></p>
<p class="MsoNormal">@@ -331,6 +331,17 @@<o:p></o:p></p>
<p class="MsoNormal">ngx_feature_test="setsockopt(0, SOL_SOCKET, SO_REUSEPORT, NULL, 0)"<o:p></o:p></p>
<p class="MsoNormal">. auto/feature<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal">+ngx_feature="SO_REUSEPORT_CBPF"<o:p></o:p></p>
<p class="MsoNormal">+ngx_feature_name="NGX_HAVE_REUSEPORT_CBPF"<o:p></o:p></p>
<p class="MsoNormal">+ngx_feature_run=no<o:p></o:p></p>
<p class="MsoNormal">+ngx_feature_incs="#include <sys/socket.h><o:p></o:p></p>
<p class="MsoNormal">+ #include <linux/filter.h><o:p></o:p></p>
<p class="MsoNormal">+ #include <error.h>"<o:p></o:p></p>
<p class="MsoNormal">+ngx_feature_path=<o:p></o:p></p>
<p class="MsoNormal">+ngx_feature_libs=<o:p></o:p></p>
<p class="MsoNormal">+ngx_feature_test="setsockopt(0, SOL_SOCKET, SO_ATTACH_REUSEPORT_CBPF, NULL, 0)"<o:p></o:p></p>
<p class="MsoNormal">+. auto/feature<o:p></o:p></p>
<p class="MsoNormal">+<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> ngx_feature="SO_ACCEPTFILTER"<o:p></o:p></p>
<p class="MsoNormal">ngx_feature_name="NGX_HAVE_DEFERRED_ACCEPT"<o:p></o:p></p>
<p class="MsoNormal">diff -r da5e3f5b1673 -r f79d524a2cc0 src/core/ngx_connection.c<o:p></o:p></p>
<p class="MsoNormal">--- a/src/core/ngx_connection.c Wed Sep 02 23:13:36 2020 +0300<o:p></o:p></p>
<p class="MsoNormal">+++ b/src/core/ngx_connection.c Thu Sep 10 06:54:53 2020 -0400<o:p></o:p></p>
<p class="MsoNormal">@@ -8,7 +8,10 @@<o:p></o:p></p>
<p class="MsoNormal">#include <ngx_config.h><o:p></o:p></p>
<p class="MsoNormal">#include <ngx_core.h><o:p></o:p></p>
<p class="MsoNormal">#include <ngx_event.h><o:p></o:p></p>
<p class="MsoNormal">-<o:p></o:p></p>
<p class="MsoNormal">+#if (NGX_HAVE_REUSEPORT_CBPF)<o:p></o:p></p>
<p class="MsoNormal">+#include <linux/filter.h><o:p></o:p></p>
<p class="MsoNormal">+#include <error.h><o:p></o:p></p>
<p class="MsoNormal">+#endif<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> ngx_os_io_t ngx_io;<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal">@@ -708,6 +711,35 @@<o:p></o:p></p>
<p class="MsoNormal"> return NGX_OK;<o:p></o:p></p>
<p class="MsoNormal">}<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal">+#if(NGX_HAVE_REUSEPORT)<o:p></o:p></p>
<p class="MsoNormal">+#if(NGX_HAVE_REUSEPORT_CBPF)<o:p></o:p></p>
<p class="MsoNormal">+#ifndef ARRAY_SIZE<o:p></o:p></p>
<p class="MsoNormal">+#define ARRAY_SIZE(arr) (sizeof(arr) / sizeof((arr)[0]))<o:p></o:p></p>
<p class="MsoNormal">+#endif<o:p></o:p></p>
<p class="MsoNormal">+<o:p></o:p></p>
<p class="MsoNormal">+static void attach_bpf(int fd, uint16_t n)<o:p></o:p></p>
<p class="MsoNormal">+{<o:p></o:p></p>
<p class="MsoNormal">+ struct sock_filter code[] = {<o:p></o:p></p>
<p class="MsoNormal">+ /* A = skb->queue_mapping */<o:p></o:p></p>
<p class="MsoNormal">+ { BPF_LD | BPF_W | BPF_ABS, 0, 0, SKF_AD_OFF + SKF_AD_QUEUE },<o:p></o:p></p>
<p class="MsoNormal">+ /* A = A % n */<o:p></o:p></p>
<p class="MsoNormal">+ { BPF_ALU | BPF_MOD, 0, 0, n },<o:p></o:p></p>
<p class="MsoNormal">+ /* return A */<o:p></o:p></p>
<p class="MsoNormal">+ { BPF_RET | BPF_A, 0, 0, 0 },<o:p></o:p></p>
<p class="MsoNormal">+ };<o:p></o:p></p>
<p class="MsoNormal">+ struct sock_fprog p = {<o:p></o:p></p>
<p class="MsoNormal">+ .len = ARRAY_SIZE(code),<o:p></o:p></p>
<p class="MsoNormal">+ .filter = code,<o:p></o:p></p>
<p class="MsoNormal">+ };<o:p></o:p></p>
<p class="MsoNormal">+<o:p></o:p></p>
<p class="MsoNormal">+ if (setsockopt(fd, SOL_SOCKET, SO_ATTACH_REUSEPORT_CBPF, &p, sizeof(p)))<o:p></o:p></p>
<p class="MsoNormal">+ printf("failed to set SO_ATTACH_REUSEPORT_CBPF");<o:p></o:p></p>
<p class="MsoNormal">+ else<o:p></o:p></p>
<p class="MsoNormal">+ printf("bpf prog attached to fd:%d\n", fd);<o:p></o:p></p>
<p class="MsoNormal">+}<o:p></o:p></p>
<p class="MsoNormal">+#endif<o:p></o:p></p>
<p class="MsoNormal">+#endif<o:p></o:p></p>
<p class="MsoNormal">+<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> void<o:p></o:p></p>
<p class="MsoNormal">ngx_configure_listening_sockets(ngx_cycle_t *cycle)<o:p></o:p></p>
<p class="MsoNormal">@@ -719,6 +751,11 @@<o:p></o:p></p>
<p class="MsoNormal">#if (NGX_HAVE_DEFERRED_ACCEPT && defined SO_ACCEPTFILTER)<o:p></o:p></p>
<p class="MsoNormal"> struct accept_filter_arg af;<o:p></o:p></p>
<p class="MsoNormal">#endif<o:p></o:p></p>
<p class="MsoNormal">+#if (NGX_HAVE_REUSEPORT)<o:p></o:p></p>
<p class="MsoNormal">+#if (NGX_HAVE_REUSEPORT_CBPF)<o:p></o:p></p>
<p class="MsoNormal">+ ngx_core_conf_t* ccf ;<o:p></o:p></p>
<p class="MsoNormal">+#endif<o:p></o:p></p>
<p class="MsoNormal">+#endif<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> ls = cycle->listening.elts;<o:p></o:p></p>
<p class="MsoNormal"> for (i = 0; i < cycle->listening.nelts; i++) {<o:p></o:p></p>
<p class="MsoNormal">@@ -1011,6 +1048,16 @@<o:p></o:p></p>
<p class="MsoNormal"> }<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> #endif<o:p></o:p></p>
<p class="MsoNormal">+#if (NGX_HAVE_REUSEPORT)<o:p></o:p></p>
<p class="MsoNormal">+#if (NGX_HAVE_REUSEPORT_CBPF)<o:p></o:p></p>
<p class="MsoNormal">+ if(ls[i].reuseport)<o:p></o:p></p>
<p class="MsoNormal">+ {<o:p></o:p></p>
<p class="MsoNormal">+ ccf = (ngx_core_conf_t *) ngx_get_conf(cycle->conf_ctx,ngx_core_module);<o:p></o:p></p>
<p class="MsoNormal">+ if(ccf)<o:p></o:p></p>
<p class="MsoNormal">+ attach_bpf(ls[i].fd, ccf->worker_processes);<o:p></o:p></p>
<p class="MsoNormal">+ }<o:p></o:p></p>
<p class="MsoNormal">+#endif<o:p></o:p></p>
<p class="MsoNormal">+#endif<o:p></o:p></p>
<p class="MsoNormal"> }<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"> return;<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>