当前位置:3016.com-金沙城中心官网 > 前端 > 金沙城中心HTTP/2 尾部压缩技能介绍

金沙城中心HTTP/2 尾部压缩技能介绍

文章作者:前端 上传时间:2019-10-11

HTTP/2 底部压缩本事介绍

2015/11/03 · HTML5 · HTTP/2

原稿出处: imququ(@屈光宇)   

我们清楚,HTTP/2 合同由五个 君越FC 组成:二个是 RFC 7540,描述了 HTTP/2 合同自己;叁个是 RFC 7541,描述了 HTTP/2 合同中应用的底部压缩本事。本文将透超过实际际案例指导大家详细地认知 HTTP/2 底部压缩那门技巧。

怎么要缩减

在 HTTP/1 中,HTTP 须求和响应都以由「状态行、央浼 / 响应底部、音信主体」三局地组成。平常来说,音信主体都会透过 gzip 压缩,也许本身传输的就是减少过后的二进制文件(举个例子图片、音频),但气象行和底部却尚无经过任何压缩,直接以纯文本传输。

乘胜 Web 功用进一步复杂,每种页面发生的呼吁数也愈发多,依照 HTTP Archive 的计算,当前平均每一种页面都会时有产生不菲个伏乞。越多的伸手导致消耗在头顶的流量越多,特别是历次都要传输 UserAgent、Cookie 那类不会一再员和转业移的内容,完全部都是一种浪费。

以下是自作者顺手打开的一个页面包车型地铁抓包结果。能够见见,传输尾部的网络开销超越100kb,比 HTML 还多:

金沙城中心 1

上边是内部一个诉求的有心人。能够看看,为了博取 58 字节的数据,在头顶传输上海消防费了一些倍的流量:

金沙城中心 2

HTTP/1 时代,为了削减尾部消耗的流量,有大多优化方案能够品尝,比如合併伏乞、启用 Cookie-Free 域名等等,然则那几个方案或多或少会引进一些新的标题,这里不张开探究。

削减后的作用

接下去自个儿将应用访谈本博客的抓包记录以来明 HTTP/2 尾部压缩带来的变通。如何行使 Wireshark 对 HTTPS 网址举行抓包并解密,请看自身的那篇小说。本文使用的抓包文件,能够点这里下载。

率先直接上图。下图选中的 Stream 是第二次访谈本站,浏览器发出的伸手头:

金沙城中心 3

从图片中能够看来那么些 HEADELANDS 流的长短是 206 个字节,而解码后的头顶长度有 451 个字节。总来讲之,压缩后的尾部大小裁减了概略上多。

然则这便是漫天吧?再上一张图。下图选中的 Stream 是点击本站链接后,浏览器发出的伏乞头:

金沙城中心 4

能够看来这一遍,HEADECR-VS 流的长度独有 49 个字节,但是解码后的底厅长度却有 470 个字节。那壹回,压缩后的头顶大小差非常的少独有原本大小的 1/10。

干什么前后五回差异这么大啊?大家把五次的尾部信息进行,查看同三个字段一次传输所占领的字节数:

金沙城中心 5

金沙城中心 6

相比较后能够窥见,第三回的央求尾部之所以比比较小,是因为相当多键值对只占用了一个字节。非常是 UserAgent、库克ie 那样的头顶,第三遍呼吁中须要占用相当多字节,后续央浼中都只供给二个字节。

技巧原理

上面那张截图,取自 Google 的属性行家 Ilya Grigorik 在 Velocity 二〇一四 • SC 会议中享受的「HTTP/2 is here, let’s optimize!」,特别直观地叙述了 HTTP/2 中头部压缩的规律:

金沙城中心 7

自个儿再用浅显的语言表明下,底部压缩必要在帮忙 HTTP/2 的浏览器和服务端之间:

  • 尊敬一份同样的静态字典(Static Table),包涵常见的底部名称,乃相当其常见的头顶名称与值的构成;
  • 爱惜一份同样的动态字典(Dynamic Table),能够动态的丰裕内容;
  • 支撑基于静态哈夫曼码表的哈夫曼编码(Huffman Coding);

静态字典的机能有五个:1)对于截然合作的头顶键值对,举例 : method :GET,能够一贯利用四个字符表示;2)对于底部名称能够包容的键值对,比如 cookie :xxxxxxx,能够将名称使用二个字符表示。HTTP/2中的静态字典如下(以下只截取了一部分,完整表格在这里):

Index Header Name Header Value
1 :authority
2 :method GET
3 :method POST
4 :path /
5 :path /index.html
6 :scheme http
7 :scheme https
8 :status 200
32 cookie
60 via
61 www-authenticate

並且,浏览器可以告诉服务端,将 cookie :xxxxxxx 加多到动态字典中,那样持续一切键值对就足以应用三个字符表示了。类似的,服务端也得以立异对方的动态字典。供给潜心的是,动态字典上下文有关,须求为各类HTTP/2 连接维护分裂的字典。

利用字典能够小幅度地进级压缩效果,在那之中静态字典在第一次呼吁中就能够运用。对于静态、动态字典中不设有的内容,仍是能够动用哈夫曼编码来减小体量。HTTP/2 使用了一份静态哈夫曼码表(详见),也须求内置在客商端和服务端之中。

此处顺便说一下,HTTP/1 的图景行音讯(Method、Path、Status 等),在 HTTP/2中被拆成键值对归入尾部(冒号最早的那几个),同样能够大饱眼福到字典和哈夫曼压缩。别的,HTTP/2中全部底部名称必得小写。

贯彻细节

叩问了 HTTP/2 头部压缩的基本原理,最后大家来看一下切实的落成细节。HTTP/2 的尾部键值对有以下那个景况:

1)整个尾部键值对都在字典中

JavaScript

0 1 2 3 4 5 6 7 +---+---+---+---+---+---+---+---+ | 1 | Index (7+) | +---+---------------------------+

1
2
3
4
5
  0   1   2   3   4   5   6   7
+---+---+---+---+---+---+---+---+
| 1 |        Index (7+)         |
+---+---------------------------+
 

那是最简便的境况,使用多个字节就能够表示这几个底部了,最左壹个人稳定为 1,之后陆位存放键值对在静态或动态字典中的索引。举例下图中,底部索引值为 2(0000010),在静态字典中查询可得 : method :GET

金沙城中心 8

2)尾部名称在字典中,更新动态字典

JavaScript

0 1 2 3 4 5 6 7 +---+---+---+---+---+---+---+---+ | 0 | 1 | Index (6+) | +---+---+-----------------------+ | H | Value Length (7+) | +---+---------------------------+ | Value String (Length octets) | +-------------------------------+

1
2
3
4
5
6
7
8
9
  0   1   2   3   4   5   6   7
+---+---+---+---+---+---+---+---+
| 0 | 1 |      Index (6+)       |
+---+---+-----------------------+
| H |     Value Length (7+)     |
+---+---------------------------+
| Value String (Length octets)  |
+-------------------------------+
 

对于这种情景,首先要求运用一个字节表示底部名称:左两位牢固为 01,之后八个人寄放尾部名称在静态或动态字典中的索引。接下来的三个字节第壹个人H 表示底部值是还是不是使用了哈夫曼编码,剩余八人代表尾部值的尺寸 L,后续 L 个字节就是底部值的具体内容了。譬如下图中索引值为 32(一千00),在静态字典中询问可得  cookie ;尾部值使用了哈夫曼编码(1),长度是 28(0011100);接下去的 贰16个字节是 cookie 的值,将其开展哈夫曼解码就会得到具体内容。

金沙城中心 9

顾客端或服务端见到这种格式的底部键值对,会将其增多到本身的动态字典中。后续传输那样的剧情,就符合第 1 种境况了。

3)尾部名称不在字典中,更新动态字典

JavaScript

0 1 2 3 4 5 6 7 +---+---+---+---+---+---+---+---+ | 0 | 1 | 0 | +---+---+-----------------------+ | H | Name Length (7+) | +---+---------------------------+ | Name String (Length octets) | +---+---------------------------+ | H | Value Length (7+) | +---+---------------------------+ | Value String (Length octets) | +-------------------------------+

1
2
3
4
5
6
7
8
9
10
11
12
13
  0   1   2   3   4   5   6   7
+---+---+---+---+---+---+---+---+
| 0 | 1 |           0           |
+---+---+-----------------------+
| H |     Name Length (7+)      |
+---+---------------------------+
|  Name String (Length octets)  |
+---+---------------------------+
| H |     Value Length (7+)     |
+---+---------------------------+
| Value String (Length octets)  |
+-------------------------------+
 

这种情形与第 2 种情况周边,只是出于底部名称不在字典中,所以首先个字节固定为 0一千000;接着申明名称是还是不是利用哈夫曼编码及长度,并放上名称的具体内容;再注脚值是还是不是接纳哈夫曼编码及长度,最终放上值的具体内容。举例下图中名称的尺寸是 5(0000101),值的长短是 6(0000110)。对其具体内容实行哈夫曼解码后,可得 pragma: no-cache 。

金沙城中心 10

顾客端或服务端见到这种格式的头顶键值对,会将其增添到本身的动态字典中。后续传输那样的原委,就契合第 1 种意况了。

4)尾部名称在字典中,不容许更新动态字典

JavaScript

0 1 2 3 4 5 6 7 +---+---+---+---+---+---+---+---+ | 0 | 0 | 0 | 1 | Index (4+) | +---+---+-----------------------+ | H | Value Length (7+) | +---+---------------------------+ | Value String (Length octets) | +-------------------------------+

1
2
3
4
5
6
7
8
9
  0   1   2   3   4   5   6   7
+---+---+---+---+---+---+---+---+
| 0 | 0 | 0 | 1 |  Index (4+)   |
+---+---+-----------------------+
| H |     Value Length (7+)     |
+---+---------------------------+
| Value String (Length octets)  |
+-------------------------------+
 

这种状态与第 2 种情状极度周围,独一不一样之处是:第二个字节左叁人稳固为 0001,只剩余三人来存放在索引了,如下图:

金沙城中心 11

此处须要介绍此外一个知识点:对整数的解码。上图中率先个字节为 00011111,并不代表尾部名称的目录为 15(1111)。第三个字节去掉固定的 0001,只剩几个人可用,将位数用 N 表示,它只可以用来代表小于「2 ^ N – 1 = 15」的平头 I。对于 I,须要依据以下准绳求值(途乐FC 754第11中学的伪代码,via):

Python

if I < 2 ^ N - 1, return I # I 小于 2 ^ N - 1 时,直接重返 else M = 0 repeat B = next octet # 让 B 等于下三个多少人 I = I + (B & 127) * 2 ^ M # I = I + (B 低七位 * 2 ^ M) M = M + 7 while B & 128 == 128 # B 最高位 = 1 时后续,不然再次来到 I return I

1
2
3
4
5
6
7
8
9
if I < 2 ^ N - 1, return I         # I 小于 2 ^ N - 1 时,直接返回
else
    M = 0
    repeat
        B = next octet             # 让 B 等于下一个八位
        I = I + (B & 127) * 2 ^ M  # I = I + (B 低七位 * 2 ^ M)
        M = M + 7
    while B & 128 == 128           # B 最高位 = 1 时继续,否则返回 I
    return I

对于上海教室中的数据,依据那个准则算出索引值为 32(00011111 000一千1,15 + 17),代表  cookie 。必要小心的是,公约中存有写成(N+)的数字,譬如Index (4+)、Name Length (7+),都须求根据这一个法规来编码和平消除码。

这种格式的头顶键值对,不容许被加多到动态字典中(但足以选用哈夫曼编码)。对于部分非常灵敏的头顶,举例用来证实的 库克ie,这么做可以进步安全性。

5)尾部名称不在字典中,不允许更新动态字典

JavaScript

0 1 2 3 4 5 6 7 +---+---+---+---+---+---+---+---+ | 0 | 0 | 0 | 1 | 0 | +---+---+-----------------------+ | H | Name Length (7+) | +---+---------------------------+ | Name String (Length octets) | +---+---------------------------+ | H | Value Length (7+) | +---+---------------------------+ | Value String (Length octets) | +-------------------------------+

1
2
3
4
5
6
7
8
9
10
11
12
13
  0   1   2   3   4   5   6   7
+---+---+---+---+---+---+---+---+
| 0 | 0 | 0 | 1 |       0       |
+---+---+-----------------------+
| H |     Name Length (7+)      |
+---+---------------------------+
|  Name String (Length octets)  |
+---+---------------------------+
| H |     Value Length (7+)     |
+---+---------------------------+
| Value String (Length octets)  |
+-------------------------------+
 

这种状态与第 3 种景况非凡类似,独一分裂之处是:第贰个字节固定为 000一千0。这种情景少之甚少见,未有截图,各位能够脑补。同样,这种格式的头顶键值对,也差异意被增加到动态字典中,只可以使用哈夫曼编码来减弱体量。

骨子里,契约中还规定了与 4、5 特别类似的别的二种格式:将 4、5 格式中的第二个字节第多人由 1 改为 0 就能够。它象征「这次不立异动态词典」,而 4、5 表示「相对不允许更新动态词典」。差异不是异常的大,这里略过。

通晓了尾部压缩的能力细节,理论上能够非常轻巧写出 HTTP/2 底部解码工具了。笔者比较懒,直接找来 node-http2中的 compressor.js 验证一下:

JavaScript

var Decompressor = require('./compressor').Decompressor; var testLog = require('bunyan').createLogger({name: 'test'}); var decompressor = new Decompressor(testLog, 'REQUEST'); var buffer = new Buffer('820481634188353daded6ae43d3f877abdd07f66a281b0dae053fad0321aa49d13fda992a49685340c8a6adca7e28102e10fda9677b8d05707f6a62293a9d810020004015309ac2ca7f2c3415c1f53b0497ca589d34d1f43aeba0c41a4c7a98f33a69a3fdf9a68fa1d75d0620d263d4c79a68fbed00177febe58f9fbed00177b518b2d4b70ddf45abefb4005db901f1184ef034eff609cb60725034f48e1561c8469669f081678ae3eb3afba465f7cb234db9f4085aec1cd48ff86a8eb10649cbf', 'hex'); console.log(decompressor.decompress(buffer)); decompressor._table.forEach(function(row, index) { console.log(index + 1, row[0], row[1]); });

1
2
3
4
5
6
7
8
9
10
11
12
var Decompressor = require('./compressor').Decompressor;
 
var testLog = require('bunyan').createLogger({name: 'test'});
var decompressor = new Decompressor(testLog, 'REQUEST');
 
var buffer = new Buffer('820481634188353daded6ae43d3f877abdd07f66a281b0dae053fad0321aa49d13fda992a49685340c8a6adca7e28102e10fda9677b8d05707f6a62293a9d810020004015309ac2ca7f2c3415c1f53b0497ca589d34d1f43aeba0c41a4c7a98f33a69a3fdf9a68fa1d75d0620d263d4c79a68fbed00177febe58f9fbed00177b518b2d4b70ddf45abefb4005db901f1184ef034eff609cb60725034f48e1561c8469669f081678ae3eb3afba465f7cb234db9f4085aec1cd48ff86a8eb10649cbf', 'hex');
 
console.log(decompressor.decompress(buffer));
 
decompressor._table.forEach(function(row, index) {
    console.log(index + 1, row[0], row[1]);
});

头顶原始数据来自于本文第三张截图,运行结果如下(静态字典只截取了一片段):

{ ':method': 'GET', ':path': '/', ':authority': 'imququ.com', ':scheme': 'https', 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:41.0) Gecko/20100101 Firefox/41.0', accept: 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'accept-language': 'en-US,en;q=0.5', 'accept-encoding': 'gzip, deflate', cookie: 'v=47; u=6f048d6e-adc4-4910-8e69-797c399ed456', pragma: 'no-cache' } 1 ':authority' '' 2 ':method' 'GET' 3 ':method' 'POST' 4 ':path' '/' 5 ':path' '/index.html' 6 ':scheme' 'http' 7 ':scheme' 'https' 8 ':status' '200' ... ... 32 'cookie' '' ... ... 60 'via' '' 61 'www-authenticate' '' 62 'pragma' 'no-cache' 63 'cookie' 'u=6f048d6e-adc4-4910-8e69-797c399ed456' 64 'accept-language' 'en-US,en;q=0.5' 65 'accept' 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' 66 'user-agent' 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:41.0) Gecko/20100101 Firefox/41.0' 67 ':authority' 'imququ.com'

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
{ ':method': 'GET',
  ':path': '/',
  ':authority': 'imququ.com',
  ':scheme': 'https',
  'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:41.0) Gecko/20100101 Firefox/41.0',
  accept: 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'accept-language': 'en-US,en;q=0.5',
  'accept-encoding': 'gzip, deflate',
  cookie: 'v=47; u=6f048d6e-adc4-4910-8e69-797c399ed456',
  pragma: 'no-cache' }
1 ':authority' ''
2 ':method' 'GET'
3 ':method' 'POST'
4 ':path' '/'
5 ':path' '/index.html'
6 ':scheme' 'http'
7 ':scheme' 'https'
8 ':status' '200'
... ...
32 'cookie' ''
... ...
60 'via' ''
61 'www-authenticate' ''
62 'pragma' 'no-cache'
63 'cookie' 'u=6f048d6e-adc4-4910-8e69-797c399ed456'
64 'accept-language' 'en-US,en;q=0.5'
65 'accept' 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
66 'user-agent' 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:41.0) Gecko/20100101 Firefox/41.0'
67 ':authority' 'imququ.com'

能够观看,这段从 Wireshark 拷出来的尾部数据足以健康解码,动态字典也获得了革新(62 – 67)。

总结

在进展 HTTP/2 网址质量优化时相当重大学一年级点是「使用尽可能少的连接数」,本文提到的头顶压缩是里面贰个很注重的原原本本的经过:同一个接二连三上发出的伸手和响应更加的多,动态字典积累得越全,尾部压缩效果也就越好。所以,针对 HTTP/2 网址,最好实施是不要合并财富,不要散列域名。

暗中同意意况下,浏览器会针对这一个景况选取同三个老是:

  • 同一域名下的财富;
  • 不一致域名下的财富,然而知足七个标准化:1)深入分析到同三个IP;2)使用同一个证书;

地点第一点轻松驾驭,第二点则很轻便被忽略。实际上 Google已经那样做了,Google 一雨后春笋网址都共用了同二个证明,能够这么说明:

$ openssl s_client -connect google.com:443 |openssl x509 -noout -text | grep DNS depth=2 C = US, O = GeoTrust Inc., CN = GeoTrust Global CA verify error:num=20:unable to get local issuer certificate verify return:0 DNS:*.google.com, DNS:*.android.com, DNS:*.appengine.google.com, DNS:*.cloud.google.com, DNS:*.google-analytics.com, DNS:*.google.ca, DNS:*.google.cl, DNS:*.google.co.in, DNS:*.google.co.jp, DNS:*.google.co.uk, DNS:*.google.com.ar, DNS:*.google.com.au, DNS:*.google.com.br, DNS:*.google.com.co, DNS:*.google.com.mx, DNS:*.google.com.tr, DNS:*.google.com.vn, DNS:*.google.de, DNS:*.google.es, DNS:*.google.fr, DNS:*.google.hu, DNS:*.google.it, DNS:*.google.nl, DNS:*.google.pl, DNS:*.google.pt, DNS:*.googleadapis.com, DNS:*.googleapis.cn, DNS:*.googlecommerce.com, DNS:*.googlevideo.com, DNS:*.gstatic.cn, DNS:*.gstatic.com, DNS:*.gvt1.com, DNS:*.gvt2.com, DNS:*.metric.gstatic.com, DNS:*.urchin.com, DNS:*.url.google.com, DNS:*.youtube-nocookie.com, DNS:*.youtube.com, DNS:*.youtubeeducation.com, DNS:*.ytimg.com, DNS:android.com, DNS:g.co, DNS:goo.gl, DNS:google-analytics.com, DNS:google.com, DNS:googlecommerce.com, DNS:urchin.com, DNS:youtu.be, DNS:youtube.com, DNS:youtubeeducation.com

1
2
3
4
5
6
$ openssl s_client -connect google.com:443 |openssl x509 -noout -text | grep DNS
 
depth=2 C = US, O = GeoTrust Inc., CN = GeoTrust Global CA
verify error:num=20:unable to get local issuer certificate
verify return:0
                DNS:*.google.com, DNS:*.android.com, DNS:*.appengine.google.com, DNS:*.cloud.google.com, DNS:*.google-analytics.com, DNS:*.google.ca, DNS:*.google.cl, DNS:*.google.co.in, DNS:*.google.co.jp, DNS:*.google.co.uk, DNS:*.google.com.ar, DNS:*.google.com.au, DNS:*.google.com.br, DNS:*.google.com.co, DNS:*.google.com.mx, DNS:*.google.com.tr, DNS:*.google.com.vn, DNS:*.google.de, DNS:*.google.es, DNS:*.google.fr, DNS:*.google.hu, DNS:*.google.it, DNS:*.google.nl, DNS:*.google.pl, DNS:*.google.pt, DNS:*.googleadapis.com, DNS:*.googleapis.cn, DNS:*.googlecommerce.com, DNS:*.googlevideo.com, DNS:*.gstatic.cn, DNS:*.gstatic.com, DNS:*.gvt1.com, DNS:*.gvt2.com, DNS:*.metric.gstatic.com, DNS:*.urchin.com, DNS:*.url.google.com, DNS:*.youtube-nocookie.com, DNS:*.youtube.com, DNS:*.youtubeeducation.com, DNS:*.ytimg.com, DNS:android.com, DNS:g.co, DNS:goo.gl, DNS:google-analytics.com, DNS:google.com, DNS:googlecommerce.com, DNS:urchin.com, DNS:youtu.be, DNS:youtube.com, DNS:youtubeeducation.com

使用多域名加上同样的 IP 和证件安插 Web 服务有破例的意义:让帮忙 HTTP/2 的极限只创设三个接连,用上 HTTP/2 左券带来的各类受益;而只援助 HTTP/1.1 的终极则会创造七个一连,达到同偶然间越多并发央浼的指标。那在 HTTP/2 完全普遍前也是一个没有疑问的取舍。

1 赞 收藏 评论

金沙城中心 12

本文由3016.com-金沙城中心官网发布于前端,转载请注明出处:金沙城中心HTTP/2 尾部压缩技能介绍

关键词: