Knowledge Sharing

HTTP需要注意的知识点

发表于 更新于 分类于

HTTP基本概念

定义:超文本传输协议

  • 协议：一个用在计算机中的协议。使用计算机语言确定了一种计算机之间通信的规范(两个及以上的参与者)以及相关的控制和错误处理方式。
  • 传输：两点之间的双向数据通信(可以服务器到服务器)，该过程中还允许有中转或接力。（在 HTTP 里，需要中间人遵从 HTTP 协议，只要不打扰基本的数据传输，就可以添加任意额外的东西）
  • 超文本：传输的内容是超文本（是文字、图片、视频等的混合体，能从一个超文本跳转到另外一个超文本，eg. html）

常见的状态码

  • 1xx:该类状态码属于提示信息，是协议处理中的一种中间状态，实际用到的比较少。
  • 2xx ：该类状态码表示服务器成功处理了客户端的请求。
    • 200 OK是最常见的成功状态码，表示一切正常。如果是非 HEAD 请求，服务器返回的响应头都会有 body 数据。
    • 204 No Content也是常见的成功状态码，与 200 OK 基本相同，但响应头没有 body 数据。
    • 206 Partial Content是应用于 HTTP分块下载或断点续传，表示响应返回的 body 数据并不是资源的全部，而是其中的一部分，也是服务器处理成功的状态。
  • 3xx:该 类状态码表示客户端请求的资源发生了变动，需要客户端用新的 URL 重新发送请求获取资源，也就是重定向。
    • 301 Moved Permanentl表示永久重定向，说明请求的资源已经不存在了，需改用新的 URL 再次访问。
    • 302 Moved Temporarily表示临时重定向，说明请求的资源还在，但暂时需要用另一个 URL 来访问。
    • 301 和 302 都会在响应头里使用字段 Location，指明后续要跳转的 URL，浏览器会自动重定向新的 URL。
    • 304 Not Modified不具有跳转的含义，表示资源未修改，重定向已存在的缓冲文件，也称缓存重定向，用于缓存控制。
  • 4xx :该类状态码表示客户端发送的报文有误，服务器无法处理，也就是错误码的含义。
    • 400 Bad Request表示客户端请求的报文有错误，但只是个笼统的错误。
    • 403 Forbidden表示服务器禁止访问资源，并不是客户端的请求出错。
    • 404 Not Found表示请求的资源在服务器上不存在或未找到，所以无法提供给客户端。
  • 5xx:该 类状态码表示客户端请求报文正确，但是服务器处理时内部发生了错误，属于服务器端的错误码。
    • 500 Internal Server Error与 400 类型，是个笼统通用的错误码，服务器发生了什么错误并不知道。
    • 501 Not Implemented表示客户端请求的功能还不支持，类似“即将开业，敬请期待”的意思。
    • 502 Bad Gateway通常是服务器作为网关或代理时返回的错误码，表示服务器自身工作正常，访问后端服务器发生了错误。
    • 503 Service Unavailable表示服务器当前很忙，暂时无法响应服务器，类似“网络服务正忙，请稍后重试”的意思。

HTTP常用字段

  • Host：客户端发送请求时，用来指定服务器的域名Host: www.A.com。有了 Host 字段，就可以将请求发往[同一台]服务器上的不同网站。
  • Connection: 该字段最常用于客户端要求服务器使用 TCP 持久连接，以便其他请求复用。HTTP/1.1 版本的默认连接都是持久连接，但为了兼容老版本的 HTTP，需要指定 Connection 首部字段的值为 Keep-Alive。
  • Content-Length :服务器在返回数据时，会有 Content-Length 字段Content-Length: 1000，表明本次回应的数据长度。
  • Content-Type 字段用于服务器回应时，告诉客户端，本次数据是什么格式.eg.Content-Type: text/html; charset=utf-8,该类型表明，发送的是网页，而且编码是UTF-8.
    • 客户端请求的时候，可以使用 Accept 字段声明自己可以接受哪些数据格式。Accept: */*表明客户端声明自己可以接受任何格式的数据。
  • Content-Encoding ：该字段说明数据的压缩方法。表示服务器返回的数据使用了什么压缩格式。eg.Content-Encoding: gzip表示服务器返回的数据采用了gzip 方式压缩，告知客户端需要用此方式解压。
    • 客户端在请求时，用 Accept-Encoding 字段说明自己可以接受哪些压缩方法。eg.Accept-Encoding: gzip, deflate

Get与Post

基本功能

  • Get 方法的含义是请求从服务器获取资源，这个资源可以是静态的文本、页面、图片视频等
  • 而POST 方法则是相反操作，它向 URI 指定的资源提交数据，数据就放在报文的 body 里。

安全和幂等

  • 在 HTTP 协议里，安全是指请求方法不会破坏服务器上的资源。
  • 幂等意思是多次执行相同的操作，结果都是相同的。

很明显 GET 方法就是安全且幂等的，因为它是只读操作，无论操作多少次，服务器上的数据都是安全的，且每次的结果都是相同的。

POST 因为是新增或提交数据的操作，会修改服务器上的资源，所以是不安全的，且多次提交数据就会创建多个资源，所以不是幂等的。

HTTP特性

HTTP的优点

  • 简单：基本的报文格式就是 header + body，头部信息也是 key-value 简单文本的形式，易于理解，降低学习和使用的门槛。
  • 灵活和易于扩展：各类请求方法、URI/URL、状态码、头字段等每个组成要求都没有被固定死，允许开发人员自定义和扩充。HTTP工作在应用层，则它下层可以随意变化。
  • 应用广泛/跨平台：从台式机的浏览器到手机上的各种 APP，从看新闻、刷贴吧到购物、理财、游戏，HTTP 的应用无处不在，同时天然具有跨平台的优越性。

HTTP的缺点

  • 无状态
    • 好处：服务器不会去记忆HTTP 的状态，所以不需要额外的资源来记录状态信息，这能减轻服务器的负担，能够把更多的 CPU 和内存用来对外提供服务。
    • 坏处：服务器没有记忆能力，它在完成有关联性的操作时会非常麻烦。例如：网上购物过程中，登录->添加购物车->下单->结算->支付，这系列操作都要知道用户的身份才行。但服务器不知道这些请求是有关联的，每次都要问一遍身份信息。
    • 解决办法：Cookie 技术。通过在请求和响应报文中写入Cookie 信息来控制客户端的状态。

cookie

  • 明文传输:虽然为调试等工作带来便利，但该传输方式相当于信息裸奔。在传输的漫长的过程中，信息的内容都毫无隐私可言，很容易就能被窃取，如果里面有账号密码信息，则可能出现账号被盗等情况。
  • 不安全
    • 通信使用明文（不加密），内容可能会被窃听。比如，账号信息容易泄漏
    • 不验证通信方的身份，因此有可能遭遇伪装。比如，访问假的淘宝、拼多多。
    • 无法证明报文的完整性，所以有可能已遭篡改。比如，网页上植入垃圾广告。

HTTP/1.1的性能

HTTP 协议基于 TCP/IP，并且使用了请求 - 应答的通信模式，所以性能的关键就在这里。

  • 长连接。早期 HTTP/1.0 性能上的一个很大的问题，那就是每发起一个请求，都要新建一次 TCP 连接（三次握手），而且是串行请求，做了无畏的 TCP 连接建立和断开，增加了通信开销。为了解决该 问题，HTTP/1.1 提出了长连接的通信方式，也叫持久连接。这种方式的好处在于减少了 TCP 连接的重复建立和断开所造成的额外开销，减轻了服务器端的负载。

    • 持久连接的特点是，只要任意一端没有明确提出断开连接，则保持 TCP 连接状态。
    • 长连接与短连接

  • 管道网络传输：HTTP/1.1 采用了长连接的方式，这使得管道（pipeline）网络传输成为可能。即可在同一个 TCP 连接里面，客户端可以发起多个请求，只要第一个请求发出去了，不必等其回来，就可以发第二个请求出去，可以减少整体的响应时间。举例来说，客户端需要请求两个资源。以前的做法是，在同一个TCP连接里面，先发送 A 请求，然后等待服务器做出回应，收到后再发出 B 请求。管道机制则是允许浏览器同时发出 A 请求和 B 请求。

  • 队头阻塞：但是服务器还是按照顺序，先回应 A 请求，完成后再回应 B 请求。要是前面的回应特别慢，后面就会有许多请求排队等着。这称为队头堵塞。

HTTPS与HTTP

HTTP与HTTPS的区别

  • HTTP 是超文本传输协议，信息是明文传输，存在安全风险的问题。HTTPS 则解决 HTTP 不安全的缺陷，在 TCP和 HTTP网络层之间加入了SSL/TLS 安全协议，使得报文能够加密传输。

  • HTTP 连接建立相对简单， TCP 三次握手之后便可进行 HTTP 的报文传输。而 HTTPS 在 TCP 三次握手之后，还需进行 SSL/TLS 的握手过程，才可进入加密报文传输。

  • HTTP 的端口号是 80，HTTPS 的端口号是 443。

  • HTTPS 协议需要向 CA（证书权威机构）申请数字证书，来保证服务器的身份是可信的。

HTTPS解决窃听、篡改、冒充采取的措施

  • 混合加密的方式实现信息的机密性，解决了窃听的风险。
    • 在通信建立前采用非对称加密的方式交换会话秘钥，后续就不再使用非对称加密。（非对称加密使用两个密钥：公钥和私钥，公钥可以任意分发而私钥保密，解决了密钥交换问题但速度慢）
    • 在通信过程中全部使用对称加密的会话秘钥的方式加密明文数据（对称加密只使用一个密钥，运算速度快，密钥必须保密，无法做到安全的密钥交换）
  • 摘要算法的方式来实现完整性，它能够为数据生成独一无二的”指纹”，指纹用于校验数据的完整性，解决了篡改的风险。
    • 客户端在发送明文之前会通过摘要算法算出明文的指纹，发送的时候把指纹 + 明文一同加密成密文后，发送给服务器，服务器解密后，用相同的摘要算法算出发送过来的明文，通过比较客户端携带的指纹和当前算出的指纹做比较，若指纹相同，说明数据是完整的。
  • 将服务器公钥放入到数字证书中，解决了冒充的风险。
    • 客户端先向服务器端索要公钥，然后用公钥加密信息，服务器收到密文后，用自己的私钥解密。
    • 如何保证公钥不被篡改：需要借助第三方权威机构 CA （数字证书认证机构），将服务器公钥放在数字证书（由数字证书认证机构颁发）中，只要证书是可信的，公钥就是可信的。
    • CA

HTTPS建立的过程

  • 客户端向服务器索要并验证服务器的公钥。
  • 双方协商产生会话秘钥。
  • 双方采用会话秘钥进行加密通信。

前两步也就是 SL/TLS的建立过程，也就是握手阶段。

https握手过程

SSL/TLS 协议建立的详细流程：

1.ClientHello

首先，由客户端向服务器发起加密通信请求，也就是 ClientHello 请求。

在这一步，客户端主要向服务器发送以下信息：

  • 客户端支持的SSL/TLS 协议版本，如 TLS 1.2 版本。

  • 客户端生产的随机数（Client Random），后面用于生产会话秘钥。

  • 客户端支持的密码套件列表，如 RSA加密算法。

2. SeverHello

服务器收到客户端请求后，向客户端发出响应，也就是 SeverHello。服务器回应的内容有如下内容：

  • 确认SSL/ TLS 协议版本，如果浏览器不支持，则关闭加密通信。

  • 服务器生产的随机数（Server Random），后面用于生产会话秘钥。

  • 确认的密码套件列表，如 RSA 加密算法。

  • 服务器的数字证书。

3.客户端回应

客户端收到服务器的回应之后，首先通过浏览器或者操作系统中的 CA 公钥，确认服务器的数字证书的真实性。如果证书没有问题，客户端会从数字证书中取出服务器的公钥，然后使用它加密报文，向服务器发送如下信息：

  • 一个随机数（pre-master key）。该随机数会被服务器公钥加密。

  • 加密通信算法改变通知，表示随后的信息都将用会话秘钥加密通信。

  • 客户端握手结束通知，表示客户端的握手阶段已经结束。这一项同时把之前所有内容的发生的数据做个摘要，用来供服务端校验。

上面第一项的随机数是整个握手阶段的第三个随机数，这样服务器和客户端就同时有三个随机数，接着就用双方协商的加密算法，各自生成本次通信的会话秘钥。

4. 服务器的最后回应

服务器收到客户端的第三个随机数（pre-master key）之后，通过协商的加密算法，计算出本次通信的会话秘钥。然后，向客户端发生最后的信息：

  • 加密通信算法改变通知，表示随后的信息都将用会话秘钥加密通信。

  • 服务器握手结束通知，表示服务器的握手阶段已经结束。这一项同时把之前所有内容的发生的数据做个摘要，用来供客户端校验。

至此，整个 SSL/TLS 的握手阶段全部结束。接下来，客户端与服务器进入加密通信，就完全是使用普通的 HTTP协议，只不过用会话秘钥加密内容。

HTTP/1.1、HTTP/2、HTTP/3演变

HTTP/1.1 相比 HTTP/1.0性能上的改进：

  • 使用 TCP 长连接的方式改善了HTTP/1.0 短连接造成的性能开销。
  • 支持管道（pipeline）网络传输，只要第一个请求发出去了，不必等其回来，就可以发第二个请求出去，可以减少整体的响应时间。

存在的性能瓶颈：

  • 请求 / 响应头部（Header）未经压缩就发送，首部信息越多延迟越大。只能压缩 Body 的部分
  • 发送冗长的首部。每次互相发送相同的首部造成的浪费较多
  • 服务器是按请求的顺序响应的，如果服务器响应慢，会招致客户端一直请求不到数据，也就是队头阻塞
  • 没有请求优先级控制
  • 请求只能从客户端开始，服务器只能被动响应。

HTTP/2的优化

HTTP/2协议是基于 HTTPS 的，所以 HTTP/2 的安全性也是有保障的。

那 HTTP/2 相比 HTTP/1.1 性能上的改进：

1. 头部压缩

HTTP/2 会压缩头（Header）,如果同时发出多个请求，他们的头是一样的或是相似的，那么，协议会帮助消除重复的部分。使用的是 HPACK 算法：在客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，以后就不发送同样字段了，只发送索引号，这样就提高速度了。

2. 二进制格式

HTTP/2不再像HTTP/1.1里的纯文本形式的报文，而是全面采用了二进制格式。

头信息和数据体都是二进制，并且统称为帧（frame）：头信息帧和数据帧。

因为计算机只懂二进制，那么收到报文后，无需再将明文的报文转成二进制，而是直接解析二进制报文，这增加了数据传输的效率。

3. 数据流

HTTP/2 的数据包不是按顺序发送的，同一个连接里面连续的数据包，可能属于不同的回应。因此，必须要对数据包做标记，指出它属于哪个回应。

每个请求或回应的所有数据包，称为一个数据流（Stream）。

每个数据流都标记着一个独一无二的编号，其中规定客户端发出的数据流编号为奇数， 服务器发出的数据流编号为偶数

客户端还可以指定数据流的优先级。优先级高的请求，服务器就先响应该请求。

4. 多路复用

HTTP/2是可以在一个连接中并发多个请求或回应，而不用按照顺序一一对应。

移除了 HTTP/1.1 中的串行请求，不需要排队等待，也就不会再出现队头阻塞问题，降低了延迟，大幅度提高了连接的利用率。

举例来说，在一个 TCP 连接里，服务器收到了客户端 A 和 B 的两个请求，如果发现 A 处理过程非常耗时，于是就回应 A 请求已经处理好的部分，接着回应 B 请求，完成后，再回应 A 请求剩下的部分。

5. 服务器推送

HTTP/2还在一定程度上改善了传统的请求 - 应答工作模式，服务不再是被动地响应，也可以主动向客户端发送消息。

举例来说，在浏览器刚请求 HTML 的时候，就提前把可能会用到的 JS、CSS 文件等静态资源主动发给客户端，减少延时的等待，也就是服务器推送（Server Push，也叫 Cache Push）。

HTTP/2的缺陷

多个HTTP 请求在复用一个 TCP 连接，下层的 TCP 协议是不知道有多少个 HTTP 请求的。

所以一旦发生了丢包现象，就会触发 TCP 的重传机制，这样在一个 TCP 连接中的所有的 HTTP 请求都必须等待这个丢了的包被重传回来。

  • HTTP/1.1 中的管道（ pipeline）传输中如果有一个请求阻塞了，那么队列后请求也统统被阻塞住了
  • HTTP/2 多请求复用一个TCP连接，一旦发生丢包，就会阻塞住所有的 HTTP 请求。

这都是基于TCP 传输层的问题，所以 HTTP/3 把 HTTP 下层的 TCP 协议改成了 UDP！

UDP是不可靠传输的，但基于 UDP 的 QUIC 协议 可以实现类似 TCP 的可靠性传输。

  • QUIC有自己的一套机制可以保证传输的可靠性的。当某个流发生丢包时，只会阻塞这个流，其他流不会受到影响。
  • TL3 升级成了最新的 1.3 版本，头部压缩算法也升级成了 QPack。
  • HTTPS 要建立一个连接，要花费 6 次交互，先是建立三次握手，然后是 TLS/1.3 的三次握手。QUIC 直接把以往的 TCP 和 TLS/1.3 的 6 次交互合并成了 3 次，减少了交互次数。

quic

所以， QUIC 是一个在 UDP 之上的伪 TCP + TLS + HTTP/2 的多路复用的协议。

参考

https://mp.weixin.qq.com/s/bUy220-ect00N4gnO0697A