缓存
最后更新于
最后更新于
为了方便记忆,网站都是注册了一个域名,通过域名来访问网站。访问网站内容,实际是通过访问 IP 地址实现的,所以在域名和 IP 之前存在一种对应关系,而域名解析服务器即 DNS 服务器则完成将域名翻译成 IP 地址的任务。
为了增加访问效率,计算机有域名缓存机制,当访问过某个网站并得到其 IP 后,会将其域名和 IP 缓存下来,下一次访问的时候,就不需要再请求域名服务器获取 IP,直接使用缓存中的 IP,提高了响应的速度。当然缓存是有有效时间的,当过了有效时间后,再次请求网站,还是需要先请求域名解析。
但是域名缓存机制也可能会带来麻烦。例如 IP 已变化了,仍然使用缓存中的 IP 来访问,将会访问失败。再如 同一个域名在内网和外网访问时所对应的 IP 是不同的,如在外网访问时通过外网 IP 映射到内网的 IP。同一台电脑在外网环境下访问了此域名,再换到内网来访问此域名,在 DNS 缓存的作用下,也会去访问外网的 IP,导致访问失败。根据情况,可以手动清除 DNS 缓存或者禁止 DNS 缓存机制。
浏览器首次请求发起一个 http/https 请求,读取服务器的资源。服务端设置响应 header(cache-control
、Expires
、last-modified
、Etag
)给浏览器。其中cache-control
、Expires
属于强缓存,last-modified
、Etag
属于对比缓存(协商缓存)。
当浏览器再次请求时,会先检查缓存。首先检查强缓存,如果强缓存命中,则不会向服务器发送请求,而是直接使用缓存中的数据。如果强缓存已经过期,则向服务器请求并带上第一次响应和缓存相关的 header。如果协商缓存命中,服务器返回 304,表示请求的资源没有修改,可以继续使用。如果协商缓存未命中,服务器返回 200,表示资源已经改变,返回的数据是最新版本的资源。
强缓存是利用 http 头中的Expires
和Cache-Control
两个字段来控制的,用来表示资源的缓存时间。
Expires 是 http1.0 的规范,它的值是一个绝对时间的 GMT 格式的时间字符串。如我现在这个网页的 Expires 值是:expires:Fri, 14 Apr 2017 10:47:02 GMT。这个时间代表这这个资源的失效时间,只要发送请求时间是在 Expires 之前,那么本地缓存始终有效,则在缓存中读取数据。所以这种方式有一个明显的缺点,由于失效的时间是一个绝对时间,所以当服务器与客户端时间偏差较大时,就会导致缓存混乱。如果同时出现 Cache-Control:max-age 和 Expires,那么 max-age 优先级更高。
Cache-Control 是在 http1.1 中出现的,主要是利用该字段的 max-age 值来进行判断,它是一个相对时间,例如 Cache-Control:max-age=3600,代表着资源的有效期是 3600 秒。cache-control 除了该字段外,还有下面几个比较常用的设置值:
no-cache:不使用本地缓存。需要使用缓存协商,先与服务器确认返回的响应是否被更改,如果之前的响应中存在 ETag,那么请求的时候会与服务端验证,如果资源未被更改,则可以避免重新下载。
no-store:直接禁止游览器缓存数据,每次用户请求该资源,都会向服务器发送一个请求,每次都会下载完整的资源。
public:可以被所有的用户缓存,包括终端用户和 CDN 等中间代理服务器。
private:只能被终端用户的浏览器缓存,不允许 CDN 等中继缓存服务器对其缓存。Cache-Control 与 Expires 可以在服务端配置同时启用,同时启用的时候 Cache-Control 优先级高。
协商缓存就是由服务器来确定缓存资源是否最新,所以客户端与服务器端要通过某种标识来进行通信,从而让服务器判断请求资源是否可以缓存访问。
普通刷新会启用弱缓存,忽略强缓存。只有在地址栏或收藏夹输入网址、通过链接引用资源或者强制刷新等情况下,浏览器才会启用强缓存,这也是为什么有时候我们更新一张图片、一个 js 文件,页面内容依然是旧的,但是直接浏览器访问那个图片或文件,看到的内容却是新的。
两对字段可以单独/同时使用,同时使用时服务器会优先验证 ETag。
Etag/If-None-Match 返回的是一个校验码。ETag 可以保证每一个资源是唯一的,资源变化都会导致 ETag 变化。服务器根据浏览器上送的 If-None-Match 值来判断是否命中缓存。
与 Last-Modified 不一样的是,当服务器返回 304 Not Modified 的响应时,由于 ETag 重新生成过,response header 中还会把这个 ETag 返回,即使这个 ETag 跟之前的没有变化。
浏览器第一次请求一个资源的时候,服务器返回的 header 中会加上 Last-Modify,Last-modify 是一个时间标识该资源的最后修改时间,例如 Last-Modify: Thu,31 Dec 2037 23:59:59 GMT。
当浏览器再次请求该资源时,request 的请求头中会包含 If-Modify-Since,该值为缓存之前返回的 Last-Modify。服务器收到 If-Modify-Since 后,根据资源的最后修改时间判断是否命中缓存。
如果命中缓存,则返回 304,并且不会返回资源内容,并且不会返回 Last-Modify。
Last-Modified 比较难解决的问题:
一些文件也许会周期性的更改,但是他的内容并不改变(仅仅改变的修改时间),这个时候我们并不希望客户端认为这个文件被修改了,而重新 GET;
某些文件修改非常频繁,比如在秒以下的时间内进行修改,(比方说 1s 内修改了 N 次),If-Modified-Since 能检查到的粒度是 s 级的,这种修改无法判断(或者说 UNIX 记录 MTIME 只能精确到秒);
某些服务器不能精确的得到文件的最后修改时间。
变量
JavaScript 语言自身只有字符串数据类型,没有二进制数据类型。但在处理像 TCP 流或文件流时,必须使用到二进制数据。因此在 Node.js 中,定义了一个 Buffer 类,该类用来创建一个专门存放二进制数据的缓存区。
Buffer 对象占用的内存空间是不计算在 Node.js 进程内存空间限制上的,所以可以用来存储大对象,但是对象的大小还是有限制的。一般情况下 32 位系统大约是 1G,64 位系统大约是 2G。
将请求地址作为文件名,当再次请求时,先去检查缓存文件夹下有无此文件,如果有,则返回文件的内容;如果没有,则将这次返回的数据存入磁盘。
Memcached 是一个自由开源的,高性能,分布式内存对象缓存系统,只要安装了 libevent 即可使用。Memcached 是一种基于内存的 key-value 存储,用来存储小块的任意数据(字符串、对象)。
Remote Dictionary Server(Redis) 是一个 key-value 存储系统。Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。它通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Hash), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。
Redis 不仅仅支持简单的 k/v 类型的数据,同时还提供 list,set,zset,hash 等数据结构的存储。
Redis 支持数据的备份,即 master-slave 模式的数据备份。
Redis 支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。
在 Redis 中,并不是所有的数据都一直存储在内存中的。这是和 Memcached 相比一个最大的区别。Redis 只会缓存所有的 key 的信息,如果 Redis 发现内存的使用量超过了某一个阀值,将触发 swap 的操作,Redis 根据swappability = age*log(size_in_memory)
计 算出哪些 key 对应的 value 需要 swap 到磁盘。然后再将这些 key 对应的 value 持久化到磁盘中,同时在内存中清除。这种特性使得 Redis 可以保持超过其机器本身内存大小的数据。当然,机器本身的内存必须要能够保持所有的 key,毕竟这些数据是不会进行 swap 操作的。同时由于 Redis 将内存 中的数据 swap 到磁盘中的时候,提供服务的主线程和进行 swap 操作的子线程会共享这部分内存,所以如果更新需要 swap 的数据,Redis 将阻塞这个 操作,直到子线程完成 swap 操作后才可以进行修改。
Memcached 是多线程,非阻塞 IO 复用的网络模型,分为监听主线程和 worker 子线程,引入了 cache coherency 和锁的问题,比如,Memcached 最常用的 stats 命令,实际 Memcached 所有操作都要对这个全局变量加锁,进行计数等工作,带来了性能损耗。Redis 使用单线程的 IO 复用模型,自己封装了一个简单的 AeEvent 事件处理框架,主要实现了 epoll、kqueue 和 select,对于单纯只有 IO 操作来说,单线程可以将速度优势发挥到最大,但是 Redis 也提供了一些简单的计算功能,比如排序、聚合等,对于这些操作,单线程模型实际会严重影响整体吞吐量,CPU 计算过程中,整个 IO 调度都是被阻塞住的。
Memcached 使用预分配的内存池的方式,使用 slab 和大小不同的 chunk 来管理内存,Item 根据大小选择合适的 chunk 存储,内存池的方式可以省去申请/释放内存的开销,并且能减小内存碎片产生,但这种方式也会带来一定程度上的空间浪费,并且在内存仍然有很大空间时,新的数据也可能会被剔除。Redis 使用现场申请内存的方式来存储数据,并且很少使用 free-list 等方式来优化内存分配,会在一定程度上存在内存碎片,Redis 跟据存储命令参数,会把带过期时间的数据单独存放在一起,并把它们称为临时数据,非临时数据是永远不会被剔除的,即便物理内存不够,导致 swap 也不会剔除任何非临时数据(但会尝试剔除部分临时数据),这点上 Redis 更适合作为存储而不是 cache。
服务器缓存是把页面缓存到服务器上的硬盘里,而浏览器缓存是把页面缓存到用户自己的电脑里
用户 1 访问 A 页面,服务器解析 A 页面返回给用户 1,同时在服务器内存上做一定映射,把 A 页面缓存在硬盘上面
用户 2 访问 A 页面,服务器直接根据内存上的映射找到对应的页面缓存,直接返回给用户 2,这样就减少了服务器对同一页面的重复解析
apache
nginx
squid