linux下free命令详解，buffer 和 cache 的区别

linux下想查看内存的使用情况，可使用free命令。

free 命令显示系统内存的使用情况，包括物理内存、交换内存(swap)和内核缓冲区内存。

加上 -h 选项，输出的结果会友好很多。

有时需要持续的观察内存的状况，可以使用 -s 选项并指定间隔的秒数：

$ free -h -s 3

上面的命令每隔 3 秒输出一次内存的使用情况，直到按下 ctrl + c。

free 命令本身比较简单，看一下这些基本概念：

第一列
Mem 内存的使用信息
Swap 交换空间的使用信息

第一行
total 系统总的可用物理内存大小
used 已被使用的物理内存大小
free 还有多少物理内存可用
shared 被共享使用的物理内存大小
buff/cache 被 buffer 和 cache 使用的物理内存大小
available 还可以被 应用程序 使用的物理内存大小

第二行
total 系统总的交换空间大小

used 已被使用的交换空间

free 还有多少交换空间可用

重点了解下buff/cache

从字面上和语义来看，buffer（buffer cache）名为缓冲，cache（page cache）名为缓存。buffer 和 cache 应该是两种类型的内存，但是 free 命令为什么会把它们放在一起呢？要回答这个问题需要搞清楚 buffer 与 cache 的含义。先从专业的角度理解：

buffer 为 "缓冲区"。要理解缓冲区，要明确另外两个概念："扇区" 和 "块"。

扇区是设备的最小寻址单元，也叫 "硬扇区" 或 "设备块"。

块是操作系统中文件系统的最小寻址单元，也叫 "文件块" 或 "I/O 块"。

每个块包含一个或多个扇区，但大小不能超过一个页面，所以一个页可以容纳一个或多个内存中的块。当一个块被调入内存时，它要存储在一个缓冲区中。每个缓冲区与一个块对应，它相当于是磁盘块在内存中的表示。

buffer只有块的概念而没有文件的概念，它只是把磁盘上的块直接搬到内存中而不关心块中究竟存放的是什么格式的文件。

cache 为 "页高速缓存"。页高速缓存是内核实现的磁盘缓存。它主要用来减少对磁盘的 I/O 操作。具体地讲，是通过把磁盘中的数据缓存到物理内存中，把对磁盘的访问变为对物理内存的访问。页高速缓存缓存的是内存页面。

缓存中的页来自对普通文件、块设备文件(这个指的就是 buffer cache 呀)和内存映射文件的读写。

页高速缓存对普通文件的缓存我们可以这样理解：当内核要读一个文件(比如 /etc/hosts)时，它会先检查这个文件的数据是不是已经在页高速缓存中了。如果在，就放弃访问磁盘，直接从内存中读取。这个行为称为缓存命中。如果数据不在缓存中，就是未命中缓存，此时内核就要调度块 I/O 操作从磁盘去读取数据。然后内核将读来的数据放入页高速缓存中。这种缓存的目标是文件系统可以识别的文件(比如 /etc/hosts)。

页高速缓存对块设备文件的缓存就是我们在前面介绍的 buffer。因为独立的磁盘块通过缓冲区也被存入了页高速缓存(缓冲区最终是由页高速缓存来承载的)。

到这里我们应该搞清楚了：无论是缓冲区还是页高速缓存，它们的实现方式都是一样的。缓冲区只不过是一种概念上比较特殊的页高速缓存罢了。

那么为什么 free 命令不直接称为 cache 而非要写成 buff/cache？ 这是因为缓冲区和页高速缓存的实现并非天生就是统一的。在 linux 内核 2.4 中才将它们统一。更早的内核中有两个独立的磁盘缓存：页高速缓存和缓冲区高速缓存。前者缓存页面，后者缓存缓冲区。当你知道了这些故事之后，输出中列的名称可能已经不再重要了。

上面对buff/cache的介绍来自https://www.cnblogs.com/ultranms/p/9254160.html

对计算机硬件的陌生，很难理解上面的说明。我们再从通俗易懂的举例中了解下buffer 与 cache 的含义：

我们知道各种硬件存在制作工艺上的差别，所以当两种硬件需要交互的时候，肯定会存在速度上的差异，而且只有交互双方都完成才可以各自处理别的其他事务。

假如现在有两个需要交互的设备A和B，A设备用来交互的接口速率为1000M/s（A快），B设备用来交互的接口速率为500M/s（B慢），那他们彼此访问的时候都会出现以下两种情况：（以A来说）

1、A从B取一个1000M的文件结果需要2秒，A本来需要1秒就可以完成的工作，却额外多等待1秒。B设备要把剩余的500M找出来，这等待B取出剩下500M的空闲时间内(1秒)A其他的事务还干不了。

2、A给B一个1000M的文件结果也需要2秒，A本来需要1秒就可以完成的工作，却由于B1秒内只能拿500M，剩下的500M还得等下一个1秒来取，这等待下1秒的时间A还做不了其他事务。

那有什么方法既可以让A在‘取’或‘给’B的时候既能完成目标任务又不浪费1秒的等待时间去处理其他事务呢？我们知道产生这种结果主要是因为B跟不上A的节奏，但即使这样A也得必须等B处理完本次事务才能干其他活（单核cpu来说），除非你有三头六臂。那有小伙伴可能会问了，能不能在A和B之间加一层区域比如说ab，让ab既能跟上A的频率也会照顾B的感受。没错我们确实可以这样设计来磨合接口速率上的差异，你可以这样想象，在区域ab提供了两个交互接口一个是a接口另一个是b接口，a接口的速率接近A，b接口的速率最少等于B，然后我们把ab的a和A相连，ab的b和B相连，ab就像一座桥把A和B链接起来，并告知A和B通过它都能转发给对方，文件可以暂时存储，最终拓扑大概如下：

现在我们再来看这两种情况：

1、当A从B取一个1000M的文件，他把需求告诉了ab，接下来ab通过b和B进行文件传送，由于B本身的速率，传送第一次ab并没有什么卵用，对A来说不仅浪费了时间还浪费了感情，ab这家伙很快感受到了A的不满，所以在第二次传送的时候，ab背着B偷偷缓存了一个一模一样的文件，而且只要从B取东西，ab都会缓存一个拷贝下来放在自己的大本营，如果下次A或者其他C来取B的东西，ab直接就给A或C一个货真价实的赝品，然后把它通过a接口给了A或C，由于a的速率相对接近A的接口速率，所以A觉得不错为他省了时间，最终和ab的a成了好基友，说白了此时的ab提供的就是一种缓存能力，即cache，它存在的目的适用于当速度快的 读取 速度慢的数据。在这种工作模式下，怎么取得的东西是最新的也是我们需要考虑的，一般就是清cache。例如cpu读取内存数据，硬盘一般都提供一个内存作为缓存来增加系统的读取性能。

2、当A发给B一个1000M的文件，因为A知道通过ab的a接口就可以转交给B，而且通过a接口要比通过B接口传送文件需要等待的时间更短，所以1000M通过a接口给了ab ，站在A视图上他认为已经把1000M的文件给了B，但对于ab并不立即交给B，而是先缓存下来，除非B执行sync命令，即使B马上要，但由于b的接口速率最少大于B接口速率，所以也不会存在漏洞时间，但最终的结果是A节约了时间就可以干其他的事务，ab此时提供的就是一种缓冲的能力，即buffer，它存在的目的适用于当速度快的 写入 速度慢的数据。例如内存的数据要写到磁盘，cpu寄存器里的数据写到内存。

看了上面这个例子，那我们现在看一下在计算机领域，在处理磁盘IO读写的时候，cpu，memory，disk基于这种模型给出的一个实例。我们先来一幅图：（我从别家当来的，我觉得，看N篇文档 不如瞄此一图）

cache（page cache）：文件系统层级的缓存，从磁盘里读取的内容是存储到这里，这样程序读取磁盘内容就会非常快，比如使用grep和find等命令查找内容和文件时，第一次会慢很多，再次执行就快好多倍，几乎是瞬间。但如上所说，如果对文件的更新不关心，就没必要清cache，否则如果要实施同步，必须要把内存空间中的cache clean下。

buffer（buffer cache）：磁盘等块设备的缓冲，内存的这一部分是要写入到磁盘里的。这种情况需要注意，位于内存buffer中的数据不是即时写入磁盘，而是系统空闲或者buffer达到一定大小统一写到磁盘中，所以断电易失，为了防止数据丢失所以我们最好正常关机或者多执行几次sync命令，让位于buffer上的数据立刻写到磁盘里。

总结：

    1.buffer和cache都是为了解决互访的两种设备存在速率差异，使磁盘的IO的读写性能或cpu更加高效，减少进程间通信等待的时间。

    2.buffer：缓冲区-用于存储速度不同步的设备或优先级不同的设备之间传输数据，通过buffer可以减少进程间通信需要等待的时间，当存储速度快的设备与存储速度慢的设备进行通信时，存储快的设备先把数据缓存到buffer上，等到系统统一把buffer上的数据写到速度慢的设备上。常见的有把内存的数据往磁盘进行写操作，这时你可以查看一下buffers。

    3.cache：缓存区-用于对读取速度比较严格，却因为设备间因为存储设备存在速度差异，而不能立刻获取数据，这时cache就会为了加速缓存一部分数据。常见的是CPU和内存之间的数据通信，因为CPU的速度远远高于主内存的速度，CPU从内存中读取数据需等待很长的时间，而Cache保存着CPU刚用过的数据或循环使用的部分数据，这时Cache中读取数据会更快，减少了CPU等待的时间，提高了系统的性能。

这部分内容来自：https://www.cnblogs.com/M18-BlankBox/p/5326484.html

free 与 available

在 free 命令的输出中，有一个 free 列，同时还有一个 available 列。这二者到底有何区别？
free 是真正尚未被使用的物理内存数量。

至于 available 就比较有意思了，它是从应用程序的角度看到的可用内存数量。

Linux 内核为了提升磁盘操作的性能，会消耗一部分内存去缓存磁盘数据，就是我们介绍的 buffer 和 cache。所以对于内核来说，buffer 和 cache 都属于已经被使用的内存。当应用程序需要内存时，如果没有足够的 free 内存可以用，内核就会从 buffer 和 cache 中回收内存来满足应用程序的请求。所以从应用程序的角度来说，available  = free + buffer + cache。请注意，这只是一个很理想的计算方式，实际中的数据往往有较大的误差。

交换空间(swap space)

swap space 是磁盘上的一块区域，可以是一个分区，也可以是一个文件。所以具体的实现可以是 swap 分区也可以是 swap 文件。当系统物理内存吃紧时，Linux 会将内存中不常访问的数据保存到 swap 上，这样系统就有更多的物理内存为各个进程服务，而当系统需要访问 swap 上存储的内容时，再将 swap 上的数据加载到内存中，这就是常说的换出和换入。交换空间可以在一定程度上缓解内存不足的情况，但是它需要读写磁盘数据，所以性能不是很高。

现在的机器一般都不太缺内存，如果系统默认还是使用了 swap 是不是会拖累系统的性能？理论上是的，但实际上可能性并不是很大。并且内核提供了一个叫做 swappiness 的参数，用于配置需要将内存中不常用的数据移到 swap 中去的紧迫程度。这个参数的取值范围是 0～100，0 告诉内核尽可能的不要将内存数据移到 swap 中，也即只有在迫不得已的情况下才这么做，而 100 告诉内核只要有可能，尽量的将内存中不常访问的数据移到 swap 中。在 ubuntu 系统中，swappiness 的默认值是 60。如果我们觉着内存充足，可以在 /etc/sysctl.conf 文件中设置 swappiness：

vm.swappiness=10

如果系统的内存不足，则需要根据物理内存的大小来设置交换空间的大小。具体的策略网上有很丰富的资料，这里笔者不再赘述。

/proc/meminfo 文件

其实 free 命令中的信息都来自于 /proc/meminfo 文件。/proc/meminfo 文件包含了更多更原始的信息，只是看起来不太直观：

$ cat /proc/meminfo

有兴趣的同学可以直接查看这个文件。

总结

free 命令是一个既简单又复杂的命令。简单是因为这个命令的参数少，输出结果清晰。说它复杂则是因为它背后是比较晦涩的操作系统中的概念，如果不清楚这些概念，即便看了 free 命令的输出也 get 不到多少有价值的信息。