Linux 中的内存(cache,buffer,swap)

作者 : 开心源码 本文共2746个字,预计阅读时间需要7分钟 发布时间: 2022-05-13 共254人阅读

在Linux系统中,为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找能否有请求的数据,有就直接返回,假如没有则通过驱动程序直接操作磁盘。

内存查看

当我们使用 free -h 命令时,会显示如下的信息

              total        used        free      shared  buff/cache   availableMem:            15G        1.0G        9.3G        1.9M        5.4G         14GSwap:            0B          0B          0B

total:内存总数;
used:已经使用的内存数;
free:空闲的内存数;
shared:当前已经废弃不用;
buff/cache:缓存内存数;

关系:total = used + free
Swap用途:Swap意思是交换分区,通常我们说的虚拟内存,是从硬盘中划分出的一个分区。当物理内存不够用的时候,内核就会释放缓存区(buffers/cache)里少量长时间不用的程序,而后将这些程序临时放到Swap中,也就是说假如物理内存和缓存区内存不够用的时候,才会用到Swap。

swap清除:swapoff -a && swapon -a

cache && buffer

cache

缓存(cached)是把读取过的数据保存起来,重新读取时若命中(找到需要的数据)就不要去读硬盘了,若没有命中就读硬盘。其中的数据会根据读取频率进行组织,把最频繁读取的内容放在最容易找到的位置,把不再读的内容不断往后排,直至从中删除。

Cache并不是缓存文件的,而是缓存块的(块是I/O读写最小的单元);Cache一般会用在I/O请求上,假如多个进程要访问某个文件,可以把此文件读入Cache中,这样下一个进程获取CPU控制权并访问此文件直接从Cache读取,提高系统性能。

Cache 作用域在于 Cpu 与内存之间

buffer

缓冲(buffers)是根据磁盘的读写设计的,把分散的写操作集中进行,减少磁盘碎片和硬盘的反复寻道,从而提高系统性能。当存储速度快的设施与存储速度慢的设施进行通信时,存储慢的数据先把数据存放到buffer,达到肯定程度存储快的设施再读取buffer的数据,在此期间存储快的设施CPU可以干其余的事情。

linux有一个守护进程定期清空缓冲内容(即写入磁盘),也可以通过sync命令手动清空缓冲。

修改/etc/sysctl.conf中的vm.swappiness右边的数字可以在下次开机时调节swap使用策略。该数字范围是0~100,数字越大越倾向于使用swap。默认为60,可以改一下试试。–两者都是RAM中的数据。

cache vs buffer

cache最初用于cpu cache,主要起因是cpu 与memory,因为cpu快,memory跟不上,且有些值使用次数多,所以放入cache中,主要目的是,重复使用,并且一级\二级物理cache速度快,

buffer主要用于disk与 memory,主要是保护硬盘或者减少网络传输的次数(内存数据体现dataSet).当然也可以提高速度(不会立即写入硬盘或者直接从硬盘中读出的数据马上显示),重复使用,最初最主要的目的是保护disk。

cache 也可以用于写,buffer 也可以用于读,两者并未有实实在在显著的界限。

swap

除了以上两种,linux 还引入了 swap 技术,swap的作用相似Windows系统下的“虚拟内存”。当物理内存不足时,拿出部分硬盘空间当SWAP分区(虚拟成内存)使用,从而处理内存容量不足的情况。

当程序向OS请求内存资源时,OS发现内存不足,则会把内存中暂时不用的数据交换出去,放在SWAP分区中,这个过程称为SWAP OUT。当程序又需要这些数据且OS发现还有空闲物理内存时,又会把SWAP分区中的数据交换回物理内存中,这个过程称为SWAP IN。

那么我们在使用 docker 和 K8s 的时候,为什么要关闭 swap 特性呢?主要还是希望获取更高的性能。kubernetes的思想是将实例紧密打包为尽可能接近100%的利用率。所有部署都应固定有CPU /内存限制。因而,假如调度程序将Pod发送到计算机,则绝对不要使用swap。

手动清除释放

释放缓存区内存的方法
1)清除pagecache(页面缓存)

echo 1 > /proc/sys/vm/drop_caches# 或者者sysctl -w vm.drop_caches=1

2)清除dentries(目录缓存)和inodes

echo 2 > /proc/sys/vm/drop_caches     #或者者 sysctl -w vm.drop_caches=2

3)清除pagecache、dentries和inodes

echo 3 > /proc/sys/vm/drop_caches     #或者者 sysctl -w vm.drop_caches=3``` 上面三种方式都是临时释放缓存的方法,要想永久释放缓存,需要在`/etc/sysctl.conf`文件中配`置:

vm.drop_caches=1/2/3

而后`sysctl -p`生效另外,可以使用`sync`命令来清除文件系统缓存,还会清除僵尸(zombie)对象和它们占用的内存## 值得一提上面操作在大多数情况下都不会对系统造成伤害,只会有助于释放不用的内存。但是假如在执行这些操作时正在写数据,那么实际上在数据到达磁盘之前就将它从文件缓存中清理掉了,这可能会造成很不好的影响。  那么假如避免这种事情发生呢?因而,这里不得不提一下`/proc/sys/vm/vfs_cache_pressure`这个文件,告诉内核,当清除`inoe/dentry`缓存时应该用什么样的优先级。```bash> cat /proc/sys/vm/vfs_cache_pressure100

vfs_cache_pressure=100 这个是默认值,内核会尝试重新公告dentries和inodes,并采用一种相对于页面缓存和交换缓存比较”正当”的比例。

减少vfs_cache_pressure的值,会导致内核倾向于保留dentry和inode缓存。
添加vfs_cache_pressure的值,(即超过100时),则会导致内核倾向于重新公告dentries和inodes

总之,vfs_cache_pressure的值:
小于100的值不会导致缓存的大量减少
超过100的值则会告诉内核你希望以高优先级来清除缓存。

其实无论vfs_cache_pressure的值采用什么值,内核清除缓存的速度都是比较低的。
假如将此值设置为10000,系统将会将缓存减少到一个正当的水平。
假如喜欢,请关注我的公众号,或者者查看我的博客 http://packyzbq.coding.me. 我会不定时的发送我自己的学习记录,大家互相学习交流哈~

weixin

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Linux 中的内存(cache,buffer,swap)

发表回复