By

Contents
  1. 1. 来源
  2. 2. 缓存机制介绍
  3. 3. 内存统计命令
  4. 4. 本文完

来源

由于将NM的内存比例调成5，使得yarn-client模式可以执行任务，任务结束后，内存没有释放，free -m与 ps -auf统计的数值差别较大，于是查看具体原因

缓存机制介绍

为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。
缓存机制优点：减少系统调用次数，降低CPU上下文切换和磁盘访问频率。

内存统计命令

cat /proc/meminfo
free -g
#根据程序占用进行内存统计,与上两命令差别在于缓存未统计
ps aux | awk '{mem += $6} END {print mem/1024/1024}'
#查看进程的缓存
slabtop --sort=c
#清理缓存
#释放pagecache
echo 1 >/proc/sys/vm/drop_caches
##释放dentries和inodes
echo 2 >/proc/sys/vm/drop_caches
#释放pagecache、dentries和inodes
echo 3 >/proc/sys/vm/drop_caches

本文完

Contents
  1. 1. 来源
  2. 2. 缓存机制介绍
  3. 3. 内存统计命令
  4. 4. 本文完