Linux | 删除大量文件指令--rsync
rsync的安装
rsync安装,有些系统默认安装有该命令
ubuntu系统
sudo apt-get install rsync
centos系统
sudo yum install rsync
rsync参数详解
rsync提供了一些跟删除有关的参数
rsync --help | grep delete
-del an alias for --delete-during
--delete delete extraneous files from destination dirs
--delete-before receiver deletes before transfer, not during
--delete-during receiver deletes during transfer (default)
--delete-delay find deletions during, delete after
--delete-after receiver deletes after transfer, not during
--delete-excluded also delete excluded files from destination dirs
--ignore-errors delete even if there are I/O errors
--max-delete=NUM don't delete more than NUM files
其中--delete-before接收者在传输之前进行删除操作
快速删除大量文件
假如你要在linux下删除大量文件,比如100万、1000万,像/var/spool/clientmqueue/的mail邮件,/usr/local/nginx/proxy_temp的nginx缓存等,那么rm -rf *可能就不好使了。 rsync 可以用来清空目录或文件
先建立一个空目录
mkdir empty
用rsync删除目标目录, 自定义目录是empty , 要删除的目标目录是cdf_tmp
$ rsync--delete-before -d empty/ cdf_tmp/
注:其中–delete-before 接收者在传输之前进行删除操作
快速删除大文件方法
创建一个空文件
$ touch /data/blank.txt
用rsync清空文件
$ rsync-a --delete-before --progress --stats /root/blank.txt /root/nohup.out
为什么rsync能够快速删除大文件?
1)rm命令大量调用了lstat64和unlink,可以推测删除每个文件前都从文件系统中做过一次lstat操作。过程:正式删除工作的第一阶段,需要通过getdirentries64调用,分批读取目录(每次大约为4K),在内存中建立rm的文件列表;第二阶段,lstat64确定所有文件的状态;第三阶段,通过unlink执行实际删除。这三个阶段都有比较多的系统调用和文件系统操作。
2)rsync所做的系统调用很少:没有针对单个文件做lstat和unlink操作。命令执行前期,rsync开启了一片共享内存,通过mmap方式加载目录信息。只做目录同步,不需要针对单个文件做unlink。
rm的上下文切换比较多,会造成System CPU占用较多——对于文件系统的操作,简单增加并发数并不总能提升操作速度。
总结:频繁做减法不如直接从头来过
把文件系统的目录与书籍的目录做类比,rm删除内容时,将目录的每一个条目逐个删除(unlink),需要循环重复操作很多次;rsync删除内容时,建立好新的空目录,替换掉老目录,基本没开销。
--完--
- 原文作者: 留白
- 原文链接: https://zfunnily.github.io/2020/10/linux%E7%B3%BB%E7%BB%9F%E5%88%A0%E9%99%A4%E5%A4%A7%E9%87%8F%E6%96%87%E4%BB%B6%E6%8C%87%E4%BB%A4--rsync/
- 更新时间:2024-04-16 01:01:05
- 本文声明:转载请标记原文作者及链接