您的当前位置:首页 > 热点 > 一篇关于HDFS的快照讲解 正文
时间:2026-11-14 来源:网络整理 编辑:热点
谷歌霸屏服务【tg:seogoogle987】
一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像,使用vmware类似软件的同学指定,快照可以为虚拟机保存某个状态,如果做了更改,或者系统被折腾坏,还有个复原的操作。
快照应用在如下场景中:
防止用户的错误操作; 备份:给hdfs目录做快照,然后复制快照里面的文件到备份; 试验/测试 灾难恢复 HDFS的快照操作
这里测一篇试的Hadoop3.0版本,也是我的线上版本。
开启快照 hdfs dfsadmin -allowSnapshot /data/test/test_snapshot [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/t关于est/test_snapshot -rw-r--r-- 2 hdfs supergroup 88 2021-10-08 16:59 /dHData/test/test_snapshot/ods_user1.txt
这里开启目录/data/test/test_snapshot快照功能,该目录当前有一个文件ods_user1.txt。
创建快照
给目录/data/test/test_snapshot创建了一个快照,名为backup01。
hdfs dfs -FScreateSnapshot /data/test/test_snapshot backup01 [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot/backup01&的快nbsp;Found 1 items -rw-r--r-- 2 hdfs supergroup 88 2021-10-08 16:59&照讲nbsp;/data/test/test_snapshot/.snapshot/backup01/ods_user1.txt
可以看到实际上是在开启快照的目录下新建了一个文件夹.snapshot,下面有个目录backup01,里面有一个文件,相当于复制了一份文件。
查看快照
hdfs lsSnapshottableDi一篇r
再上传一个文件
hdfs dfs -put data/urls.txt /data/test/test_snapshot
再创建一个快照
hdfs dfs -createSnapshot /data/test/test_snapshot 关于backup02
这里又新建了一个快照backup02,.snapshot下面有两个目录,分别是backup01和backup02。
[hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot FHDound 3 items drwxr-xr-x - hdfs supergroup 0 2021-10-08 17FS:04 /data/test/test_snapshot/.snapshot/backup01 drwxr-xr-x - hdfs supergroup &nbs的快p;0 2021-10-08 17:12 /data/test/test_snapshot/.snapshot/backup02
对比快照
因为后来又上传了一个文件,所以快照backup02下面有2个文件了,比backup01多一个文件urls.txt。
[hdfs@cdh-003 ~]$&n照讲bsp;hdfs snapshotDiff /data/test/test_snapshot backup01 backup02 Difference between snapshot backup01 and snapshot b一篇ackup02 under directory /data/test/test_snapshot: M . + ./urls.txt
恢复快照如果不小心把文件删除了,这个文件就被移动到回收站(如果开启了回收站),如果回收站到期清理了或者没有开启回关于收站,这个时候快照的作用就发挥出来了,直接cp过去。
hdfs dfs -cp /data/test/test_snapshot/.snapshot/backup01/ods_user1.txt /data/test/test_snapshot
如何三步搭建一套声纹系统2026-09-30
多西放手Twitter:双重CEO结束铁人经历2026-06-19
百度发布全球首个全端通用智能体GenFlow2.0生成速度超同类产品10倍2026-05-29
安卓首发:荣耀 YOYO 率先接入 DeepSeek-V4 大模型2026-08-21
标签: 戴尔科技 AI服务器 财报 2026财年2026-06-01
标签: 太美医疗科技 Trials Wiz.AI PharmaOS2026-08-23
Facebook因算法漏洞连推糟糕内容 一直持续半年2026-09-14
人机融合为什么这么难?2026-06-24
云安全日报210408:思科小型企业路由器发现执行任意代码漏洞,需要尽快升级2026-06-16
AI如何超越人类修图师?万字长文看懂美图云修AI修图解决方案2026-06-20
会说话的头像!新框架LipSync3D,未来或实现动态口型再同步2026-07-14
云计算核心技术Docker教程:Docker 跨链接通信2026-10-17
云安全日报210122:华为云虚拟化平台发现远程代码执行漏洞,需要尽快升级2026-09-10
标签: 吐司 腾讯 vibe coding 应用生成2026-06-30
Nous Research 发布 Hermes 4 AI 模型,超越 ChatGPT 并无内容限制2026-09-12
标签: Meta Reality Labs 元宇宙 AI2026-05-23
Argo Rollouts 基于 Analysis 的渐进式发布2026-10-06
MIT发明一款计算机系统,可自动设计机器人结构,获得25年来最高成就2026-08-04