【赵渝强老师】Hadoop HDFS的回收站和快照 Hadoop的HDFS除了最基本的上传数据和下载数据的功能以外还提供了很多高级特性用于方便使用和操作主要有回收站、快照、配额管理、安全模式、权限管理同时从Hadoop 3.x开始还提供了纠删码技术。视频讲解如下【赵渝强老师】Hadoop HDFS的回收站和快照下面分别介绍HDFS提供的回收站和快照。一、 HDFS的回收站在默认的情况下HDFS的回收站功能是关闭的。可以通过在core-site.xml中添加fs.trash.interval来配置时间阀值从而启用HDFS的回收站。例如propertynamefs.trash.interval/namevalue1440/value/property!-- 由于修改了HDFS的配置文件需要重启HDFS。 --启用回收站后当删除HDFS文件时其本质是将要删除的文件或者目录放入回收站对应的目录。例如当删除/input/data.txt文件时将看到如下的日志信息。2026-01-15 20:55:31,387 INFO fs.TrashPolicyDefault: Moved:hdfs://bigdata111:9000/input/data.txtto trash at: hdfs://bigdata111:9000/user/root/.Trash/Current/input/data.txt回收站里的文件可以快速恢复。但当回收站里文件的存放时间超过返个阈值就被彻底删除并且释放占用的数据块。例如在上面的设置中设置的时间阈值是1440分钟即一天的时间。下面列举了一些HDFS回收站的基本操作。1查看回收站。hdfs dfs-lsr/user/root/.Trash/Current2从回收站中恢复。hdfs dfs-cp/user/root/.Trash/Current/input/data.txt/input3清空回收站。hdfs dfs-expunge二、 HDFS的快照一个快照Snapshot是一个全部文件系统、或者某个目录在某一时刻的镜像。这里其实可以把HDFS的快照理解成是HDFS提供的一种备份机制。快照应用在以下场景中防止用户的错误操作备份试验/测试灾难恢复由于HDFS的快照功能是针对的目录因此需要首先使用HDFS的管理员命令开启目录的快照功能再使用HDFS的操作命令创建目录的快照。#与快照相关的HDFS管理命令[-allowSnapshot snapshotDir][-disallowSnapshot snapshotDir]#与快照相关的HDFS操作命令[-createSnapshot snapshotDir[snapshotName]][-deleteSnapshot snapshotDir snapshotName][-renameSnapshot snapshotDir oldName newName]下面通过具体的步骤来演示如何使用HDFS的快照。1开启/input目录的快照功能。hdfs dfsadmin-allowSnapshot/input2为/input目录创建第一个快照。hdfs dfs-createSnapshot/input bk_input_20260115_01# 在创建HDFS快照的时候最好遵循一个良好的命名规则。# 例如这里创建的快照名称为bk_input_20260115_01# 表示在2026年1月15日为input目录创建的第一个快照。3上传一个新的文件到/input目录如data1.txt。hdfs dfs-put data1.txt/input4为/input目录创建第二个快照。hdfs dfs-createSnapshot/input bk_input_20260115_025对比/input目录的两个快照。hdfs snapshotDiff/input bk_input_20260115_01 bk_input_20260115_02# 输出的信息如下Difference between snapshot bk_input_20260115_01 and snapshot bk_input_20260115_02 under directory/input: M../data1.txt# 通过对比快照可以看出第二个快照比第一个快照多了一个文件data1.txt。6通过HDFS的Web Console也可以查看快照的相关信息如下图所示。

相关新闻

最新新闻

C++实现HDLC协议栈:从原理到嵌入式工业通信实战

C++实现HDLC协议栈:从原理到嵌入式工业通信实战

1. 项目概述:为什么要在C里折腾HDLC?如果你在嵌入式、工业通信或者一些老牌通信设备公司的代码里翻过,大概率会碰到HDLC(高级数据链路控制)协议。乍一看,这协议名字里带个“高级”,但其实是上个…

2026/7/16 5:45:43
PCB设计工程师核心技能与学习路径:从入门到进阶

PCB设计工程师核心技能与学习路径:从入门到进阶

这次我们来聊聊PCB设计工程师这个岗位到底需要掌握哪些技能,哪些内容可以暂时放一放。对于刚入行的工程师来说,最头疼的就是不知道学习重点在哪里,担心学了一堆用不上的东西,反而错过了核心技能。PCB设计工程师主要负责电路板的设…

2026/7/16 5:45:43
【AI总结】2026年6月 主流国内外大模型总结

【AI总结】2026年6月 主流国内外大模型总结

目录 引言一、 国际主流模型 1. OpenAI GPT 系列2. Anthropic Claude 系列3. Google Gemini 系列4. Meta Llama 系列5. xAI Grok 系列6. 其他值得关注的国际模型 二、 国内主流模型 1. 百度 文心大模型2. 阿里 通义千问3. 腾讯 混元大模型4. 字节跳动 豆包大模型 / 扣子5. 智谱…

2026/7/16 5:45:43
Java循环控制进阶:while与do..while的实战抉择与break/continue的精准调控

Java循环控制进阶:while与do..while的实战抉择与break/continue的精准调控

1. 为什么需要while和do..while循环?在日常编程中,我们经常遇到需要重复执行某段代码的场景。比如读取用户输入直到输入合法、处理文件中的每一行数据、或者游戏中的主循环。这时候,循环结构就派上用场了。Java提供了三种主要的循环结构&…

2026/7/16 5:45:43
【2014-01-27】cocos2dx学习笔记:CCNode回调流程

【2014-01-27】cocos2dx学习笔记:CCNode回调流程

[历史归档] 本文原发布于 cstriker1407.info 个人博客,内容为历史存档,仅供参考。 发布时间: 2014-01-27 | 标题:cocos2dx学习笔记:CCNode回调流程 | 分类: 编程 / C &&…

2026/7/16 5:45:43
Inno Setup多语言配置实战:从界面翻译到运行时语言切换

Inno Setup多语言配置实战:从界面翻译到运行时语言切换

1. Inno Setup多语言配置的核心价值 当你开发的软件需要面向全球用户时,安装包的多语言支持就成为了必备功能。想象一下,一个日本用户打开全是中文的安装界面,或者德国用户面对英文安装指引时的困惑——这些体验细节往往决定了用户对产品的第…

2026/7/16 5:40:33

月新闻