`

HDFS 安全模式

阅读更多

safemode模式


NameNode在启动的时候首先进入安全模式,如果
datanode 丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。

dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元
数据 记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

下面这行摘录自NameNode启动时的日志(block上报比例1达到了阀值0.9990)


The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds.


hadoop dfsadmin -safemode leave



有两个方法离开这种安全模式


1. 修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999。


2. hadoop dfsadmin -safemode leave命令强制离开



用户可以通过dfsadmin -safemode value  来操作安全模式,参数value的说明如下:

enter - 进入安全模式

leave - 强制NameNode离开安全模式
get -  返回安全模式是否开启的信息
wait - 等待,一直到安全模式结束。

分享到:
评论

相关推荐

    HDFS block丢失,导致hadoop进入安全模式的解决方案

    HDFS block丢失hadoop进入安全模式(Safe mode)的解决方法

    hdfs源码.zip

    3.7.1 安全模式 268 3.7.2 HDFS High Availability 276 3.7.3 名字节点的启动 301 3.7.4 名字节点的停止 306 第4章 Datanode(数据节点) 307 4.1 Datanode逻辑结构 307 4.1.1 HDFS 1.X架构 307 4.1.2...

    【HDFS篇09】集群安全模式1

    这个过程期间, Namenode一直运行在安全模式,即NameNode的文件系统对于客户端来说是只读的其实安全模式就是集群数据都还没准备好时候的一个保护机制Da

    HDFS原理图

    此图包含内容:HDFS结构/HDFS运行机制、HDFS优缺点、HDFS架构、HDFS数据存储单元(block)、HDFS设计思想、SNN合并流程、Block的副本放置策略、HDFS读流程、HDFS写流程、HDFS文件权限与安全模式,需要使用viso工具打开...

    WebHdfs:.NET WebHDFS客户端库

    Web高清基于Microsoft.AspNet.WebApi.Client的简单.NET WebHDFS客户端库“简单”是指: 没有安全性(HDFS上的安全性关闭模式) 没有日志记录(处理(可能会在一天后添加)) 真的很愚蠢代码部分取自某些Microsoft ...

    Spark实验:On Yarn模式安装部署(带答案)1

    1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上,关闭HDFS的安全模式: 3. 在 master 节点上

    hadoop-管理

    dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了 元数据记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于Safe...

    Hadoop部署和配置Kerberos安全认证

    Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。

    基于多维免疫的云计算数据安全技术研究

    该模型以开源的云计算技术架构HDFS为研究对象,分析了其安全要素,给出了云计算安全模型的形式化描述,并给出了云计算模型的实现描述,同时还对安全模型进行了扩展分析。  其次,在给出云计算数据安全模型后,为了...

    无法启动hive

    hdfs在启动开始时会进入安全模式,这时文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块...

    Hadoop详细的理论基础

    6.安全模式 7.负载均衡 8.心跳机制 三、HDFS体系结构 1.主从架构 2.核心组件功能 3.数据块损坏处理 一、Hadoop分布式文件系统HDFS 1.认识HDFS 1)HDFS基于流式数据,为处理超大型文件(PB级别)的需求而设计。 2)...

    四 Hadoop运行模式之完全分布式运行模式

    文章目录1.... 集群配置4.1 集群部署规划4.2 核心配置文件( core-site.xml )4.2.1 配置NameNode的地址4.3 env文件(hadoop-env.sh,yarn-env.sh,mapred-env.sh)4.4 HDFS配置文件(hdfs-site.xml)4.4.1 Ha

    FocusBigData:【大数据成神之路学习路径+面经+简历】

    集群安全模式 DataNode相关概念 HA高可用 HA高可用 --- HDFS-HA集群配置 HA高可用 --- YARN-HA集群配置 HA高可用 --- Federation架构设 MapReduce篇 MapReduce之入门概述 MapReduce之工作流程 MapReduce之...

    网易天工物联网.zip

    设备接入 支持标准的MQTT 3.1、3.1.1协议,提供MQTT broker接入点。 连接安全性 ...sink目前支持时序数据库influxdb及网易自研时序数据库ntsdb和静态数据库rds,rds支持append模式和update模式。

    Hadoop权威指南 第二版(中文版)

     安全模式  日志审计  工具  监控  日志  度量  Java管理扩展(JMX)  维护  日常管理过程  委任节点和解除节点  升级 第11章 Pig简介  安装与运行Pig  执行类型  运行Pig程序  Grunt  Pig Latin编辑...

    Hadoop权威指南(中文版)2015上传.rar

    安全模式 日志审计 工具 监控 日志 度量 Java管理扩展(JMX) 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 ...

    云计算课后答案 云计算期中考试 云计算期末考试 云计算及应用期末考试 云计算及应用期中考试 云计算技术基础与实践

    2、 简述分析云计算的3种服务模式及其功能。(15分) 3、 简述云计算的基本概念和技术应用特点。(10分) 4、 简述虚拟化的基本概念和技术应用特点。(10分) 5、 分析云计算与虚拟化之间的关系。(10分) 6、 分析阿里云的...

    大数据存储技术分析

    由于业务数据量的爆炸式增长从而导致了存储成本的不断上涨,同时加大了存储管理的难度,目前我们公司大数据架构采用结构化、非结构化数据库、(Nosql),HDFS分布式文件系统相结合的存储结构模式进行数据的存储工作...

    基于cloudera搭建hadoop集群

    1. 安全模式 37 2. 查看block大小 37 九. 其他 37 1. 修改修改centos bogon主机名 37 2. 安装ganglia 38 3. 安装redis 38 4. 安装VMware客户端 39 5. 60天使用到期. 40 十. 遇到的问题 40 1. 缺包 40 2. Yum...

Global site tag (gtag.js) - Google Analytics