`

hadoop格式化脚本

 
阅读更多

解决重新格式化HDFS文件系统后,导致NN和DN上的HDFS版本不一致问题。

脚本思路:

NN节点上格式化HDFS,然后将新生成的VERSION替换DN上的VERSION.

脚本:

#!/bin/bash

HADOOP_HOME="/home/hadoop"

/home/hadoop/hadoop/bin/hadoop namenode -format

namespaceid=`cat  $HADOOP_HOME/hadoop-datastore/hadoop-hadoop/dfs/name/current/VERSION  |grep namespaceID|awk -F = '{print $2}'`

for i in  `cat /home/hadoop/hadoop/conf/slaves`

do

ssh $i "sed  -i 's/namespaceID=.*/namespaceID=${namespaceid}/g' /home/hadoop/hadoop-datastore/hadoop-hadoop/dfs/data/current/VERSION

"

done

分享到:
评论

相关推荐

    脚本搭建hadoop集群

    自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...

    hadoop大数据平台部署专用脚本;自动计算磁盘数,批处理格式化gpt磁盘

    hadoop大数据平台部署专用脚本;自动计算磁盘数,批处理格式化gpt磁盘

    徐老师大数据 Hadoop架构完全分析课程 Hadoop入门学习视频教程

    027.Hadoop架构分析之启动脚本分析(数据格式化与hdfs.cmd命令).mp4 028.Hadoop架构分析之启动脚本分析(mapred.cmd和虚拟机参数设置).mp4 029.Hadoop架构分析之启动脚本分析(start-yarn.cmd命令).mp4 030....

    运行成功的hadoop配置文件

    并且有脚本可以在两个版本之间切换,无需格式化文件系统。Without "hadoop namenode -format" 目录结构: /data/hadoop 为工作目录,实际为一个链接(link) /data/hadoop-0.19.1 为实际0.19.1的安装目录 /data/hadoop...

    Hadoop权威指南 第二版(中文版)

     1.7.2 MapReduce脚本  1.7.3 连接  1.7.4 子查询  1.7.5 视图(view)  1.8 用户定义函数(User-Defined Functions)  1.8.1 编写UDF  1.8.2 编写UDAF 第13章 HBase  2.1 HBasics  2.1.1 背景  2.2 概念  ...

    Hadoop权威指南(中文版)2015上传.rar

    1.7.2 MapReduce脚本 1.7.3 连接 1.7.4 子查询 1.7.5 视图(view) 1.8 用户定义函数(User-Defined Functions) 1.8.1 编写UDF 1.8.2 编写UDAF 第13章 HBase 2.1 HBasics 2.1.1 背景 2.2 概念 2.2.1 数据模型的...

    hadoop-setup:Ubuntu 服务器上单节点 hadoop 集群的安装脚本

    hadoop-setup Ubuntu 服务器上单节点 hadoop 集群的安装脚本 用法: $ sudo apt-get update $ sudo apt-get upgrade $ sudo apt-get install git-core ... 所以它让 clusetr 安装(和 HDFS 格式化)但没有运行。

    hadoop集群建立

    hadoop集群建立,从准备工作到hadoop配置,再到hadoop的启动。...在第一次配置好hadoop集群时,必须先格式化一个新的分布式文件系统。 在主节点master上面启动hadoop,主节点会启动所有从节点的hadoop。

    Hadoop实战(第2版)

    2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为MapReduce 的数据源2.3 将数据导出Hadoop 2.3.1 将数据导入本地文件系统技术点8 自动复制HDFS 中的文件2.3.2 数据库技术点9 使用Sqoop 将...

    批量挂载GPT存储的shell脚本

    要做一个hadoop云盘的项目,一台服务器上挂23块硬盘,总共挂30几台服务器,就写了批量shell脚本执行批量格式化,挂载。

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    3 数据序列化――处理文本文件及其他格式的文件 3.1 了解MapReduce 中的输入和输出 3.1.1 数据输入 3.1.2 数据输出 3.2 处理常见的序列化格式 3.2.1 XML . 技术点12 MapReduce 和XML 3.2.2 JSON...

    CSDN-CODE:停止维护 -->移步 https

    包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。(首更时间2016年10月27日) Hadoop-Configure-配置文件 core-site.xml hadoop-env.sh hdfs-site.xml mapred-...

    01 kettle入门.zip

    Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,...

    尚gg大数据项目实战电商数仓系统开发教程.txt

    107_业务数仓_数据可视化.avi! @5 r5 g- n0 f, J3 l 108_业务数仓_Azkaban安装.avi( r9 z2 L3 \% G' k9 [: t9 K 109_业务数仓_GMV指标获取的全调度流程.avi& O, S. M2 Q# o 10_数仓采集_集群资源规划设计.avi 110_...

    RecordServiceClient

    此存储库包含RecordService服务定义,使用RecordService的客户端库,测试和一些自动化脚本。 入门 先决条件 我们需要节俭的0.9+编译器和Java 7。 增加您的Maven堆大小: export MAVEN_OPTS="-Xmx2g -XX:...

    基于JavaEE的快速开发框架

    JSON成为了Tephra最主要的数据传输格式,轻量、跨平台、跨终端,别无他选,至少目前如此。 最后说说Maven,确实比Ant进步不少,也许这也是一个毁灭旧体系,创建新体系的过程吧。 部署蓝图 | 快速开始 特性 ...

    大数据工程师学习计划.pdf

    ⼆、⼤数据介绍 ⼤数据本质也是数据,但是⼜有了新的特征,包括数据来源⼴、数据格式多样化(结构化数据、⾮结构化数据、Excel⽂件、⽂本⽂件 等)、数据量⼤(最少也是TB级别的、甚⾄可能是PB级别)、数据增长速度...

    积分java源码-anoa:用于基于通用格式的数据结构的稳健操作和序列化的Java库

    拓扑、命令行工具、各种脚本中进行处理。 事件定义自然会随着时间而演变,因此必须优雅地处理更改。 我们喜欢使用久经考验的跨平台序列化库,因为我们讨厌重新发明轮子。 Avro 适用于批量数据和长期存储,Protobuf ...

    大数据到底是什么.doc

    例如,如果你想以可视化的方式 在一个时间序列中按照地域查看一个企业的销售业绩,可视化格式会被预先创建。数据 会按照地域逐月展示,并根据预定义的公式排序。供应商Perceptive Pixel就属于这一类。 -------------...

Global site tag (gtag.js) - Google Analytics