解决重新格式化HDFS文件系统后,导致NN和DN上的HDFS版本不一致问题。
脚本思路:
NN节点上格式化HDFS,然后将新生成的VERSION替换DN上的VERSION.
脚本:
#!/bin/bash
HADOOP_HOME="/home/hadoop"
/home/hadoop/hadoop/bin/hadoop namenode -format
namespaceid=`cat $HADOOP_HOME/hadoop-datastore/hadoop-hadoop/dfs/name/current/VERSION |grep namespaceID|awk -F = '{print $2}'`
for i in `cat /home/hadoop/hadoop/conf/slaves`
do
ssh $i "sed -i 's/namespaceID=.*/namespaceID=${namespaceid}/g' /home/hadoop/hadoop-datastore/hadoop-hadoop/dfs/data/current/VERSION
"
done
相关推荐
自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...
hadoop大数据平台部署专用脚本;自动计算磁盘数,批处理格式化gpt磁盘
027.Hadoop架构分析之启动脚本分析(数据格式化与hdfs.cmd命令).mp4 028.Hadoop架构分析之启动脚本分析(mapred.cmd和虚拟机参数设置).mp4 029.Hadoop架构分析之启动脚本分析(start-yarn.cmd命令).mp4 030....
并且有脚本可以在两个版本之间切换,无需格式化文件系统。Without "hadoop namenode -format" 目录结构: /data/hadoop 为工作目录,实际为一个链接(link) /data/hadoop-0.19.1 为实际0.19.1的安装目录 /data/hadoop...
1.7.2 MapReduce脚本 1.7.3 连接 1.7.4 子查询 1.7.5 视图(view) 1.8 用户定义函数(User-Defined Functions) 1.8.1 编写UDF 1.8.2 编写UDAF 第13章 HBase 2.1 HBasics 2.1.1 背景 2.2 概念 ...
1.7.2 MapReduce脚本 1.7.3 连接 1.7.4 子查询 1.7.5 视图(view) 1.8 用户定义函数(User-Defined Functions) 1.8.1 编写UDF 1.8.2 编写UDAF 第13章 HBase 2.1 HBasics 2.1.1 背景 2.2 概念 2.2.1 数据模型的...
hadoop-setup Ubuntu 服务器上单节点 hadoop 集群的安装脚本 用法: $ sudo apt-get update $ sudo apt-get upgrade $ sudo apt-get install git-core ... 所以它让 clusetr 安装(和 HDFS 格式化)但没有运行。
hadoop集群建立,从准备工作到hadoop配置,再到hadoop的启动。...在第一次配置好hadoop集群时,必须先格式化一个新的分布式文件系统。 在主节点master上面启动hadoop,主节点会启动所有从节点的hadoop。
2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为MapReduce 的数据源2.3 将数据导出Hadoop 2.3.1 将数据导入本地文件系统技术点8 自动复制HDFS 中的文件2.3.2 数据库技术点9 使用Sqoop 将...
要做一个hadoop云盘的项目,一台服务器上挂23块硬盘,总共挂30几台服务器,就写了批量shell脚本执行批量格式化,挂载。
3 数据序列化――处理文本文件及其他格式的文件 3.1 了解MapReduce 中的输入和输出 3.1.1 数据输入 3.1.2 数据输出 3.2 处理常见的序列化格式 3.2.1 XML . 技术点12 MapReduce 和XML 3.2.2 JSON...
包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。(首更时间2016年10月27日) Hadoop-Configure-配置文件 core-site.xml hadoop-env.sh hdfs-site.xml mapred-...
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,...
107_业务数仓_数据可视化.avi! @5 r5 g- n0 f, J3 l 108_业务数仓_Azkaban安装.avi( r9 z2 L3 \% G' k9 [: t9 K 109_业务数仓_GMV指标获取的全调度流程.avi& O, S. M2 Q# o 10_数仓采集_集群资源规划设计.avi 110_...
此存储库包含RecordService服务定义,使用RecordService的客户端库,测试和一些自动化脚本。 入门 先决条件 我们需要节俭的0.9+编译器和Java 7。 增加您的Maven堆大小: export MAVEN_OPTS="-Xmx2g -XX:...
JSON成为了Tephra最主要的数据传输格式,轻量、跨平台、跨终端,别无他选,至少目前如此。 最后说说Maven,确实比Ant进步不少,也许这也是一个毁灭旧体系,创建新体系的过程吧。 部署蓝图 | 快速开始 特性 ...
⼆、⼤数据介绍 ⼤数据本质也是数据,但是⼜有了新的特征,包括数据来源⼴、数据格式多样化(结构化数据、⾮结构化数据、Excel⽂件、⽂本⽂件 等)、数据量⼤(最少也是TB级别的、甚⾄可能是PB级别)、数据增长速度...
拓扑、命令行工具、各种脚本中进行处理。 事件定义自然会随着时间而演变,因此必须优雅地处理更改。 我们喜欢使用久经考验的跨平台序列化库,因为我们讨厌重新发明轮子。 Avro 适用于批量数据和长期存储,Protobuf ...
例如,如果你想以可视化的方式 在一个时间序列中按照地域查看一个企业的销售业绩,可视化格式会被预先创建。数据 会按照地域逐月展示,并根据预定义的公式排序。供应商Perceptive Pixel就属于这一类。 -------------...