安装前应先安装jdk此处就不再重复了
操作系统 CentOS release 6.3 64位 最好使用更高的版本
hadoop 2.2.0安装
第一步:配置ssh免密码登录
可以查看这篇文章http://xinruibaobao.iteye.com/blog/2154632
第二步:配置hadoop环境变量
HADOOP_HOME hadoop的安装目录
HADOOP_CONF_DIR 配置文件所在目录
第三步:配置core-site.xml文件
设置fs.default.name hdfs://host:9000 配置hdfs访问目录 namenode所在机器
设置hadoop.tmp.dir 本地目录 临时文件存放目录
第四步:配置hdfs-site.xml文件
dfs.replication 奇数 文件备份数量
dfs.nameode.name.dir namenode文件目录
dfs.datanode.data.dir datanode文件目录
dfs.permissions false 是否需要权限
第五步:配置 mapres-site.xml文件
mapred.job.tracker host:8021 jobtracker访问地址 namenode所在机器
mapreduce.cluster.tmp.dir value为空final true
mapreduce.cluster.local.dir value为空final true
mapreduce.framework.name yarn
第六步:配置yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address host:8032 namenode所在机器
yarn.resourcemanager.scheduler.address host:8030 namenode所在机器
yarn.resourcemanager.resource-tracker.address host:8031 namenode所在机器
yarn.resourcemanager.admin.address host:8033 namenode所在机器
yarn.resourcemanager.webapp.address host:8088 namenode所在机器
第七步:配置slaves
集群中的所有slave机器地址
第八步:将程序分发到所有机器上
第九步:每台机器上格式化namenode
第十步:启动start-all.sh
第十一步:执行jps,查看java进程
hadoop安装完成.
hbase0.96.2安装
由于免密码登录已经配置了所以直接配置hbase配置文件,此次使用hbase自带的zookeeper操作
第一步:编辑hbase-env.sh HBASE_MANAGES_ZK=true 使用hbase自带的zookeeper
export JAVA_HOME=jdk安装目录
第二步:编辑hbase-site.xml
设置hbase.root.dir属性 hdfs://host:9000/hbase 此路径为hadoop路径
设置hbase.cluster.distributed属性 设置hbase分布式
设置hbase.master属性 host:60000
设置hbase.tmp.dir属性 /home/hadoop/hbasetmp hbase的临时文件夹
设置hbase.zookeeper.quorum zookeeper所在的机器的host以逗号分隔
第三步:配置regionservers文件 所有regionserver的host
第四步:分发到各个节点
第五步:先启动hadoop再启动hbase
关闭防火墙后,在win上访问Hbase的60010端口
hive0.13安装
第一步:配置环境变量 HIVE_HOME hive的安装路径
PATH中配置hive的conf目录
CLASSPATH 配置hive的lib目录
第二步:配置hive-env.sh HADOOP_HOME hadoop安装目录
第三步:配置hive-site.xml
mysql 配置 javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
配置 javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
配置 javax.jdo.option.ConnectionUserName
数据库连接的用户名
配置javax.jdo.option.ConnectionPassword
数据库连接的密码
配置 hive.metastore.warehouse.dir
hdfs://server18:9000/hive/warehouse
配置 hive.exec.scratchdir
hdfs://server18:9000/tmp
配置 hive.querylog.location
/home/hadoop/tmp/hive/logs
hive.server2.long.polling.timeout
将l去掉
hive.server2.thrift.bind.host
配置jdbc要访问的地址
hbase.zookeeper.quorum
配置zookeeper的host
hive.aux.jars.path
<value>file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-hadoop-compat-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-hadoop-compat-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hive-hbase-handler-0.13.1.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/protobuf-java-2.5.0.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-client-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-common-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-protocol-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-server-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/zookeeper-3.4.5.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/guava-11.0.2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/htrace-core-2.04.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hive-contrib-0.13.1.jar</value>
分享到:
相关推荐
资源描述:妳那伊抹微笑_云计算之Hadoop-2.2.0+Hbaase-0.96.2 +Hive-0.13.1完全分布式环境整合安装文档V1.0.0.docx 博客地址:http://blog.csdn.net/u012185296 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+...
Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式整合,Hadoop-2.X使用HA方式
Hadoop2.2.0+HBase.96+Hive0.12简单集群环境的搭建
叶梓老师整理的Hadoop2.2.0+Hbase0.98.4+sqoop-1.4.4+hive-0.98.1安装手册,非常实用
用于生产环境的hadoop2.2.0和hbase0.96.2、hive0.12的集成安装 经过测试环境
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建
Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册,经测试运行正常。
Hadoop集群安装,配置集群,可以配置Hadoop2.2.0+Hbase0.96+hive0.13,这是最佳组合,其他的不行
本手册主要整理了Hadoop2.2.0的安装,包括QJM实现HA的详细配置,以及Hdfs-site的配置详解。 不包括Hbase、Hive安装
基于最新版本的湖仓一体、流批一体架构方案 hadoop-3.3.4+tez-0.10.2+hive-3.1.3+hbase-2.4.14+atlas-2.2.0+kafka- 2.8.2+ranger-2.3.0+flink-1.15.2+spark-3.3.0+hudi-0.12.1.jar+iceberg-0.14.1.jar+streamx
4,Hadoop2.2.0 5,Hbase0.96.2 6,Zookeeper3.4.5 7,Hive0.13.13 全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置 本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,...
3.Hbase - 0.96.2-hadoop2 4.Hadoop - 2.2.0 5.hive - 0.13.1 您总是可以从 conf/lib jar 文件中找到版本。 Jar 文件有版本号。 另请参阅 pom.xml 以查看此项目中使用的版本。 ===============================...
hadoop hbase 权威指南等参考书 内附对应配置文件 hive eclipse插件(hadoop-eclipse-plugin-2.2.0.jar)
包括spark、mllib、hadoop、hive、hbase、solr、redis、memcache、elasticSearch、jdbc、mongodb、http、ftp、xml、csv、json等。 建筑学 要求 JDK 1.8 Scala-2.11.8 Apache Maven 3.1.0 或更新版本 Spark-2.1.0...
HADOOP.VERSION = 2.7.2 HBASE.VERSION = 1.2.6 HIVE.VERSION = 2.3.0 JDK.VERSION = 1.8.0_131 KAFKA.VERSION = 1.0.0 SCALA.VERSION = 2.11.8 SPARK.VERSION = 2.2.0 ZOOKEEPER.VESION = 3.4.10 ELASTICSEARCH....