hadoop以及elasticsearch 还有 memcache 以及rabbitMQ ,N久前自己就已经部署好了hadoop,一直忙于界面制作。网上有好多hadoop2 版本的安装可是自己安装却出现各种问题,不能继续下去,多次尝试后 终于成功了
首先第一步.设置免密码SSH登陆,这是为了以后使用scp 传输文件方便,直接同步文件与文件夹,而且ssh 随时切换到相应的服务器上
先安装好ssh 如果没有安装 那么 按照下面操作 ,这是网上复制的
1.安装启动 ssh
1、检查linux是否已经按openssh
命令:# rpm -qa |grep openssh如果安装了,就可以看到安装的版本号,否则就没有安装。
2、安装# rpm -ivh openssh-3.5p1-6
# rpm -ivh openssh-server-3.5p1-6
# rpm -ivh openssh-askpass-gnome-3.5p1-6
# rpm -ivh openssh-clients-3.5p1-6
# rpm -ivh openssh-askpass-3.5p1-6
3、启动方法方法1:# service sshd start
方法2:使用绝对路径执行以下命令:
# /etc/rc.d/init.d/sshd start
或者# /etc/rc.d/sshd start
4、自动启动方法另外,如果想在系统启动时就自动运行该服务,那么需要使用setup命令,
在system service的选项中,选中sshd守护进程即可。
chkconfig sshd on
通过ntsysv 选中sshd服务
也可以通过chkconfig也设置chkconfig -- level 3 sshd on
5、配置ssh配置文件目录:/etc/ssh/sshd_config
port 22
安装好了 后,我们开始生成ssh的的公钥 与 私钥
我有四台机器 192.168.1.6 192.168.1.7 192.168.1.8 192.168.1.9 最后6作为主master
所以先ssh登陆到6机器 然后执行下面命令
ssh
-keygen -t dsa -P
''
-f ~/.
ssh
/id_dsa
cat
~/.
ssh
/id_dsa.pub >> ~/.
ssh
/authorized_keys
scp ~/.ssh/authorized_keys root@192.168.250.195 ~/.ssh/authorized_keys
下面是以前尝试 时候的截图,参考,可以直接脚本scp 加上管道直接一步完成
然后 配置 然后 以后从master 机器使用scp ssh 都不需要输入密码
然后我们修改并同步hosts属性文件
vi /etc/sysconfig/network 分别修改HOSTNAME=master HOSTNAME=slave1 ....slave2 slave3
下面 修改vi /etc/hosts 文件
192.168.250.196 master
192.168.250.195 slave1
192.168.250.197 slave2
192.168.250.200 slave3
下面 scp同步
下面我们 下载hadoop然后 在master上 修改好配置文件 然后scp同步到其他slave上即可
tar
-zxf hadoop-2.5.0.
tar
.gz -C /usr/
local
/
cd
/usr/
local
ln
-s hadoop-2.5.0 hadoop
配置好环境变量
vi /etc/profile
export HADOOP_PREFIX="/usr/local/hadoop" export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin export HADOOP_COMMON_HOME=${HADOOP_PREFIX} export HADOOP_HDFS_HOME=${HADOOP_PREFIX} export HADOOP_MAPRED_HOME=${HADOOP_PREFIX} export HADOOP_YARN_HOME=${HADOOP_PREFIX}
当然需要前提安装好java环境
然后进入hadoop目录 cd /usr/local/hadoop 修改
vi /etc/hadoop/yarn-env.sh 还有hadoop-env.sh 导入java环境
export JAVA_HOME=/usr/local/jdk8 如果默认使用 yum 安装的则不需要
然后
修改目录文件夹的core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> <description>The name of the default file system.</description> </property>
修改hdfs-site.xml 记住是///
然后下面修改yarn-site.xml
配置yarn 的resourceManger为master
然后修改mapred-site.xml
默认没有mapred-site.xml文件,copy mapred-site.xml.template 一份为 mapred-site.xml即可
然后配置 告诉hadoop 其他从节点,这样,只要主节点启动,他会自动启动其他机器上的nameNode dataNode 等等
vi /usr/local/hadoop/etc/hadoop/slaves
添加以下内容
OK 基本的全部配置已经完成
下面就是同步该文件夹 到其他各个从主机上即可 因为我们使用ssh免登陆 不需要使用密码
scp -r /usr/local/hadoop root@192.168.250.195:/usr/local/hadoop
scp -r /usr/local/hadoop root@192.168.250.197:/usr/local/hadoop
scp -r /usr/local/hadoop root@192.168.250.200:/usr/local/hadoop
ok
同步好了 后,然后我们开始在主节点 也就是当前的master 的usr/local/hadoop/sbin执行format
hdfs namenode -format
然后依次执行start-dfs.sh
在执行start-yarn.sh
也可以简单粗暴的直接start-all.sh
然后jps命令就可以查看到hadoop的运行状态了
在从节点上
也许一些用户发现ResourceManager没有启动
不过不要担心
只需要在master 下执行
yarn-daemon.sh start nodemanager 即可
ok 我们可以
使用
hadoop dfsadmin -report 查看状态
web界面 master:50070/50030
Ok到此 就完成了
可以使用测试案例 测试一下试试
相关推荐
linux:centos6.5 hadoop版本:2.6.0 集群方式:伪分布式 已经通过 内容比较详尽
hadoop2.5.0集群环境部署文档.txt 是公司在部署hadoop 原生版本总结的资料,方便大家在今后部署hadoop 大数据平台的时候手忙脚乱的去从网上收部署资料,而且部署资料有的也不大全面,在此把总结上传一份。...
hadoop3台机器集群的详细安装部署过程
详细记录基于Hadoop2.5.1的集群的安装过程,集群组件包含:JDK、Hadoop、Hive、ZK、MySql、Sqoop
CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细(不放过任何一个细节)的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
hadoop与spark分布式安装,内容详细,亲自搭建成功。助于新手
linux 系统为centos6.5 hadoop版本:2.5.0 cdh3.5.6环境下使用
Hadoop-2.4.0分布式安装手册
基于Hadoop云计算平台的分布式转码方案.pdf
Hadoop-2.7.1分布式安装手册,包含了单机、伪分布式、完全分布式方式
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群,自己实际实用过程的总结
hadoop2.5.0-eclipse插件
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
hadoop完全分布式安装步骤 实验环境为VirtualBOx虚拟机
Hadoop安装教程_单机_伪分布式配置
Hadoop2.x版本完全分布式安装与部署,介绍完整过程,有图,条理十分清晰,包看包会。上课专用。