从零开始：手摸手教你用腾讯云服务器入门搭建Hadoop
从零开始：手摸手教你入门搭建Hadoop引言在现代企业中，数据量的快速增长带来了巨大的挑战
传统的数据处理和分析工具已经难以应对大规模数据的存储和处理需求
特别是在业务团队项目中，面对海量数据的实时处理和分析，如何高效地管理和利用这些数据成为了一个关键问题
而Hadoop的出现就能够解决海量数据下的存储与计算
然而，Hadoop的安装与配置并非易事，尤其是对于初学者来说，可能会遇到各种困难和挑战
别担心，本文将为你提供详尽的步骤指导，帮助你轻松上手，从零开始搭建属于自己的Hadoop
在这篇文章中，我们将使用云服务器演示入门搭建Hadoop的完全流程，包含一些需要注意的点和坑都会列举出来
无论你是出于学习目的还是实际应用需求，相信都能从中受益匪浅
接下来，就让我们一起踏上这段充满挑战与乐趣的旅程吧
环境准备需要准备Linux系统的机器，我采用的是腾讯云轻量级服务器，OpenClouds系统兼容CentOS
如果没有服务器的同学也可以在之前挑选服务器的文章中，选择秒杀活动中的轻量级服务器，一年也就三十不到
或者也可以在本地虚拟机的Linux系统中进行搭建学习
创建用户首先，我们需要创建Hadoop用户进行使用
菜菜一开始使用的是Root用户，后面会导致无法运行Hadoop
代码语言：shell复制#添加用户
sudo useradd hadoop
#设置密码
sudo passwd hadoop
#切换用户
su hadoop配置SSHHadoop节点间采用ssh，没配会导致程序无法启动，因此需要配置ssh免密登陆
首先需要安装ssh
代码语言：shell复制#安装
yum install openssh
#需要密码校验
ssh localhost
#登陆成功后退出 开始配置免密登陆
exit测试成功后，开始配置免密登录
代码语言：shell复制cd ~/.ssh
#生成密钥 回车几下
ssh-keygen -t rsa
#添加
cat ./id_rsa.pub >> ./authorized_keys
#确保有权限
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
#再次登陆不需要密码
ssh localhost配置完成后，再次登录无需输入密码
ssh免密登陆JDK安装与配置由于Hadoop是基于Java实现的，因此我们需要确保拥有JDK的环境
代码语言：shell复制#更新包索引
sudo yum update -y
#安装JDK
sudo yum install java-1.8.0-openjdk-devel -y成功安装JDK后只能在bin目录下使用命令才会生效，因此需要配置环境变量
配置环境变量后，即使在全局任意目录下，使用命令都会生效
首先需要找到JDK 安装目录，通常在/usr/lib下
代码语言：shell复制#找到JDK目录 JDK通常在/usr/lib下
#/usr/lib/jvm
pwd
#目录名太长改成jdk8
mv java-1.8.0-openjdk-1.8.0.432.b06-2.oc8.x86_64/ jdk8
#配置环境变量 在末尾追加环境变量
vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/jdk8
export PATH=$JAVA_HOME/bin:$PATH
#环境变量生效
source ~/.bashrc
#查看版本号 判断是否安装成功
java -version配置完环境变量，运行查看Java版本号的命令出现：
查看JDK版本搭建Hadoop准备好环境后，即可开始准备安装Hadoop
下载压缩包我们采用压缩包的方式进行安装，先进行下载
压缩包下载下载完成后将压缩包进行上传
代码语言：shell复制 #解压
sudo tar -zxf hadoop-3.4.1.tar.gz
#进入目录
cd hadoop-3.4.1
#查看版本 如果没找到JDK说明 JDK环境变量配的有问题
./bin/hadoop version解压完成后，进入bin目录使用hadoop version查看版本号
查看Hadoop版本配置环境变量代码语言：shell复制 #末尾追加 我的Hadoop目录是:/home/lighthouse/hadoop-3.4.1
vim ~/.bashrc
export HADOOP_HOME=/home/lighthouse/hadoop-3.4.1
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
#这里也有JAVA的环境变量
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH在其他目录下输入hadoop version 输出版本信息说明安装成功
hadoop安装成功修改配置文件启动Hadoop前，需要进行一些重要配置，比如配置hdfs存储数据目录
代码语言：shell复制 #创建目录存放Hadoop的数据，/home/lighthouse/hadoop-data
mkdir hadoop-data
#进入Hadoop安装目录的etc目录下 准备编辑配置文件
#/home/lighthouse/hadoop-3.4.1/etc/hadoop
pwd配置临时数据文件和hdfs地址：vim core-site.xml
代码语言：xml复制
配置hdfs存储相关配置： vim hdfs-site.xml
代码语言：xml复制
配置jdk环境变量：vim hadoop-env.sh
查找 /JAVA_HOME
image.png格式化数据节点 hdfs namenode -format
启动start-all.sh 执行启动脚本
（此时如果你使用的用户不是hadoop，并且没有配置ssh是无法成功运行的）
启动jps 查看启动的Java程序
image.png如果你也是云服务器的话要开放UI界面的端口，NameNode 50070（Hadoop 2.x版本），9870（Hadoop 3.x版本）
开放端口或者选择关闭防火墙 systemctl stop firewalld.service
访问NameNode的UI WEB界面，默认端口：50070（Hadoop 2.x版本），9870（Hadoop 3.x版本）
访问UI WEB界面至此，Hadoop相当于搭建成功，可以使用命令或WEB界面进行使用
坑依旧无法启动的情况：
用户不为Hadoop用户未配置SSH删除name和data节点的数据(有重要数据记得备份)，再进行格式化代码语言：shell复制#删除历史数据
rm /home/lighthouse/hadoop-data/tmp/dfs/name
rm /home/lighthouse/hadoop-data/tmp/dfs/data
#格式化
hdfs namenode -format
#启动
start-all.sh
#查看已启动的Java程序
jps总结通过引入Hadoop，业务团队能够有效地应对大规模数据的存储和处理挑战，提升了数据处理效率，降低存储成本，增强系统的稳定性和可靠性
搭建Hadoop的过程可能涉及到不同的坑，但通过本文的详细指导，同学们可以顺利地进行搭建
希望本篇实践能帮助你在项目中成功应搭建Hadoop，带来显著的业务价值