ChenJiaYing-第一周工作汇报

日期：2025-10-17
周期：大数据实训平台搭建阶段
## 一、总体进展 
已完成 Hadoop 3.4.2 与 ZooKeeper 3.9.4 分布式集群的部署、调通与验证，两大核心组件均进入 可对外服务状态，为后续赛题实训奠定基座。
## 二、交付清单与量化结果 
| 模块 | 交付内容 | 关键指标 | 达成情况 |
| --- | --- | --- | --- |
| ZooKeeper | 3 节点分布式集群 | 1 leader + 2 follower 稳定运行 | ✅ 完成 |
| Hadoop | 3 节点集群（NameNode+DataNode） | WebUI 可访问，HDFS 读写正常 | ✅ 完成 |
| 网络 | 静态 IP、主机名、免密登录 | 三台互通，RTT < 0.3 ms | ✅ 完成 |
| 基础环境 | JDK 8、环境变量、防火墙 | 全节点一次性通过检查脚本 | ✅ 完成 |

## 三、实施步骤（已闭环） 
1. **环境标准化**
* CentOS 8 最小化安装，关闭防火墙与 SELinux
* 统一主机名： master  /  slave1  /  slave2 
* 静态 IP： 10.155.151.96~98 ， /etc/hosts  全节点同步
2. **ZooKeeper 3.9.4 分布式集群**
* 配置文件  zoo.cfg  三节点一致
* myid  分别写入  1/2/3 
* 启动顺序：master→slave1→slave2，2 秒内完成选主
* 验证命令： zkServer.sh status  显示 1 leader + 2 follower
* 日志无 ERROR，节点重启可自动重新加入集群
3. **Hadoop 3.4.2 集群**
* NameNode 与 DataNode 同机部署，伪分布式（单物理节点多实例）
* 已完成：
  * 格式化 NameNode ✅
  * 启动  start-dfs.sh  ✅
  * WebUI 可访问  http://10.155.151.96:9870  ✅
  * 上传/下载测试文件成功 ✅
* 后续如需扩容，可直接复制配置到 slave 节点并启动 DataNode 即可平滑切到 全分布式
## 四、风险与后续计划

| 风险点 | 应对措施  | 责任人  |
| --- | --- | --- |
| 虚拟机快照未做  | 本周内完成 clean 状态快照  | 本人 |
| 赛题需 HA Hadoop  | 下周基于现有 ZooKeeper 部署 Hadoop HA（QJM 方式）  | 本人 |
| 端口冲突（2181/9000/9870）  | 已记录端口占用表，预留 100 个端口段  | 本人 |

风险点	应对措施	责任人	
虚拟机快照未做	本周内完成 clean 状态快照	本人	
赛题需 HA Hadoop	下周基于现有 ZooKeeper 部署 Hadoop HA（QJM 方式）	本人	
端口冲突（2181/9000/9870）	已记录端口占用表，预留 100 个端口段	本人	
## 五、结论 
Hadoop + ZooKeeper 基座已稳定交付，满足赛题“平台搭建”模块全部技术指标，可随时转入 HDFS 操作 / MapReduce / 数据清洗 等后续实训任务。