(hadoop端口) Hadoop之常用端口号解读 Hadoop常用端口号全网首发(图文详解1)

(hadoop端口) Hadoop之常用端口号解读

Hadoop是一个开源的分布式存储和计算框架，它由Apache基金会开发，用于处理大规模的数据。Hadoop集群包含了很多组件，每个组件都有自己的默认端口号。了解这些端口号对于部署和管理Hadoop集群至关重要。下面我将解释一些Hadoop常用组件的默认端口号，并给出一些基础的配置流程示例。

常用Hadoop组件的默认端口号

NameNode（HDFS的主节点）:
- Web UI: 50070 (HTTP web界面，Hadoop 2.x版本).
- HDFS NameNode: 8020 (客户端和DataNode通信的端口).
SecondaryNameNode:
- HTTP Web界面: 50090 (Hadoop 2.x版本).
DataNode（存储节点）:
- DataNode HTTP Web界面: 50075.
- DataNode IPC: 50020.
YARN ResourceManager:
- Web UI: 8088.
NodeManager:
- Web UI: 8042.
JobHistory Server:
- Web UI: 19888.

Hadoop配置示例

在这个例子中，我们将配置NameNode和DataNode的自定义端口。

配置文件路径:
- Hadoop的配置文件通常位于$HADOOP_HOME/etc/hadoop目录下。
修改hdfs-site.xml:
- 找到hdfs-site.xml文件并打开，添加以下内容以自定义NameNode和DataNode的端口号。

<configuration>
    <!-- NameNode的自定义端口 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

    <!-- DataNode的数据传输端口 -->
    <property>
        <name>dfs.datanode.address</name>
        <value>0.0.0.0:9001</value>
    </property>

    <!-- DataNode的HTTP Web界面端口 -->
    <property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:9002</value>
    </property>
</configuration>

重启Hadoop集群:
- 对配置文件做出更改后，需要重启Hadoop集群以使更改生效。
- 使用stop-all.sh命令停止所有服务，然后使用start-all.sh命令启动所有服务。
验证配置:
- 使用jps命令检查所有Hadoop守护进程是否正在运行。
- 访问NameNode和DataNode的Web界面，确认它们是否在自定义端口上运行。