无名阁,只为技术而生。流水不争先,争的是滔滔不绝。

(hadoop端口) Hadoop之常用端口号解读 Hadoop常用端口号 全网首发(图文详解1)

前沿技术 Micheal 5个月前 (06-26) 64次浏览 已收录 扫描二维码

(hadoop端口) Hadoop之常用端口号解读

Hadoop是一个开源的分布式存储和计算框架,它由Apache基金会开发,用于处理大规模的数据。Hadoop集群包含了很多组件,每个组件都有自己的默认端口号。了解这些端口号对于部署和管理Hadoop集群至关重要。下面我将解释一些Hadoop常用组件的默认端口号,并给出一些基础的配置流程示例。

常用Hadoop组件的默认端口号

  • NameNode(HDFS的主节点):
    • Web UI: 50070 (HTTP web界面,Hadoop 2.x版本).
    • HDFS NameNode: 8020 (客户端和DataNode通信的端口).
  • SecondaryNameNode:
    • HTTP Web界面: 50090 (Hadoop 2.x版本).
  • DataNode(存储节点):
    • DataNode HTTP Web界面: 50075.
    • DataNode IPC: 50020.
  • YARN ResourceManager:
    • Web UI: 8088.
  • NodeManager:
    • Web UI: 8042.
  • JobHistory Server:
    • Web UI: 19888.

Hadoop配置示例

在这个例子中,我们将配置NameNode和DataNode的自定义端口。

  • 配置文件路径:
    • Hadoop的配置文件通常位于$HADOOP_HOME/etc/hadoop目录下。
  • 修改hdfs-site.xml:
    • 找到hdfs-site.xml文件并打开,添加以下内容以自定义NameNode和DataNode的端口号。
<configuration>
    <!-- NameNode的自定义端口 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

    <!-- DataNode的数据传输端口 -->
    <property>
        <name>dfs.datanode.address</name>
        <value>0.0.0.0:9001</value>
    </property>

    <!-- DataNode的HTTP Web界面端口 -->
    <property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:9002</value>
    </property>
</configuration>
  • 重启Hadoop集群:
    • 对配置文件做出更改后,需要重启Hadoop集群以使更改生效。
    • 使用stop-all.sh命令停止所有服务,然后使用start-all.sh命令启动所有服务。
  • 验证配置:
    • 使用jps命令检查所有Hadoop守护进程是否正在运行。
    • 访问NameNode和DataNode的Web界面,确认它们是否在自定义端口上运行。

注释说明

  • 修改配置文件时,请确保正确地关闭和开启XML标签。
  • 在更改端口号之前,确保新端口号不与系统中正在使用的其他服务的端口号冲突。
  • 重启集群后,使用jps命令和访问Web界面是验证配置是否正确生效的快速方法。

以上就是对Hadoop常用端口号的解读以及配置Hadoop端口的基础流程。希望这对你有所帮助。如果有更详细的问题或需求,欢迎继续咨询。
(手机快播) 快播(视频播放器) v1.0.1 安卓版 快播v1.0.1使用指南 全网首发(图文详解1)
(javasuper) Java关键字super超详细解释 超级之父: Java 中的 super 关键字 全网首发(图文详解1)

喜欢 (0)
[]
分享 (0)
关于作者:
流水不争先,争的是滔滔不绝