Apache Hadoop团队发布了Apache Hadoop 3.2.0,这是一个用于分布式存储和处理大型数据集的开源软件平台。此版本是3.2版本系列中的第一个版本,目前还不能正常使用,也不能投入生产。
Hadoop 3.2.0有什么新功能?
YARN中支持节点属性
此版本具有节点属性,可帮助根据节点属性标记节点上的多个标签。它还有助于根据这些标签的表达来放置容器。它与任何队列都没有关联,因此不需要为属性排队资源规划和授权。
YARN上的Hadoop submarine
此版本附带Hadoop Submarine,使数据工程师能够在数据所在的同一Hadoop YARN集群上的TensorFlow中开发,培训和部署深度学习模型。它还允许在HDFS(Hadoop分布式文件系统)和其他存储中访问数据/模型的作业。它支持用户指定的Docker镜像和角色的自定义DNS名称,例如tensorboard.$user.$domain:6006。
存储策略令人满意
满足存储策略支持HDFS应用程序在存储类型之间移动块,因为它们在文件/目录上设置存储策略。它也是将存储容量与计算容量分离的解决方案。
增强型S3A连接器
此版本支持增强型S3A连接器,包括更好地恢复受限制的AWS S3和DynamoDB IO。
ABFS文件系统连接器
它支持最新的Azure Datalake Gen2存储。
重大改进
- jdk1.7配置文件已从hadoop-annotations模块中删除。
- 已从配置中删除与标记相关的冗余日志记录。
- ADLS连接器已更新为使用当前的SDK版本(2.2.7)。
- 此版本包含NM下载日志中的LocalizedResource大小信息以进行本地化。
- 此版本的Apache Hadoop能够从基于HDFS的JAR文件配置辅助服务。
- 此版本具有单独指定用户环境变量的功能。
- MetricsConfig中的调试消息。 Java已得到改进。
- 已添加容量计划程序性能指标。
- 此版本增加了对机会调度中节点标签的支持。
主要错误修复
- 针对split-dns multihome的日志记录问题已得到解决。
- 此版本中的快照加密区域信息是不可变的。
- HadoopExecutor中添加了一个关闭例程,以确保干净关闭。
- 注册表项已从ServiceClient上的ZK中删除。
- package-info的javadoc。 java已得到改进。
- AbstractSchedulerPlanFollower中的NPE已得到修复。
要了解有关此版本的更多信息,请查看Hadoop官方网站上的发行说明。
Hadoop2.3-HA高可用集群环境搭建 https://www.linuxidc.com/Linux/2017-03/142155.htm
Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署 https://www.linuxidc.com/Linux/2017-04/143095.htm
Hadoop2.7.2集群搭建详解(高可用) https://www.linuxidc.com/Linux/2017-03/142052.htm
使用Ambari来部署Hadoop集群(搭建内网HDP源) https://www.linuxidc.com/Linux/2017-03/142136.htm
Ubuntu 14.04下Hadoop集群安装 https://www.linuxidc.com/Linux/2017-02/140783.htm
CentOS 6.7安装Hadoop 2.7.2 https://www.linuxidc.com/Linux/2017-08/146232.htm
Ubuntu 16.04上构建分布式Hadoop-2.7.3集群 https://www.linuxidc.com/Linux/2017-07/145503.htm
CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建 https://www.linuxidc.com/Linux/2017-06/144932.htm
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程 https://www.linuxidc.com/Linux/2017-06/144926.htm
CentOS 7.4下编译安装Hadoop 2.7.6 及所需文件 https://www.linuxidc.com/Linux/2018-06/152786.htm
Ubuntu 16.04.3 下安装配置 Hadoop https://www.linuxidc.com/Linux/2018-04/151993.htm
CentOS 7.4下Hadoop 2.7.6安装部署 https://www.linuxidc.com/Linux/2018-08/153353.htm
CentOS 7 下搭建Hadoop 2.9 分布式集群 https://www.linuxidc.com/Linux/2018-11/155328.htm
更多Hadoop相关信息见Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13
Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx
本文永久更新链接地址:https://www.linuxidc.com/Linux/2019-01/156550.htm
