手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop 3.2.0发布,支持YARN节点属性

[日期:2019-01-25] 来源:Linux公社  作者:醉落红尘 [字体: ]

Apache Hadoop团队发布了Apache Hadoop 3.2.0,这是一个用于分布式存储和处理大型数据集的开源软件平台。此版本是3.2版本系列中的第一个版本,目前还不能正常使用,也不能投入生产。

Hadoop 3.2.0有什么新功能?

YARN中支持节点属性

此版本具有节点属性,可帮助根据节点属性标记节点上的多个标签。它还有助于根据这些标签的表达来放置容器。它与任何队列都没有关联,因此不需要为属性排队资源规划和授权。

YARN上的Hadoop submarine

此版本附带Hadoop Submarine,使数据工程师能够在数据所在的同一Hadoop YARN集群上的TensorFlow中开发,培训和部署深度学习模型。它还允许在HDFS(Hadoop分布式文件系统)和其他存储中访问数据/模型的作业。它支持用户指定的Docker镜像和角色的自定义DNS名称,例如tensorboard.$user.$domain:6006

存储策略令人满意

满足存储策略支持HDFS应用程序在存储类型之间移动块,因为它们在文件/目录上设置存储策略。它也是将存储容量与计算容量分离的解决方案。

增强型S3A连接器

此版本支持增强型S3A连接器,包括更好地恢复受限制的AWS S3和DynamoDB IO。

ABFS文件系统连接器

它支持最新的Azure Datalake Gen2存储。

重大改进

  • jdk1.7配置文件已从hadoop-annotations模块中删除。
  • 已从配置中删除与标记相关的冗余日志记录。
  • ADLS连接器已更新为使用当前的SDK版本(2.2.7)。
  • 此版本包含NM下载日志中的LocalizedResource大小信息以进行本地化。
  • 此版本的Apache Hadoop能够从基于HDFS的JAR文件配置辅助服务。
  • 此版本具有单独指定用户环境变量的功能。
  • MetricsConfig中的调试消息。 Java已得到改进。
  • 已添加容量计划程序性能指标。
  • 此版本增加了对机会调度中节点标签的支持。

主要错误修复

  • 针对split-dns multihome的日志记录问题已得到解决。
  • 此版本中的快照加密区域信息是不可变的。
  • HadoopExecutor中添加了一个关闭例程,以确保干净关闭。
  • 注册表项已从ServiceClient上的ZK中删除。
  • package-info的javadoc。 java已得到改进。
  • AbstractSchedulerPlanFollower中的NPE已得到修复。

要了解有关此版本的更多信息,请查看Hadoop官方网站上的发行说明

Hadoop2.3-HA高可用集群环境搭建  https://www.linuxidc.com/Linux/2017-03/142155.htm
Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署  https://www.linuxidc.com/Linux/2017-04/143095.htm
Hadoop2.7.2集群搭建详解(高可用)  https://www.linuxidc.com/Linux/2017-03/142052.htm
使用Ambari来部署Hadoop集群(搭建内网HDP源)  https://www.linuxidc.com/Linux/2017-03/142136.htm
Ubuntu 14.04下Hadoop集群安装  https://www.linuxidc.com/Linux/2017-02/140783.htm
CentOS 6.7安装Hadoop 2.7.2  https://www.linuxidc.com/Linux/2017-08/146232.htm
Ubuntu 16.04上构建分布式Hadoop-2.7.3集群  https://www.linuxidc.com/Linux/2017-07/145503.htm
CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建  https://www.linuxidc.com/Linux/2017-06/144932.htm
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程  https://www.linuxidc.com/Linux/2017-06/144926.htm
CentOS 7.4下编译安装Hadoop 2.7.6 及所需文件  https://www.linuxidc.com/Linux/2018-06/152786.htm
Ubuntu 16.04.3 下安装配置 Hadoop https://www.linuxidc.com/Linux/2018-04/151993.htm
CentOS 7.4下Hadoop 2.7.6安装部署  https://www.linuxidc.com/Linux/2018-08/153353.htm
CentOS 7 下搭建Hadoop 2.9 分布式集群  https://www.linuxidc.com/Linux/2018-11/155328.htm

更多Hadoop相关信息见Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-01/156550.htm

linux
相关资讯       Hadoop  Hadoop 3.2.0 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款