手机版
你好,游客 登录 注册
背景:
阅读新闻

Deeplearning4J 1.0.0-beta4发布,完整的多数据类型支持

[日期:2019-05-04] 来源:Linux公社  作者:醉落红尘 [字体: ]

昨天,Deep Learning For Java(DL4J)发布了他们的新测试版DL4J 1.0.0-beta4。与以前的版本不同,此版本的主要亮点是对ND4J和DL4J的完整多数据类型支持。之前的版本deeplearning4j-1.0.0-beta3于去年发布。这个1.0.0-beta4版本还包括MKL-DNN支持的添加,新的关注层,以及更多优化和错误修复。

DL4J 1.0.0-beta4有什么新功能?

完整的多数据类型支持

在以前的版本中,ND4J中的所有N维数组都限制为单一数据类型,全局设置。现在,可以同时使用所有数据类型的数组。支持的数据类型为Double,Float,Half,Long,Int,Short,Ubyte,Byte,Bool和UTF8。

CUDA支持

已添加CUDA 10.1支持,并且已删除CUDA 9.0支持。 DL4J 1.0.0-beta4还支持CUDA版本9.2,10.0和10.1。不再提供Mac(OSX)CUDA二进制文件。但是,仍然可以使用对Linux和Windows CUDA以及OSX CPU(x86_64)的支持。

内存管理更改

  • 在DL4J 1.0.0-beta4中,默认情况下禁用定期垃圾收集;相反,只有在需要从工作空间外分配的数组中回收内存时,才会调用垃圾收集(GC)。
  • Deeplearning4J: Bug修复和优化
  • 如果抛出内存不足异常,cuDNN帮助程序将不再尝试依赖内置层实现。
  • 批量标准化全局方差重新参数化,以避免在分布式训练过程中出现下溢和零/负方差。
  • 修正了在使用带有dropout的转移学习时,dropout实例在层之间被错误共享的错误。
  • ND4J和SameDiff

功能和增强功能

  • 删除了对周期性垃圾收集调用的依赖,以处理工作空间外(分离的)INDArrays的内存管理。
  • 新增功能——TensorFlowImportValidator工具,INDArray.close()方法,Nd4j。添加了createFromNpzFile方法,支持将BERT模型导入SameDiff, SameDiff GraphTransformUtil等。
  • 现在支持4d (CNN分割)数据格式。

错误修复和优化

  • 使用[1,1]形状矩阵的InvertMatrix.invert()的bug已经修复。
  • 长度为1的状态数组的更新实例的边缘情况错误已经修复。
  • 在SameDiff中,不再为非浮点变量定义梯度,并且不需要计算损耗或参数梯度的变量,因此梯度计算性能得到改善。

要了解有关该版本的更多信息,请查看详细的发行说明

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-05/158472.htm

linux
相关资讯       Deep Learning For Java  DL4J 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款