手机版
你好,游客 登录 注册
背景:
阅读新闻

TensorFlow团队发布带有新的移动GPU后端支持的TensorFlow Lite开发预览版

[日期:2019-01-20] 来源:Linux公社  作者:醉落红尘 [字体: ]

本周早些时候,TensorFlow团队发布了对TensorFlow Lite新增GPU后端支持的开发者预览版。计划于2019年晚些时候推出完整的开源版本。

该团队已经在他们的产品中使用谷歌的TensorFlow Lite GPU inference支持已有几个月了。例如,使用新的GPU后端加速前景 - 背景分割模型超过4倍,新的深度估计模型加速超过10倍。同样,使用GPU后端支持YouTube故事和游乐场贴纸,团队看到速度提高在各种手机的实时视频分割模型中,最多可达5-10倍。

他们发现,与不同深度神经网络模型的原始浮点CPU实现相比,新GPU后端的性能要快得多(快2-7倍)。该团队还指出,GPU速度对于涉及密集预测/分段或分类任务的更复杂的神经网络模型最为重要。对于小型号,加速可以更少,并且使用CPU将更有益,因为它将避免在存储器传输期间的延迟成本。

它是如何工作的?

一旦在Objective-C++中调用解释器:: ModifyGraphWithDelegate()或者使用Java中的Interpreter.Options调用Interpreter的构造函数,GPU委托首先被初始化。在此过程中,建立输入神经网络的规范表示,在该规范上应用一组变换规则。

在此之后,生成并编译计算着色器。 GPU后端目前在iOS上使用Android上的OpenGL ES 3.1 Compute Shaders和iOS上的Metal Compute Shaders。在创建计算着色器时采用各种特定于体系结构的优化。优化完成后,将编译着色器程序并准备好新的GPU推理引擎。根据每个输入的推断,如果需要,输入将移至GPU,执行着色器程序,并在必要时将输出移至CPU。

该团队打算在未来扩展操作范围,最终确定API并优化GPU后端的整体性能。

有关更多信息,请查看官方TensorFlow Lite GPU inference发行说明

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2019-01/156446.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款