Khronos 发布训练好的神经网络优化部署标准NNEF 1.0

Khronos 会员标准采用不断增长,开源工具生态系统不断扩展

SIGGRAPH, 温哥华– 2018813– 6:00 AM PT–  The KhronosGroup,一个由领先硬件和软件公司组成的、致力于创建高级加速标准的开放组织,今天宣布公开发布NNEF™1.0 (神经网络交换格式)规范。经过搜集来自业界对预测版规范的反馈建议,Khronos发布了NNEF 1.0,为硬件制造商带了一个稳定、灵活可扩展的开放标准,以部署优化加速神经网络推论到各种高端设备上。随同该标准的发布,现在工具生态系统也在GitHub上发布,包括从Tensorflow 和Caffe的NNEF解析器和转换器。受欢迎的推论环境导入器,包括安卓的神经网络API (NNAPI)和Khronos的OpenVX™,都已完成开发。

NNEF的创建是为了通过促进训练框架和推论引擎之间神经网络的交换,提高开发者混合和匹配推论和训练解决方案的自由度,最终减少业界分裂。这个开放、免版税标准,是Khronos NNEF工作组的业界领先会员单位的共同合作成果,为硬件和软件公司在确保响应machine learning产业迅速发展的灵活性的同时,可以拥有坚实基础,完成产品部署发展。

NNEF可用于各种使用案例和网络类型。其基础格式是针对人类可读和简化编写和优化设计的,包括操作器精准度和复杂操作的灵活表示方法,以完成到各种加速器架构的最佳匹配。NNEF扩展实现了大型网络的人类编辑和具体问题的处理,例如为经训练的网络值定制数据格式。

“Khronos意识到了公司在部署训练好的神经网络到高端设备过程中不断发展的格式僵局。我们开始建立首个开放标准解决方案,为工程师们带来各种推理引擎的优化和部署训练好的网络。核心NNEF 1.0将实现当今的高端解决方案并灵活地融入到其扩展机制中”,Khronos NNEF工作组主席Peter McGuinness讲到。“2017年12月,我们发布了开发者预览版NNEF规范并公开征集业界反馈。社群积极响应,表明了对这个标准的强烈需求并帮助我们完成了NNEF 1.0规范”。

一个完整的工作流,从优化到部署,都可以使用NNEF作为一个标准化传输格式。自标准发布之时,即将由两个开源Tensorflow转换器支持,既可用于基于protobuf和python代码的网络描述,也可用于Caffe的转换器。Au-Zone Technologies正在开发一个Caffe 2 开源导入/导出器,即将在2018年第三季度推出。各种来自会员公司的工具,例如Almotive和AMD,都在开发过程中,包括台湾国立清华大学的安卓NNAPI导入器。

NNEF工作组致力于实现并鼓励在高速发展的训练框架之间的可靠的交互转换,包括Torch、Chainer、Theano、PyTorch和带有开源导入器和导出器的MXNet。另外还有其他开源工具,包括NNEF语法分析器和验证器,现已在市场推出,简化了定制、移动和嵌入式高端推论环境的导入器的开发,例如Apple的Core ML和Khronos 的用于视觉和推论runtime加速的OpenVX标准。

NNEF 1.0 规范和文件可在Khronos网站上免费获取,NNEF开源工具和项目可以在Khronos NNEF 工具库获取。Khronos文件格式采用者项目现已推出,完全免费,实现NNEF用户拥有一个正式许可以使用NNEF商标并受到Khronos知识产权框架保护的愿望。

业界支持

“最近几个月,我们的一些汽车和其他领域的合作伙伴就他们对全新的神经网络加速硬件平台所带来的挑战和工作表示担心。我们多次公开表示NNEF绝对是这些挑战的解决方案。作为NNEF工作组发起成员之一,我们很高兴看到这个标准的完成,并已经有很多主要厂商采用。作为首个神经网络硬件IP供应商之一,带来了完全支持NNEF的SDK,我们坚信NNEF将在全球神经网络生态系统中不断受到广泛采用,成为神经网络交换的值得信赖的国际标准,”AImotive 公司硬件工程部负责人Marton Feher

“Imagination恭祝NNEF的发布。多年来PowerVR一直是Khronos标准的采用者,并在我们的PowerVR GPU和我们的PowerVR NNA硬件上支持神经网络,交互操作一直都是我们客户关心的问题。NNEF标准的推出将实现更好的神经网络在不同业界的交互转换,”Imagination公司市场部副总裁David Harold

关于The Khronos Group

The Khronos Group是一个开源组织,致力于创建开放标准,以实现并行计算、图形、视觉和神经网络在各种平台和设备上的编写和加速。Khronos标准包括Vulkan®, OpenGL®, OpenGL® ES, OpenGL® SC, WebGL™, SPIR-V™, OpenCL™, SYCL™, OpenVX™, NNEF™, COLLADA™, OpenXR™ 和glTF™。Khronos会员可以为Khronos规范的开发做出贡献,在标准公开部署之前的不同阶段拥有投票权,并通过提前获取规范草本和一致性测试加速其高端加速平台和应用的推出。更多关于The Khronos Group的信息,请浏览:Khronos.org

###

Khronos, EGL, glTF, NNEF, OpenVG, OpenVX, OpenXR, SPIR, SPIR-V, SYCL, Vulkan 和WebGL是The Khronos Group Inc.的商标或注册商标。OpenCL是Apple Inc.的商标,OpenGL是注册商标,OpenGL ES 和OpenGL SC 标识是Hewlett Packard Enterprise的商标,由Khronos在许可下使用。全部其他产品名称、商标和/或公司名称仅用于识别并归属于各自所有者。