谷歌今天推出了TensorFlow Runtime (TFRT)，这是其TensorFlow机器学习框架的新运行时。它在各种硬件上提供了具有高性能的统一和可扩展的基础设施层。它作为开源软件在GitHub上发布，并在今年早些时候的2020 TensorFlow Dev Summit会议上进行了预览，在一个关键的基准测试中显示，TFRT可以加快核心循环。
谷歌表示，TFRT旨在满足寻求更快模型迭代时间和更好错误报告的数据科学家的需求，以及旨在培训和服务生产模型同时提高性能的应用程序开发人员的需求。实际上，TFRT可以减少开发、验证和部署企业级模型所需的时间。调查显示，该模型可能从几周到几个月(或几年)不等。此外，它可能会击败脸书入侵的PyTorch框架，该框架继续在OpenAI、Preferred Networks和优步等公司迅速传播。
TFRT在目标硬件设备上执行内核(数学函数)。在这个开发阶段，TFRT调用一组内核，这些内核调用底层硬件，专注于低水平的效率。
与现有的TensorFlow运行时相比，该运行时是为执行图(执行操作、常量和变量的图)和训练工作量而构建的。与TFRT相比，它针对推理和紧急执行进行了优化，其中操作是从Python脚本中调用的。TFRT利用了热切执行和图形执行的一般抽象；为了获得更好的性能，它的图形执行器支持并发执行和异步API调用。
谷歌表示，在性能测试中，与TensorFlow目前的运行时间相比，TFRT将训练好的ResNet-50模型(一种流行的图像识别算法)的推理时间减少了显卡的28%。TFRT产品经理Eric、技术负责人洪明明在博客中写道：“这些早期成果是对的有力验证，我们希望它能大幅提升性能。”“高性能低级别运行时是实现今天趋势和明天创新的关键.……TFRT将使广大用户受益。”
目前，对TFRT GitHub资源库的贡献有限，TensorFlow的稳定版还没有提供TFRT。然而，谷歌表示，它将很快通过选择加入徽标来实现，最终取代现有的运行时。
标签：