您的位置:首页 > 智能 >

环球热文:快讯|旷视天元MegEngine宣布支持CUDA INT4

来源: 网易科技报道 时间: 2022-09-05 17:42:24


(相关资料图)

【网易科技9月5日报道】据悉,为了推动低比特量化技术的发展,旷视天元MegEngine 团队开源了 INT4的源码实现,这也让MegEngine成为首个开源 CUDA INT4源码实现的深度学习框架。据介绍,MegEngine采用均匀线性量化方案,实现了非对称量化和对称量化两种INT4的数据类型,同时通过算子融合优化、kernel优化等方法,使得量化后的模型可以依然保持较高的精度以及良好的运行速度。自开源以来,MegEngine不断优化,已先后发布29个版本。(定西)

标签: 运行速度 为了推动 数据类型