首页 > 专利技术

利用激活稀疏化的神经网络加速和嵌入压缩系统和方法[发明专利]

专利名称：利用激活稀疏化的神经网络加速和嵌入压缩系统和方法

专利类型：发明专利

发明人：严恩勖，王维

申请号：CN201980054375.7

申请日：20190621

公开号：CN112585619A

公开日：

20210330

专利内容由知识产权出版社提供

摘要：用于(i)加快深度神经网络(DNN)的推理速度和(ii)将DNN产生的矢量表示从各种输入数据(诸如，图像、音频、视频，以及文本)中压缩出来的系统、方法，以及计算机可读介质。方法实施例将神经网络架构和与任务相关的损失函数作为输入，测量神经网络在训练数据集上的性能，并输出具有稀疏神经元激活的深度神经网络。本发明的流程利用正则化项增强了DNN现有训练目标函数，促进神经元的稀疏激活，并通过利用各种算法来解决优化问题来对DNN进行压缩。本公开还示出了如何在DNN推断过程中利用激活的稀疏化，从而可以使算术运算的次数成比例地减少，以及如何使用由DNN产生的稀疏表示来构建高效的搜索引擎。

申请人：墨芯人工智能有限公司

地址：美国加利福尼亚州

国籍：US

代理机构：北京东方亿思知识产权代理有限责任公司

代理人：杨佳婧

本文发布于:2024-09-23 09:31:41，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/3/420340.html

上一篇：一种透明水凝胶及其制备方法和应用[发明专利]

下一篇：专利的商业价值如何利用专利实现商业成功