一种适用于嵌入式设备的部分二值卷积方法
专利类型：发明专利
语 言：中文
申 请 号：CN201810706834.2
申 请 日：20180702
申 请 人：重庆大学
申请人地址：400044 重庆市沙坪坝区沙坪坝沙正街174号
公 开 日：20181225
公 开 号：CN201810706834.2
代 理 人：唐开平
代理机构：重庆大学专利中心 50201
摘 要：本发明公开了一种适用于嵌入式设备的部分二值化卷积方法,属于深度学习的模型压缩方法，它包括步骤1、对给定CNN的每一个卷积层，根据每个输出特征图的统计量测量出每个卷积核的重要性；将每层的卷积核分别构成两组；步骤2、将两组卷积核在存储空间上进行重新排列使同组卷积核的存储位置邻近，记录重排顺序，生成新的卷积层；步骤3、根据步骤2的重排顺序改变下一个卷积层卷积核的通道顺序；步骤4、根据以上步骤处理后的CNN进行微调训练，对划分为非重要的卷积层执行二值量化，整个网络通过量化与训练的迭代操作逐步恢复准确率。本发明确保了给定CNN在大数据集上的准确度的同时，减少了卷积神经网络在嵌入式设备上的计算、存储开销。
主 权 项：1.一种适用于嵌入式设备的部分二值卷积方法，其特征是：包括有以下步骤：步骤1、对给定深度卷积神经网络的每一个卷积层，根据每个输出特征图的统计量测量出每个卷积核的重要性；并将每层的卷积核按照重要性进行排序，设定卷积核重要性阈值，把大于阈值和小于阈值的卷积核分为两组；步骤2、将两组卷积核在存储空间上进行重新排列，使同组卷积核的存储位置邻近，保存重排顺序，为重排后的每组卷积核生成新的卷积层；步骤3、根据步骤2的重排顺序改变下一个卷积层卷积核的通道顺序，使得每个卷积核的通道顺序与重排顺序一致；步骤4、根据以上步骤处理后的CNN进行微调训练，对划分为重要的卷积层保留其全精度，对划分为非重要的卷积层执行二值量化，整个网络通过量化与训练的迭代操作逐步恢复准确度。
关 键 词：
法律状态：公开
IPC专利分类号：G06N3/04;G06N3/00;G;G06;G06N;G06N3;G06N3/04;G06N3/00