专利类型:发明专利
语 言:中文
申 请 号:CN201810783905.9
申 请 日:20180717
申 请 人:重庆大学
申请人地址:400030 重庆市沙坪坝区沙正街174号
公 开 日:20181228
公 开 号:CN201810783905.9
代 理 人:吴彬
代理机构:重庆信航知识产权代理有限公司 50218
摘 要:本发明公开了一种结合卷积神经网络和概念机递归神经网络的图像分类方法,包括步骤:1)搭建并训练Resnet50残差神经网络;2)搭建概念机递归神经网络;3)将Resnet50残差神经网络结构和概念机递归神经网络进行融合;4)把图像的训练样本集输入融合后的神经网络;5)对于储备池状态序列x(1),…x(L),构建代价函数;6)通过训练样本的每类图像得到概念机;7)对于每一类图像计算反向概念机;8)计算出测试样本所属的图像类别。本发明不仅可利用卷积神经网络的迁移学习把已学好的模型参数迁移到新的模型来帮助新模型训练,还可以利用概念机递归神经网络进行增量式的学习识别新的图像而不必对已学习的图像进行重复学习和训练。
主 权 项:1.结合卷积神经网络和概念机递归神经网络的图像分类方法,其特征在于:包括以下步骤:1)搭建Resnet50残差神经网络,所述Resnet50残差神经网络包含卷积层、池化层和最后的全连接层,基于ImageNet图像数据集训练Resnet50残差神经网络,当训练迭代次数大于指定迭代次数时训练结束,保存Resnet50残差神经网络的卷积层参数和池化层参数作为预训练网络模型;2)搭建概念机递归神经网络,所述概念机递归神经网络由输入神经元、储备池神经元和输出神经元组成,全部的储备池神经元构成储备池,储备池神经元之间的连接矩阵符合ESN规则,即储备池内部连接权值矩阵的谱半径β<1,以保证储备池具有回声状态属性;储备池激励函数采用双曲正切函数,网络的更新方程为:xj(n+1)=tanh(W*xj(n)+Win*pj(n+1)+b)其中,Win为输入层神经元与储备池神经元之间的输入权值矩阵,由标准正态分布的随机数组成;W为储备池神经元之间的连接权值矩阵,先由标准正态分布的随机数生成,再约束其谱半径β<1;b为偏置,值为1;pj(n+1)为概念机递归神经网络的输入,即Resnet50残差神经网络最后的池化层输出;Win、W和b生成之后固定不变;xj(n)是储备池上一个时刻的状态空间;n是指一个时刻,下标j是输入图像样本的顺序编号;3)去除Resnet50残差神经网络结构的全连接层,加载预训练网络模型的卷积层参数和池化层参数,将Resnet50残差神经网络最后的池化层输出作为概念机递归神经网络的输入,即把Resnet50残差神经网络最后的池化层的输出作为概念机递归神经网络的训练样本集,从而将Resnet50残差神经网络和概念机递归神经网络融合以进行新模型的训练;4)把图像的训练样本集输入融合后的神经网络,计算并记录由概念机递归神经网络的输入即Resnet50残差神经网络的输出pj所激发的储备池内部状态集{xj};5)对于储备池状态序列x(1),…x(L),构建如下的代价函数:其中C为概念机矩阵,它描述了储备池状态空间的特征;α≥0,是一个调节参数,通过调节α可找到一个使目标函数最小化的平衡点;L是指此类图像的样本数;通过随机梯度下降法得到概念机C:C(R,α)=R(R+α?2I)?1其中,R=XXT/L,为状态相关矩阵,X为状态集{x1},XT是X的转置;I是单位矩阵;根据Frobenius平方范数的梯度寻找合适的α:用于衡量概念机C在指数尺度上的敏感度,当达到最大值,C对数据变化的敏感程度最大;6)通过概念念机神经网络的输入pj得到概念机Cj;7)对于每一类图像计算反向概念机符号表示逻辑非操作,符号∨表示逻辑或操作;给定两个概念机矩阵C1、C2和一个单位矩阵I,可以进行如下逻辑操作:逻辑非操作逻辑与操作(∧):C1∧C2=(C1?1+C2?1?I)?1逻辑或操作8)将概念机递归神经网络的训练样本p1,p2,…都加载到储备池中,则可以对测试样本集pi进行识别,通过步骤4)得到测试样本集pi的储备池内部状态集{xi},计算图像的正向判别依据:E+(C,X)=XTCX同样的再根据概念机计算图像的反向判别依据:E?(C?,X)=XTC?X结合这两种判别依据得到一个综合判别依据:E+?(C,C?,X)=E+(C,X)+E?(C?,X)通过训练样本计算得到的概念机Cj、和测试样本所激发的储备池状态,计算出测试样本所属的图像类别:j*就是测试图像的所属类别,j=1,…,M;M为图像的类别数量。
关 键 词:
法律状态:公开
IPC专利分类号:G06K9/62;G06K9/00;G06N3/04;G06N3/00;G06N3/08;G06N3/00;G;G06;G06K;G06N;G06K9;G06N3;G06K9/62;G06K9/00;G06N3/04;G06N3/00;G06N3/08;G06N3/00