一种基于人脸姿态估计的人机交互方法
专利类型：发明专利
语 言：中文
申 请 号：CN200910103884.2
申 请 日：20090519
申 请 人：重庆大学
申请人地址：400044 重庆市沙坪坝区沙正街174号
公 开 日：20110209
公 开 号：CN101561710B
代 理 人：刘小红
代理机构：重庆市恒信知识产权代理有限公司 50102
摘 要：本发明涉及一种基于人脸姿态估计的人机交互装置及方法，实现的步骤是：经摄像头得到人脸图像序列，在进行预处理后自动提取两个眼角、两个嘴角和鼻尖5个特征点；以一幅正面图像为参考，根据5个特征点的位置及对应关系估计任意图像中人脸的3个偏转角度；由这些姿态信息定义鼠标指针位置和操作方式，生成人机交互信息；通过USB接口连接到计算机，形成一种新的视觉鼠标装置。该装置作为传统人机交互方法的补充，适用于一些特殊的交互人群(如肢残人士)和交互环境(如多媒体游戏)，具有显著的应用价值。
主 权 项：1、一种基于人脸姿态估计的人机交互方法，方法包括以下步骤：A)将经光学镜头及CMOS图像传感器组件得到的人脸数字图像序列，通过DSP的数字视频高速通道实现数据采集，并由DSP完成视频处理算法；B)对人脸数字图像进行预处理首先进行图像降噪：采用非线性扩散方法实现噪声抑制，其中边缘映射采用目标点邻域四个方向带状区域的方差计算法；方差计算过程中的区域求和采用积分图实现，以减少计算量；其次，对图像中的人脸进行定位，并进行区域划分，用模板匹配方法得到人脸的大概位置，然后根据人脸结构特征先验知识将人脸划分成左右眼、鼻和嘴四个区域；最后进行边缘检测，考查任意图像点梯度的大小和方向，根据图像点与邻域8点的梯度方向的一致性，将所有9点的梯度求矢量和，用其模值作为该图像点新的灰度值，得到边缘图像；C)定位人脸的2个两个眼睛的内眼角、2个嘴角和鼻尖共5个特征点：①定位眼角：首先，在人眼的初步区域内采用灰度投影法确定眼球中心位置，并以此划出矩形区域作为眼睛的确切位置；然后，在该区域内采用最大类间方差法确定阈值，对边缘图像进行二值化处理，并限制连通点数；最后，对人眼连通区域提取最左(右)点作为眼角点；②定位嘴角：先采用唇色样本训练含两个高斯函数的混合高斯模型，计算嘴巴区域内任意点属于嘴唇的概率，并规格化后作为该点新的灰度信息，再应用眼角定位相同的方法提取嘴角位置；③定位鼻尖：先在鼻子区域内采用灰度投影法搜索两个鼻孔位置，然后在鼻孔上方查找高光点作为鼻尖位置；D)估计人脸的3个偏转角度①坐标变换：首先，计算两个眼角的中心位置，作为图像原点将所有特征点进行坐标变换；其次，计算两个嘴角点的中心位置并记录，得到两个眼角、眼角中心、鼻尖、嘴角中心共5个新的特征点；②对一幅正面图像以及有偏转角度的实时图像分别获得5个特征点的坐标，完成坐标变换并建立对应关系；③利用两幅图像对应5点的坐标，由针孔摄像机模型，根据算法特点作出一些合乎情理且不影响结果的简化假设，最后利用对极几何原理进行推导，估计任意图像中人脸的姿态，得到三个偏转角度；E)生成人机交互信息由三个偏转角度定义鼠标位置和操作方式，根据其中两个角度值定位鼠标指针位置，用另一角度的帧间变化量定义鼠标的操作，生成人机交互信息；F)连接计算机实现通信按照标准USB鼠标的通信协议开发USB接口并编写驱动程序，将前面获取的人机交互信息传送到计算机，形成一种新的视觉鼠标装置。
关 键 词：
法律状态：生效
IPC专利分类号：G06F3/01; G06K9/00