基于图像序列的空洞填充方法

专利类型：发明专利

语言：中文

申请号：CN201410271105.0

申请日：20140617

发明人：刘然曹东华田逢春李博乐黄振伟邓泽坤贾瑞双徐苗谭迎春谭伟敏

申请人：四川虹微技术有限公司重庆大学

申请人地址：610041 四川省成都市高新区天府大道南延线天府软件园B区5座3楼

公开日：20151021

公开号：CN104065946B

代理人：温利平

代理机构：成都行之专利代理事务所(普通合伙) 51220

摘　　要：本发明公开了一种基于图像序列的空洞填充方法，根据三维图像变换前后的参考图像R_t和目标图像D_t得到视差图，对目标图像D_t进行小空洞预处理，根据参考图像R_t前后的一组邻近参考图像生成邻近目标图像，计算邻近目标图像与目标图像D_t的深度差值，对邻近目标图像中的像素点进行可用标记，从邻近目标图像拷贝可用像素点对目标图像D_t进行空洞填充，然后使用邻近参考图像对目标图像D_t采用运动补偿的方式进行空洞填充，此时再对小于阈值的空洞采用基于视差图的空洞填充方法，然后选取下一组邻近参考图像进行填充；最终剩下的空洞由图像修复算法完成填充。本发明只需一路视频，可达到较佳的图像质量，节省传输视频数据所需的带宽，减少硬件实现的时间复杂度。

主权项：一种基于图像序列的空洞填充方法，其特征在于，包括以下步骤：S1：根据三维图像变换前后的参考图像R_t和目标图像D_t，计算各对应像素点的视差矢量，得到视差图MV_D_tR_t；S2：对目标图像D_t进行小空洞预处理，包括以下步骤：S2.1对目标图像D_t进行中值滤波；S2.2：按从左往右的顺序遍历视差图MV_D_tR_t，检测空洞，除图像边缘的空洞以外，当空洞的连续空洞点个数小于空洞长度阈值len，进入步骤S2.4，否则进入步骤S2.3；S2.3：判断该空洞两端的像素点是否均为前景像素点，如果是，进入步骤S2.4，否则不作任何操作：S2.4：对该空洞采用基于视差图的空洞填充方法进行填充；S3：基于图像序列依次对剩余空洞进行填充，具体步骤包括：S3.1：设置k＝1；S3.2：根据图像序列中的参考图像R_t?k和参考图像R_t+k，得到目标图像D_t?k和目标图像D_t+k；S3.3：将当前目标图像D_t的深度图，分别与目标图像D_t?k和D_t+k的深度图求差，得到两个深度差值矩阵，遍历深度差值矩阵，当深度差值大于0且小于预设阈值时，将目标图像D_t?k或D_t+k中的对应像素点的可用标记设置为1，否则设置为0；当目标图像D_t?k或D_t+k不存在时，直接将对应像素点的可用标记设置为0；S3.4：按行遍历视差图MV_D_tR_t，如果检测到D_t(u,v)为空洞点，按以下方法进行填充： $D_{t} (u, v) = \{\begin{matrix} D_{t + k} (u, v), & m_{t - k} (u, v) = 0, m_{t + k} (u, v) = 1 \\ D_{t - k} (u, v), & m_{t - k} (u, v) = 1, m_{t + k} (u, v) = 0 \\ (D_{t + k} (u, v) + D_{t - k} (u, v)) / 2, & m_{t - k} (u, v) = 1, m_{t + k} (u, v) = 1 \\ 0, & m_{t - k} (u, v) = 0, m_{t + k} (u, v) = 0 \end{matrix}$ 其中，D_t(u,v)表示目标图像D_t中的像素点(u,v)，D_t?k(u,v)表示目标图像D_t?k中的像素点(u,v)，m_t?k(u,v)表示目标图像D_t?k中像素点(u,v)的可用标记，D_t+k(u,v)表示目标图像D_t+k中的像素点(u,v)，m_t+k(u,v)表示目标图像D_t+k中像素点(u,v)的可用标记；同时将目标图像D_t中行方向上距离D_t(u,v)最近的背景像素点的视差值和深度值作为D_t(u,v)的视差值和深度值更新视差图和深度图；S3.5：分别判断参考图像R_t?k、R_t+k与参考图像R_t相比，前景是否相对于背景发生运动，如果是，则将参考图像R_t?k或R_t+k记为图像R′，对目标图像D_t进行运动补偿后进入步骤S3.6，否则进入步骤S3.6，运动补偿的方法为：遍历当前目标图像D_t的视差图，得到所有空洞的非空洞端点中为背景像素的端点集合，依次选择端点集合中的各个端点D_t(p,q)，通过视差值得到参考图像中的对应像素点R_t(p′,q′)，选取以像素点R_t(p′,q′+αn)为中心、边长为2n+1的图像块作为当前块，其中n为正整数，α为偏移方向指示，当端点D_t(p,q)为空洞的左端点，α＝?1，当端点D_t(p,q)为空洞的右端点，α＝1；在图像R′中搜索当前块的最佳匹配块，计算得到当前块至匹配块的运动矢量然后对目标图像D_t中以D_t(p,q?αn)为中心、边长为n的图像块中的空洞点进行填充，当D_t(p+i,q?αn+j)为空洞点，其中i、j的取值范围分别为?n≤i≤n、?n≤j≤n，图像R′中用于填充该空洞点的像素点为同时将目标图像D_t中行方向上距离D_t(p+i,q?αn+j)最近的背景像素点的视差值和深度值作为像素点D_t(p+i,q?αn+j)的视差值和深度值更新视差图和深度图；S3.6：遍历视差图MV_D_tR_t，检测空洞，当空洞的连续空洞点个数小于空洞长度阈值len，采用基于视差图的空洞填充方法对该空洞进行填充，否则不作任何操作；S3.7：判断是否k＝max(a,b)，其中a表示图像序列中参考图像R_t之前的可用图像数量，b表示图像序列中参考图像R_t之后的可用图像数量，如果是，进入步骤S4，否则令k＝k+1，返回步骤S3.2；S4：采用图像修复方法对步骤S3得到的目标图像进行修复。

关键词：

法律状态：公开

IPC专利分类号：H04N13/00(2006.01)I