三维图像空洞填充方法

专利类型：发明专利

语言：中文

申请号：CN201410269539.7

申请日：20140617

发明人：刘然曹东华田逢春李博乐黄振伟邓泽坤贾瑞双徐苗谭迎春谭伟敏

申请人：四川虹微技术有限公司重庆大学

申请人地址：610041 四川省成都市高新区天府大道南延线天府软件园B区5座3楼

公开日：20160113

公开号：CN104038753B

代理人：温利平

代理机构：成都行之专利代理事务所(普通合伙) 51220

摘　　要：本发明公开了一种三维图像空洞填充方法，对于根据参考图像生成的目标图像中的空洞，采用图像序列中其他帧参考图像或对应目标图像进行填充，对于利用参考图像的方法，在参考图像中得到空洞边缘像素点对应的像素点，以该像素点为中心选取当前块，在其他帧参考图像中搜索得到匹配块，用该匹配块中的像素点对空洞点进行填充；对于利用目标图像的方法，在得到其他帧参考图像中的匹配块后，计算参考图像间块的运动矢量，再计算目标图像间块的运动矢量，以空洞边缘像素点为中心选取当前块，根据目标图像运动矢量得到其他帧目标图像的匹配块，再用该匹配块中的像素点对空洞点进行填充。本发明利用图像序列中其他图像信息进行空洞填充，填充效果较好。

主权项：一种三维图像空洞填充方法，其特征在于，包括以下步骤：S1：根据参考图像序列中的第k帧参考图像及其深度图，通过三维图像变换得到目标图像及其深度图；S2：选取用于空洞填充的第k′帧参考图像，根据该参考图像及其深度图，通过三维图像变换得到目标图像及其深度图；S3：依次对第k帧目标图像的各个空洞进行填充，填充方法为：S3.1：当第k帧目标图像为右视图，则选取空洞右边缘的非空洞像素点，当第k帧目标图像为左视图，则选取空洞左边缘的非空洞像素点，将该像素点记为(u,v)，运用逆三维图像变换得到第k帧参考图像中的对应像素点(u′,v′)；S3.2：在第k帧参考图像中以像素点(u′,v′)为中心，选取大小为N×N的块作为当前块，其中N＝2n+1，n为正整数；S3.3：在第k′帧参考图像中以像素点(u′,v′)为中心，在大小为M×M的搜索窗中搜索得到最佳匹配块，其中M＞N，最佳匹配块的中心像素点记为(u″,v″)；S3.4：计算当前块与匹配块之间的运动矢量mv_r，再根据运动矢量mv_r计算第k帧目标图像与第k′帧目标图像的运动矢量mv_s，计算公式为： ${mv}_{s} = K_{s} R_{s} R_{r}^{- 1} K_{r}^{- 1} (\frac{z_{r}^{'}}{z_{s}^{'}} {mv}_{r} + (\frac{z_{r}^{'}}{z_{s}^{'}} - \frac{z_{r}}{z_{s}}) [\begin{matrix} u^{'} \\ v^{'} \\ 1 \end{matrix}]) - K_{s} R_{s} R_{r}^{- 1} T_{s} (\frac{1}{z_{s}^{'}} - \frac{1}{z_{s}}) + K_{s} T_{s} (\frac{1}{z_{s}^{'}} - \frac{1}{z_{s}})$ 其中，K_s和K_r分别表示目标图像和参考图像所对应摄像机的内部参数矩阵，R_s和R_r分别表示目标图像和参考图像所对应摄像机的旋转变换矩阵，T_s和T_r分别表示目标图像和参考图像所对应摄像机的平移变换矩阵，上标?1表示矩阵求逆，其中，z_s＝(R_s[x_w,y_w,z_w]^T+T)₃，z′_s＝(R_s[x′_w,y′_w,z′_w]^T+T)₃，(·)₃表示向量的第3个分量， $[\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \end{matrix}] = z_{r} R_{r}^{- 1} K^{- 1} [\begin{matrix} u^{'} \\ v^{'} \\ 1 \end{matrix}] - R_{r}^{- 1} T_{r}$ $[\begin{matrix} x_{w}^{'} \\ y_{w}^{'} \\ z_{w}^{'} \end{matrix}] = z_{r}^{'} R_{r}^{- 1} K^{- 1} [\begin{matrix} u^{''} \\ v^{''} \\ 1 \end{matrix}] - R_{r}^{- 1} T_{r}$ z_r表示第k帧参考图像中像素点(u′,v′)的深度值，z′_r表示第k′帧参考图像中像素点(u″,v″)的深度值；S3.5：在第k帧目标图像中以像素点(u,v)为中心，选取大小为N×N的当前块，根据mv_s在第k′帧目标图像中得到匹配块，匹配块的中心像素点记为S3.6：当第k帧目标图像中的像素点(u+i,v+j)为空洞点时，将第k′帧目标图像中的像素点及其深度值复制到该空洞点，其中i、j的取值范围分别为?n≤i≤n、?n≤j≤n。

关键词：

法律状态：公开

IPC专利分类号：H04N13/00(2006.01)I