DCC2020：基于局部纹理相关性优化帧内预测RDO

局部纹理相关性

早在1970s就有图像相关性模型的研究，研究认为像素值满足均值为0，方差固定的高斯分布。像素Ix,y和Ix’,y’的相关性计算如下：

(x,y)表示像素的坐标。不同的u和v会导致相关性沿着不同方向。考虑到视频编码是以块为单位进行，通常使用皮尔森相关系数来评价块间的相关性。假设当前块是B，其相邻块是B?，则它们间的相关性如下：

块尺寸设为8×8，所以S=64。此外，B和B?间的位置偏移(Δx,Δy)限制在[-8,8]。ε防止分母为0。

图中的山脊表示沿该纹理方向的块有着强相关性。同时，局部纹理的连续性也可以用于决定块的最优帧内预测模式。

一般，通过块的相关性来研究局部纹理特征。假设给定一个块B，它沿着特定方向纹理M_i,cur，对于B的第k个相邻块其模式为M_k,nei。则M_k,nei的期望为：

N是相邻块的数量，它满足p?的限制。M_i,cur和E(M_k,nei)的关系如Fig.4所示，可以看到随着p?的下界增加，M_i,cur和E(M_k,nei)的一致性更强。

以上揭示了强相关性通常发生在纹理方向上。块间的相关性越强它们的纹理方向越相似。因此，利用当前块和相邻块的相关性和纹理特征来选择具有更高优先级的帧内模式子集是可行的。由于帧内预测可以使用上方和左侧重建块作为参考，所以可以利用相邻块的帧内模式（通过full RDO选择）来调整当前块的full RDO list。

full RDO list优化

通常， Hadamard cost和实际RDO cost是成正比的，且由于其计算简单易于分析所以经常用于视频编码中。然而，Hadamard cost并不总能选出最优的帧内预测模式，尤其是VVC的帧内模式数量相比HEVC几乎加倍。Fig.5和Fig.6散点图展示了67个帧内模式的Hadamard cost和实际RDO cost的关系。

可以看见Hadamard cost和实际RDO cost成正比，但是其相关性较低所以对于full RDO list还有优化空间。

进一步研究最优模式和基于Hadamard 的RDO生成的模式间的关系，使用AVS3作为参考平台。选择Hadamard cost最小的X个模式组成 full-RD set ，M={m0,…,mx-1}，在AVS3中X最大取5。研究对于不同块尺寸S，不同X时最优模式在M中的命中率P。通过对67个帧内模式进行full-RD搜索找出最优模式m_opt，如果m_opt在M中表示命中，如果不在则未命中表示Hadamard cost未能很好的预测出实际帧内模式。命中率P通过下式计算，

N是特定尺寸块的数量。m_k,opt和M_k分别代表最优帧内模式和第k个块的full-RD set。表1和表2是统计结果。自然场景的平均命中率为83.4%，M包含5个基于Hadamard cost的模式。在小尺寸块上M表现更好，尤其是4×4块命中率达到90%以上。命中率随着X变大而增大，但是当X大于3后增长变慢。可以看见，自然场景的命中率远远超过SCC场景，说明M的效果受视频内容影响。

分析单个模式mi的命中率并且忽略M的未命中率。M中模式的顺序与Hadamard cost有关，

mi的分布如Fig.7和Fig.8所示。后两个模式的命中率非常低，在所有尺寸的块中都小于3%，表明m3和m4在选择帧内模式时作用较小。

实验结果

实验平台是AVS3的HPM5.0，配置为AI和RA，QP为27，32，37，45。序列包括自然场景和SCC场景。结果如表3和表4所示。该最优帧内 full-RD list构建方法已经集成到AVS3参考软件中。