索尼帧生成专利提出由单张真实画面预测后续帧

索尼有一项关于帧生成的专利申请, 这项申请已经在10月15日公开了, 这个方案尝试做的一个事情是, 它只依据一张刚刚完成渲染的真实画面来对后续的帧进行预测, 并且希望在下一张真实帧处于正在渲染这个阶段的时候, 它能够提前地把预测的结果显示出来。

这项专利的标题被称为“ Super ”, 其申请号标识为US 2026/ A1, 而该技术的发明人员则是索尼公司的工程师Denis。在这一系统中, 编码器神经网络会先行一步, 把已经渲染完毕的画面转换成为一种紧凑形式的表征数据。

接着, 解码器会根据这些数据来预测出下一帧画面的具体内容。除了画面信息以外, 运动矢量以及近期的用户控制器输入情况, 也可以被当作辅助性质的参考信息提供出来。借助这些信息, 整个系统能够更好地对玩家接下来可能执行的操作方向做出判断。

申请文件里讲的情况, 是部分现有的技术在操作的时候, 必须是先把前后的两张真实帧给拿到了, 然后才去在这两者之间插入新的帧。这样的做法, 直接就会导致等待时间变长, 还会产生延迟现象。索尼给出的方案, 则是尝试只利用单张真实帧来做前向预测。

这个方案的目标很明确, 就是要确保视觉质量不下降的前提下, 去缓解那些高负载场景里面出现的卡顿问题, 同时还能支持在一次预测过程中生成多个画面。此外, 申请文件里还提出了一条相对比较简单的非人工智能后备路径, 这条路径的具体思路是使用运动矢量来位移像素块。

相关的这套模型是可以借着视频流来自己进行训练的, 它会拿输出的预测结果跟后面出来的真实图像做对比, 用这种办法就不需要人为去给数据打标签了, 但是呢, 申请的那个文件里头并没有提供关于延迟或是画质的测试数据, 而且这个专利到现在还处在等待审查的状态中, 也没有提到有关6这个东西或者说是任何一个具体的产品名字, 所以说现在还不清楚这项技术到底会不会用到下一代的主机里面去了。