据科技媒体 TechSpot 10月18日报道,索尼近期提交了一项专利申请,描述了一种场景:在 GPU 尚未完成渲染前,AI 能够提前预测下一帧画面,从而缓解游戏画面的卡顿问题,并避免帧生成技术引入的额外延迟。

这项技术旨在解决帧生成的缺陷,使显示内容无需等待两帧渲染完毕后再生成中间帧。它直接利用已生成的画面来预测下一帧,无需两帧即可完成插值,从而帮助游戏保持更稳定的帧率输出。

索尼还采用了一种联合训练的编解码器,将渲染完成的画面转换为嵌入表示,对图像进行紧凑的数值化编码,使解码器能利用这些提示生成预测帧。在游戏运行时,该系统与图形渲染管线并行工作:当硬件渲染下一帧时,AI 处理上一帧,并将预测结果发送至显示缓冲区。因此,在下一帧渲染完成前,预测画面可能已经显示出来。

此外,该系统还能利用运动矢量以及玩家近期的手柄操作,以玩家操作角色的历史作为预测下一帧动作的基础。训练过程使用连续的视频帧,神经网络初始权重随机设定,输入一帧画面并尝试预测下一帧,随后将预测结果与实际后续画面对比,计算用于衡量预测误差的损失值。

不过,这项技术的实际效果取决于 AI 能否快速生成准确的画面,从而在渲染速度下降时填补帧输出的间隙。