索尼申请AI专利：在GPU完成渲染前预测游戏下一帧画面

索尼已提交一项专利申请，内容是一套能在图形硬件完成渲染之前预测游戏下一帧画面的人工智能系统，目的是在减少画面卡顿的同时，避免部分帧生成方法带来的额外延迟。该系统利用最近完成渲染的一帧，并可选择结合最近的手柄输入，生成一帧预测画面，在硬件渲染下一帧期间先行显示。一些帧生成技术需要等待两帧渲染完成后，才能生成插入其间的画面，等待第二帧会增加延迟；索尼的方案则利用已有的一帧来预测下一帧，而不是在两帧之间插值。这一差别可能有助于游戏在渲染变慢时维持更稳定的帧输出速率，但专利文件并未提供任何性能测试数据，其对延迟和画质的实际影响尚未得到证实。该设计采用联合训练的编码器和解码器：编码器将渲染完成的画面转换为嵌入向量，即图像的紧凑数值表示，解码器再据此生成预测帧。游戏运行时，系统与图形管线并行工作，硬件渲染下一帧的同时，人工智能处理上一帧并将预测结果送入显示缓冲区，因此生成的画面可在下一帧渲染完成前出现。模型还可以使用描述画面各部分运动方式的运动矢量以及最近的手柄输入，前者表明物体的移动方向，后者反映玩家的最新操作。训练使用连续的视频帧：网络从随机初始化的权重开始，输入一帧并尝试预测下一帧，再与实际的下一帧比较，得出衡量预测误差的损失值，专利权利要求中描述了在训练期间将该损失值与阈值进行比对。由于视频本身即可提供参考图像，训练过程无需人工标注素材。解码器输出的颜色通道多于编码器接收的通道，因而可一次生成多帧预测画面。索尼还描述了一种不依赖人工智能的替代方法，即按照像素块的运动方向进行平移，从而在不使用训练好的编解码模型的情况下生成合成帧。文件还提到要在不降低画质的前提下维持固定的帧输出速率，但生成的画面能否真正保持画质仍有待验证。真正的考验在于，这套人工智能能否在渲染变慢时足够快速地生成准确画面来填补空缺；专利提出了实现方法，却未证明系统在实际中的效果。