谷歌新机器学习软件：随手一拍的旅游照也能被变成超细节3D场景

谷歌的研究人员们最近又发明了一个机器学习新方法：他们可以将游客们随手一拍的旅游照重新利用，重建起这些景点的3D场景——而且，不管你信不信，这些场景的细节超逼真。

在该项目的GitHub页面上，研究人员们分享了他们通过照片重建的世界著名景点的3D场景——有柏林的勃兰登堡门，有巴黎的圣心堂，还有罗马的特莱维喷泉。所有这些场景都是通过从Flickr等 站上找到的照片创建的，其3D效果相当惊人。你不仅可以移动这些相机拍摄的景色，还可以通过不同的灯光效果改变场景的外观。

研究人员称，他们把这个新方法命名为NeRF-W，因为它是在神经辐射场（NeRF）的基础上完成的。“神经辐射场（NeRF）方法在神经 络权值内隐式地模拟了场景的辐射场和密度，然后使用直接体绘制来合成新的视图，在一系列具有挑战性的场景上展示了前所未有的保真度。” 研究人员在论文中写道。

“然而，NeRF只被证明在受控的环境下工作良好：场景需要是在短时间内被拍摄的，在此期间灯光效果保持不变，场景中的所有内容都是静态的。”研究人员说。也就是说，如果用于3D渲染的照片不满足以上这些条件，这个机器学习新方法就会遇到困难，因为照片里会存在光线变化、图像曝光或后期处理等原因造成的差异。

“两位摄影师可能会站在同一个地点，拍摄同一个地标，但在这两张照片被拍摄的时间间隔里，周围环境可能会发生很大的变化：汽车和行人可能会移动，建筑工程可能会开始或结束，季节和天气可能会发生变化，太阳可能会在天空中移动。”

由此产生的模型可能包含重影等影响3D效果的因素，不过研究人员也并非完全无法应对。“对于瞬态物体，我们引入了一个二次体辐射场，并将其和一个不确定场结合。前者可以明确地捕捉到瞬时即过的物体，后者则是用于处理通过部分3D空间的像素颜色的不确定性。”研究人员说。

可以想见，NeRF-W这个新机器学习方法的应用将会非常广泛，不管是在增强现实（AR）还是虚拟现实（VR）应用中创建3D场景，NeRF-W都将大显身手。