信息处理装置、信息处理方法、信息处理程序和信息处理系统与流程-j9九游会真人

1.本公开内容涉及用于通过光线追踪来对模型数据进行渲染的信息处理装置、信息处理方法、信息处理程序和信息处理系统。


背景技术：

2.一般的路径追踪(光线追踪)使用随机计算每像素固定数目的样本(spp)的蒙特卡洛方法。通常，每像素追踪约1000条光线(1000spp)。在这种情况下，为了渲染4k图像，需要计算4000
×
2000
×
1000条光线。在该背景下，常规自适应采样在计算了一定数目的样本之后预测渲染结果中的误差，并且在误差超过阈值时添加样本。然后，当误差下降到阈值以下时，其取消添加样本。
3.就这方面而言，根据非专利文献1，以1spp进行预渲染首先生成噪声图像。通过输入噪声图像以及通过对噪声图像进行去噪得到的图像来学习用于预测采样图的深度神经网络(dnn)。采样图是指用于指示像素渲染的难度(即，需要多少spp来适当地渲染像素)的图像输出。接下来，基于采样图执行主要渲染。此时的spp的数目是针对每个像素的最佳值。spp的数目大于预渲染时的数目(1spp)，并且远小于正常时的数目(1000spp)。通过输入最后输出的渲染图像来学习消除噪音(去噪)dnn。使采样图预测dnn和去噪dnn这两个dnn最佳地合作并且学习，以减少非专利文献1中的最终结果的误差。
4.如非专利文献1，专利文献1已经公开了自适应采样，该自适应采样被配置成基于通过以低spp(约1spp)预渲染生成的噪声图像以及通过对噪声图像进行去噪获得的图像来学习用于预测采样图的dnn。
5.专利文献2已经公开了如下方法：首先执行低分辨率显示，并且经由网络逐渐提高渲染中的分辨率。在专利文献2中，仅改变了分辨率，而未执行复原处理。也就是说，简单地基于传输带宽或渲染速度来确定渲染削减率。
6.根据专利文献3，在头戴式显示器(hmd)中，当根据基于像素中心的位置和被摄体的重要程度改变分辨率并且执行渲染时，通过多重采样抗锯齿(msaa)渲染方法来执行抗锯齿。在专利文献3中，仅改变了分辨率，并且复原只是累积和平均。也就是说，不是根据复原后的损失来预测的渲染削减率。
7.专利文献
8.专利文献1：美国专利第10706508号
9.专利文献2：日本未审查的专利申请公布第2013-533540号
10.专利文献3：日本未审查的专利申请公布第2020-510918号
11.非专利文献
12.非专利文献1：alexandr kuznetsov、nima khademi kalantari和ravi ramamoorthi的“deep adaptive sampling for low sample count rendering”，[在线]，2018年，欧洲图形渲染技术研讨会，2018第37卷(2018年)第4期，[2021年2月19日检索]，因特网《url:https://people.engr.tamu.edu/nimak/data/egsr18_sampling.pdf》


技术实现要素：

[0013]
技术问题
[0014]
根据非专利文献1和专利文献1，预测了用于自适应控制仅spp的采样图。然而，即使在自适应地改变仅spp的情况下，减少计算时间的效果也具有限制。
[0015]
鉴于上述情况，本公开内容的目的是通过光线追踪在短时间内渲染高质量的模型数据。
[0016]
问题的j9九游会真人的解决方案
[0017]
根据本公开内容的实施方式的信息处理装置包括：
[0018]
预渲染单元，其通过光线追踪对模型数据进行预渲染并且生成预渲染图像；
[0019]
预测单元，其预测预渲染图像中的复原的难度等级；
[0020]
渲染条件确定单元，其基于复原的难度等级来确定渲染条件，并且生成用于设置渲染条件的自适应控制信号，该渲染条件指定针对预渲染图像中的要素中的每一个的分辨率和每像素样本(spp)；
[0021]
渲染单元，其根据设置到自适应控制信号的要素中的每一个的渲染条件，通过光线追踪对模型数据进行渲染，来生成自适应渲染图像；以及
[0022]
渲染图像复原单元，其通过超分辨率和去噪来复原自适应渲染图像，并且生成最终渲染图像。
[0023]
根据本实施方式，对于要素中的每一个，不仅对spp而且对分辨率进行自适应控制。这使得有能够预测要素中的每一个的spp和分辨率的最佳组合、执行自适应渲染和复原(去噪和超分辨率)，并且在保持图像质量的同时以高速输出最终渲染图像。
[0024]
渲染条件还可以指定图像的数目、反弹率、内部透射的折射次数、噪声随机数序列、位深度、时间分辨率、光成分的开/关、抗锯齿的开/关和/或子样本的数目。
[0025]
这允许为要素中的每一个指定更优的渲染条件。可以以更高的效率或在用户期望的条件下执行自适应渲染。
[0026]
渲染条件确定单元可以基于图像处理、关注点、被摄体的重要程度和/或显示信息来确定渲染条件。
[0027]
这允许为要素中的每一个指定更优的渲染条件。可以更简单轻量地预测该条件。此外，结合条件预测的深度神经网络(dnn)，可以提高渲染条件的准确性。
[0028]
渲染条件确定单元可以确定要素中的每一个即每个像素、包括多个像素的每个图块或每个对象区域的渲染条件。
[0029]
确定针对包括多个像素的每个区域的渲染条件可以提高自适应控制信号的准确性，并且还可以保持相邻像素之间的连续性。设置针对每个对象的渲染条件可以以较少的溢出来确定跟随边缘的渲染条件。这可以提高对渲染条件进行预测的准确性并减少计算时间。
[0030]
渲染条件确定单元可以确定要素中的一些要素中的每一个的渲染条件，并且可以预先确定要素中的其他要素中的每一个的渲染条件。
[0031]
这样可以减少计算时间，提高每一帧的输出处理的速度，并且实现实时渲染。
[0032]
预测单元可以将预渲染图像输入至条件预测深度神经网络(dnn)，并且预测要素中的每一个的复原的难度等级，并且
[0033]
渲染图像复原单元可以将自适应渲染图像和自适应控制信号输入至与条件预测dnn同时学习的复原dnn，并且生成最终渲染图像。
[0034]
首先，设置用于在全画面上统一地输出目标spp和目标分辨率的条件预测系数。然后，使用通过以全画面上的统一目标spp和目标分辨率进行渲染而获得的结果图像作为要学习的图像，来学习用于预测训练图像的复原(去噪和超分辨率)的图像复原系数。这允许同时学习条件预测dnn和复原dnn。
[0035]
预测单元可以预测采样图，该采样图指示预渲染图像中的要素中的每一个的复原的难度，并且
[0036]
渲染条件确定单元可以基于采样图生成自适应控制信号。
[0037]
基于指示要素中的每一个的复原的难度等级的采样图生成自适应控制信号可以根据复原的难度等级生成合适的自适应控制信号。例如，对于具有高复原难度等级的要素，可以生成具有相对高spp和高分辨率的渲染条件的自适应控制信号。这允许输出具有与目标图像相同的图像质量的最终渲染图像。
[0038]
预测单元可以预测分辨率的采样图和spp的采样图，并且
[0039]
渲染条件确定单元可以基于分辨率的采样图设置分辨率的渲染条件，并且根据spp的采样图设置spp的渲染条件。
[0040]
在已经预测了分辨率的采样图和spp的采样图这两个采样图的情况下，渲染条件确定单元可以在不特别进行转换的情况下指定分辨率和spp。
[0041]
预测单元可以预测一维的采样图，并且
[0042]
渲染条件确定单元可以基于一维采样图设置分辨率的渲染条件和spp的渲染条件。
[0043]
渲染条件确定单元仅需要根据任意转换公式从所预测的一维采样图指定分辨率和spp的组合。
[0044]
预渲染图像的spp可以低于最终渲染图像的spp。
[0045]
这允许高速输出最终渲染图像。
[0046]
预渲染的图像的分辨率可以低于最终渲染图像的分辨率。
[0047]
这允许高速输出最终渲染图像。
[0048]
根据本公开内容的实施方式的信息处理方法，包括：
[0049]
通过光线追踪对模型数据进行预渲染，并且生成预渲染图像；
[0050]
预测预渲染图像中的复原的难度等级；
[0051]
基于复原的难度等级来确定渲染条件，并且生成用于设置渲染条件的自适应控制信号，该渲染条件指定针对预渲染图像中的要素中的每一个的分辨率和每像素样本(spp)；
[0052]
根据设置到自适应控制信号的要素中的每一个的渲染条件，通过光线追踪对模型数据进行渲染，来生成自适应渲染图像；以及
[0053]
通过超分辨率和去噪来复原自适应渲染图像，并且生成最终渲染图像。
[0054]
根据本公开内容的实施方式的信息处理程序使信息处理装置的处理器作为以下单元进行操作：
[0055]
预渲染单元，其通过光线追踪对模型数据进行预渲染并且生成预渲染图像；
[0056]
预测单元，其预测预渲染图像中的复原的难度等级；
[0057]
渲染条件确定单元，其基于复原的难度等级来确定渲染条件，并且生成用于设置渲染条件的自适应控制信号，该渲染条件指定针对预渲染图像中的要素中的每一个的分辨率和每像素样本(spp)；
[0058]
渲染单元，其根据设置到自适应控制信号的要素中的每一个的渲染条件，通过光线追踪对模型数据进行渲染，来生成自适应渲染图像；以及
[0059]
渲染图像复原单元，其通过超分辨率和去噪来复原自适应渲染图像，并且生成最终渲染图像。
[0060]
根据本公开内容的实施方式的信息处理系统包括：
[0061]
预渲染单元，其通过光线追踪对模型数据进行预渲染并且生成预渲染图像；
[0062]
预测单元，其预测预渲染图像中的复原的难度等级；
[0063]
渲染条件确定单元，其基于复原的难度等级来确定渲染条件，并且生成用于设置渲染条件的自适应控制信号，该渲染条件指定针对预渲染图像中的要素中的每一个的分辨率和每像素样本(spp)；
[0064]
渲染单元，其根据设置到自适应控制信号的要素中的每一个的渲染条件，通过光线追踪对模型数据进行渲染，来生成自适应渲染图像；以及
[0065]
渲染图像复原单元，其通过超分辨率和去噪来复原自适应渲染图像，并且生成最终渲染图像。
附图说明
[0066]
[图1]示出了根据本公开内容的实施方式的信息处理装置的配置的图。
[0067]
[图2]示出了信息处理装置的操作流程的图。
具体实施方式
[0068]
在下文中，将参照附图描述本公开内容的实施方式。
[0069]
1.信息处理装置的配置
[0070]
图1示出了根据本公开内容的实施方式的信息处理装置的配置。
[0071]
信息处理装置100例如是对要显示在能够显示3d图像的3d显示器上的图像进行渲染的装置。信息处理装置100例如内置在3d显示器中或者在外部连接至3d显示器。信息处理装置100通过将记录在rom上的信息处理程序加载至ram并执行该信息处理程序的处理器而作为预渲染单元101、采样图预测单元102、渲染条件确定单元103、渲染单元104和经渲染的图像复原单元105来进行操作。
[0072]
2.信息处理装置的操作流程
[0073]
图2示出了信息处理装置的操作流程。
[0074]
信息处理装置100基于逐帧重复执行以下步骤s101的处理。
[0075]
步骤s101：读取模型数据
[0076]
预渲染单元101读取作为关于渲染目标的数据而输入的模型数据。模型数据例如是3d cg模型数据。
[0077]
步骤s102：执行预渲染
[0078]
预渲染单元101通过光线追踪对输入的模型数据进行预渲染，并且生成预渲染图
像。预渲染单元101例如以与输出分辨率(即，应当输出的最终渲染图像的分辨率)相同的分辨率并且以低spp(例如，约1spp)对模型数据进行预渲染。预渲染单元101可以以低于输出分辨率的分辨率(例如，1/4或1/16)并且/或者以高于1的spp对模型数据进行预渲染。预渲染单元101生成的预渲染图像是噪声渲染图像。预渲染单元101还可以生成各种任意输出变量(aov)图像(即，针对诸如深度、法线、反照率、漫散射和反射的要素中的每一个要素的图像)。
[0079]
预渲染单元101将预渲染图像输入至采样图预测单元102。采样图预测单元102是条件预测dnn，该条件预测dnn基于输入的噪声预渲染图像来预测表示渲染的难度等级(难度)的采样图。
[0080]
步骤s103：从预渲染图像裁切图块
[0081]
采样图预测单元102扫描预渲染图像并且从预渲染图像裁切多个图块。图块大小等于条件预测dnn的输入图块大小。例如，采样图预测单元102仅需要通过从预渲染图像的左上方顺序地进行光栅扫描来裁切图块。
[0082]
步骤s104：将图块输入至条件预测dnn并且预测采样图
[0083]
采样图预测单元102将切出的图块输入至条件预测dnn，并且预测采样图。采样图示出了渲染的难度等级(难度)。换言之，采样图预测单元102预测预渲染图像中的复原的难度等级。采样图预测单元102通过使用预先学习的条件预测系数106来预测采样图。在不仅使用预渲染图像而且使用各种aov图像进行学习的情况下，采样图预测单元102还裁切对应的aov图像的图块并且将其输入至条件预测dnn。
[0084]
此处，将描述条件预测系数106。条件预测系数106通过使用已经从若干cg模型生成的高spp和高分辨率的渲染图像作为训练图像，并且输入低spp(例如，1spp)和低分辨率(例如，1/4或1/16)的渲染图像以及通过由复原dnn(去噪和超分辨率)对低spp和低分辨率的渲染图像进行复原而获得的复原图像，来执行学习。将描述条件预测系数106的具体学习过程。首先，设置用于在全画面上统一地输出目标spp(例如，4spp)和目标分辨率(例如，4k)的图像的条件预测系数106。然后，使用作为以全画面上的目标spp和目标分辨率进行渲染的结果的图像作为要学习的图像，来学习用于预测训练图像的复原(去噪和超分辨率)的图像复原系数107。作为该学习的结果而输出的推理图像与训练图像之间的差异是损失。接下来，学习条件预测系数106，以减少该损失。此时，条件预测系数106计算采样图，使得通过在损失较大的情况下增加spp和分辨率并且在损失较小的情况下减小spp和分辨率来使全画面上的平均spp和平均分辨率成为目标spp和目标分辨率。然后，再次执行渲染，学习图像复原系数107，并且根据采样图更新损失。然后，重复地预测条件系数106和图像复原系数107，直到损失落在可允许范围内。以这种方式，同时学习条件预测dnn和复原dnn。
[0085]
以这种方式，渲染了低spp和低分辨率的图像，并且执行了关于同时执行去噪(也称为降噪(nr))和超分辨率(sr)的情况的学习。此外，学习可以使用各种aov图像，不限于渲染图像的输入。
[0086]
由采样图预测单元102输出的采样图不限于表示渲染的难度的一维采样图。采样图可以是独立地输出spp和分辨率的两个图，或者可以是更高维度的图。换言之，采样图预测单元102可以预测共同用于分辨率和spp的一维采样图、可以分别预测分辨率的采样图和spp的采样图或者还可以预测关于又一信息(例如，图像处理、关注点、被摄体的重要程度
和/或显示信息)的采样图。
[0087]
步骤s105：根据采样图确定渲染条件
[0088]
渲染条件确定单元103基于指示复原的难度等级的采样图，来确定针对预渲染图像中的要素中的每一个(例如，针对每个像素、针对包括多个像素的每个图块或者针对每个对象区域)的渲染条件。渲染条件指定针对预渲染图像中的要素中的每一个的分辨率和spp。渲染条件确定单元103生成用于设置所确定的渲染条件的自适应控制信号。换言之，渲染条件确定单元103根据由采样图预测单元102预测的采样图来计算用于设置针对要素中的每一个的实际渲染条件的自适应控制信号。
[0089]
例如，渲染条件确定单元103仅需要根据任何转换公式来从所预测的一维采样图指定分辨率和spp的组合。替选地，在预测了分辨率的采样图和spp的采样图这两个采样图的情况下，渲染条件确定单元103仅需要指定分辨率和spp而不进行转换。替选地，渲染条件确定单元103可以在由用户(导演或观看者)输入的设置条件(例如，高速度、高分辨率)下根据任何转换公式来转换采样图。
[0090]
步骤s106：确定全画面上的渲染条件
[0091]
渲染条件确定单元103确定针对预渲染图像的全画面的每一个要素的渲染条件。
[0092]
步骤s107：执行渲染
[0093]
渲染单元104根据设置到自适应控制信号的要素中的每一个的渲染条件，通过光线追踪对模型数据进行渲染，来生成自适应渲染图像。即，渲染单元104根据自适应控制信号，通过以针对要素中的每一个限定的分辨率和spp对要素中的每一个的模型数据进行渲染，来生成自适应渲染图像。换言之，渲染单元104在根据所计算的自适应控制信号而限定的渲染条件下执行该渲染。总之，渲染单元104基于根据自适应控制信号的spp和分辨率的局部最佳组合来执行渲染，同时改变针对要素中的每一个的条件。渲染单元104基本上使用与预渲染单元101相同的渲染器(渲染软件)。然而，渲染单元104可以使用不同的渲染器(例如，执行更高级的光线计算的渲染器)。
[0094]
步骤s108：从自适应渲染图像裁切图块
[0095]
渲染图像复原单元105扫描自适应渲染图像，并且从自适应渲染图像裁切多个图块。图块大小等于复原dnn的输入图块大小。例如，渲染图像复原单元105仅需要通过从自适应渲染图像的左上方顺序地进行光栅扫描来裁切图块。应当注意的是，复原dnn的输入图块大小可以与条件预测dnn的输入图块大小相同或不同。
[0096]
步骤s109：将自适应控制信号和图块输入至复原dnn并且预测输出图像
[0097]
渲染图像复原单元105将自适应控制信号和从自适应渲染图像裁切的图块输入至复原dnn，并且预测针对每个图块的输出图像。设置到自适应控制信号的渲染条件指定针对要素中的每一个的分辨率和spp。因此，复原dnn同时处理超分辨率和去噪这两个任务。换言之，渲染图像复原单元105通过超分辨率和去噪来复原图块。如步骤s104所描述的，已经与条件预测系数106一起学习了图像复原系数107。应当注意的是，渲染图像复原单元105不仅可以使用自适应渲染图像，还可以使用采样图或各种aov图像。在这种情况下，需要在这样的条件下预先执行学习。
[0098]
步骤s110：在全画面上预测输出图像
[0099]
渲染图像复原单元105预测针对所有图块中的每一个图块的输出图像。
[0100]
步骤s111：输出最终渲染结果
[0101]
渲染图像复原单元105连接经受超分辨率和去噪的所有图块的输出图像，生成最终渲染结果，并且将其输出。
[0102]
3.渲染条件的变型
[0103]
在步骤s105中，渲染条件确定单元103根据采样图确定针对预渲染图像中要素中的每一个的渲染条件，并且生成用于设置所确定的渲染条件的自适应控制信号。将描述渲染条件的各种变型。
[0104]
3-1.除了spp和分辨率之外的渲染条件的变型
[0105]
渲染条件确定单元103可以指定除了spp和分辨率之外的其他渲染条件作为渲染条件。例如，渲染条件还可以指定图像的数目、反弹率、内部透射的折射次数、噪声随机数序列、位深度、时间分辨率、光成分的开/关、抗锯齿的开/关和/或子样本的数目。复原dnn的期望效果取决于自适应改变的渲染条件。因此，可以在更高的效率下或在用户期望的条件下以这样的渲染条件来执行自适应渲染。
[0106]
图像的数目意指将spp划分成图像。例如，生成5组2spp使得去噪比10spp更容易。在已经以这种方式自适应地改变图像数目的情况下，复原dnn是不仅执行超分辨率和去噪而且还执行多个图像的融合的dnn。
[0107]
反弹率意指应当将光线撞击到物体上并反射的次数计算到多少次。
[0108]
内部透射的折射次数意指当光线进入透明物体时，应当将折射的次数计算到多少次。
[0109]
噪声随机数序列意指高范围的随机数与低范围的随机数之间的切换。光线追踪使用称为蒙特卡洛采样的技术。蒙特卡洛采样在每当光线经历漫散射或折射时在随机方向上进行采样，并且计算当光线沿该方向行进时的结果。此时，采用具有一定规律性的分布的随机数，因为在随机采样时使用白噪声会造成局部的高密度。此时，通过根据诸如平坦部和复杂部的区域属性在高范围的随机数与低范围的随机数之间进行切换，来执行更有利的渲染。
[0110]
位深度意指是使用满位还是削减位。由于光线追踪执行许多撞击计算，每次计算满位需要巨大的计算量。因此，对每个像素削减不必要的位。
[0111]
时间分辨率意指当渲染运动图像时的帧速率。
[0112]
光成分的开/关意指漫散射的光、反射光和/或透射光成分的开/关。尽管光线追踪除了追踪直接光之外还追踪各种成分，但是其针对每个像素使每个成分开/关。
[0113]
抗锯齿的开/关和子样本的数目是用于抗锯齿的设置。因为简单地针对每个像素进行渲染在斜线等中产生锯齿，因此光线追踪执行各种类型的抗锯齿。被称为代表性的超采样抗锯齿(ssaa)和多重采样抗锯齿(msaa)的技术关于一个像素计算四个子采样点，混合它们，并且确定最终的像素值。可以针对每个像素改变这样的抗锯齿功能的开/关和子样本的数目。
[0114]
3-2.确定渲染条件的技术的变型
[0115]
渲染条件确定单元103可以通过使用除了利用dnn的学习之外的技术来确定渲染条件。例如，渲染条件确定单元103可以通过基于模型的信号处理或外部设置来确定渲染条件并且生成自适应控制信号。具体地，渲染条件确定单元103可以基于图像处理、关注点、被
摄体的重要程度和/或显示信息来确定渲染条件。因此，可以更简单轻量地预测条件。此外，将其与条件预测dnn组合可以提高渲染条件的准确性。
[0116]
渲染条件确定单元103可以基于取决于渲染和复原的难度等级的检测(边缘、平坦度等、亮度、模糊(深度)、运动量)来确定渲染条件。由于在平坦部、暗部、模糊部(例如，由失焦状态或猛烈移动引起)上容易执行超分辨率和去噪，因此即使在低分辨率或很少的spp的情况下，也可以容易地复原超分辨率和去噪。可以通过已知的基于模型的图像处理来检测这样的区域，并且可以生成用于简化渲染的自适应的控制信号。
[0117]
渲染条件确定单元103可以基于关注点或被摄体的重要性来确定渲染条件。以高分辨率和高spp对关注点或重要的被摄体进行渲染，可以简化而其他部分。可以通过由图像处理检测或者由用户从外部指定来生成这样的自适应控制信号。
[0118]
渲染条件确定单元103可以基于用户(导演或观看者)的偏好来确定渲染条件。渲染条件确定单元103能够生成例如通过从外部指定来改变渲染条件的自适应控制信号。例如，可以进行以下设置：在优先考虑分辨率的情况下为分辨率分配更多资源，或者在优先考虑降噪的情况下为spp分配更多资源。可以设置时间分辨率、位深度、抗锯齿、各种分量等的优先级。另外，关于3d，可以进行以下设置：优先考虑具有效果的部分的渲染。
[0119]
渲染条件确定单元103可以基于在显示3d等时的各种类型的信息来确定渲染条件。当渲染3d等的多视点图像时，可以以高分辨率和高spp仅对诸如两端的重要的视点进行渲染，而其他中间视点位置可以更简单地渲染。此时，以提高的分辨率或spp对遮蔽区域(立体对象后面的区域)和仅从两端的视点(例如画面边缘)无法获得足够信息的部分进行渲染。可以通过外部设置和可视计算来设置反映这样的视点位置和遮蔽的存在/不存在的自适应控制信号。
[0120]
渲染条件确定单元103可以根据显示器的显示特性来确定渲染条件。例如，根据显示器的分辨率以相同的分辨率或1/4或1/16分辨率执行渲染。对于诸如3d显示器的特殊显示器，可以根据除了分辨率之外的显示特性执行渲染。例如，在使用柱状透镜的3d显示器中，取决于柱状透镜与面板像素之间的相位关系会出现锯齿或错误的颜色。鉴于此，可以基于这些特性计算最佳渲染条件，并且可以设置自适应控制信号。
[0121]
3-3.设置了共同渲染条件的预渲染图像中的要素的变型
[0122]
渲染条件确定单元103仅需要关于预渲染图像中的要素中的每一个确定针对每个像素、针对包括多个像素的每个图块或者针对每个对象区域的渲染条件。这可以提高预测渲染条件的准确性并减少计算时间。尽管渲染条件确定单元103基本上仅需要设置针对每个像素的渲染条件，但是可以设置针对例如每个矩形图块而不是像素的渲染条件。在本实施方式中，采样图预测单元102通过使用条件预测dnn来计算采样图。此外，渲染图像复原单元105通过使用复原dnn来对自适应渲染图像执行复原(超分辨率、去噪)。这些条件预测dnn和复原dnn执行针对从输入图像(预渲染图像和自适应渲染图像)中提取的每个矩形图块的处理。鉴于此，渲染条件确定单元103可以关于预渲染图像中的要素中的每一个确定针对每个矩形图块的渲染条件。以这种方式，确定针对包括多个像素的每个区域而不是针对每个像素的渲染条件可以提高自适应控制信号的准确性，并且还可以保持相邻像素之间的连续性。应当注意的是，该矩形图块的大小不需要等于条件预测dnn或复原dnn的图块大小。例如，可以将条件预测dnn的图块进一步划分成四个部分并且进行整合，或者可以采用完全不
同的图块大小。此外，可以一起使用多个采样图(自适应控制信号)。
[0123]
替选地，渲染条件确定单元103可以关于预渲染图像中的要素中的每一个确定针对每个对象区域的渲染条件。与机械划分的矩形图块不同，对象区域意指诸如人的有意义的对象的区域。例如，渲染条件确定单元103能够通过现有的语义分割技术将以1spp预渲染的预渲染图像划分成多个对象区域，针对对象的各个区域整合基于像素的渲染条件，并且设置针对每个对象的渲染条件。因此，通过以高精度设置针对每个对象的渲染条件，可以以较少溢出确定跟随边缘的渲染条件。
[0124]
3-4.确定渲染条件的定时的变型
[0125]
渲染条件确定单元103可以确定针对要素中一些要素中的每一个的渲染条件，并且可以预先确定要素中的其他要素中的每一个的渲染条件。渲染条件中一些可以预先计算(在开始图2的操作流程之前)，而不是在预渲染时计算。这可以减少计算时间，并且可以提高每一帧的输出处理的速度，并且实现实时渲染。在生成动画或自由视点视频的情况下，这样的预渲染需要所有时间和视点的条件。可以预先计算所有条件，或者可以预先在任何间隔内裁剪其中一些条件。此外，可以预先主要计算具有高重要程度的时间和视点。此外，可以仅预先计算不随时间和视点变化的部分。
[0126]
4.经修改的示例
[0127]
在本实施方式中，信息处理装置100包括预渲染单元101、采样图预测单元102、渲染条件确定单元103、渲染单元104和渲染图像复原单元105。
[0128]
替代地，可以实现其中服务器侧的信息处理装置包括预渲染单元101、采样图预测单元102、渲染条件确定单元103和渲染单元104并且客户端侧的信息处理装置包括渲染图像复原单元105的信息处理系统(未示出)。例如，客户端侧的信息处理装置内置或在外部连接至终端用户站点的3d显示器。
[0129]
在服务器侧进行渲染并将其传输至客户端的情况下，移动图像有时被压缩以进行传输。此时，取决于传输频带，压缩使渲染图像劣化。在这种情况下，渲染质量的提高是没有用的。因此，渲染条件可以根据传输频带动态地自适应改变。此时的自适应控制信号不仅可以根据频带对全画面执行统一设置，而且可以根据压缩的难易度对每个区域执行设置。
[0130]
替选地，可以实现以下信息处理系统(未示出)：其中服务器侧的信息处理装置包括预渲染单元101、采样图预测单元102和渲染条件确定单元103并且客户端的信息处理装置包括渲染单元104和渲染图像复原单元105。例如，客户端侧的信息处理装置内置或在外部连接至终端用户站点的3d显示器。
[0131]
在从服务器侧传输渲染模型数据并在客户端侧进行渲染的情况下，可以同时传输自适应控制信号(或采样图)。这允许在客户端侧进行最佳自适应渲染。此外，传输自适应控制信号还允许在其他情况下(例如，在服务器侧执行渲染并在客户端侧执行诸如超分辨率和去噪的复原处理的情况下)进行最佳复原处理。当然，这也适用于仅执行超分辨率、仅执行去噪或其他信号处理的情况。
[0132]
5.结论
[0133]
已知仅对spp进行自适应控制来预测采样图的技术。然而，即使在自适应改变仅spp的情况下，减少计算时间的效果也具有限制。例如，对于平坦区域，除了减少spp之外，将分辨率减少到1/4或1/16，可以大大减少计算时间，同时保持图像质量。根据本实施方式，对
于要素中的每一个，不仅对spp而且对分辨率进行自适应控制。因此，可以局部预测spp和分辨率的最佳组合并且自适应地进行渲染，可以利用复原dnn执行复原(去噪和超分辨率)，并且可以以高速度输出具有与目标图像相同图像质量的最终渲染图像。
[0134]
本公开内容可以具有以下配置。
[0135]
(1)一种信息处理装置，包括：
[0136]
预渲染单元，其通过光线追踪对模型数据进行预渲染并且生成预渲染图像；
[0137]
预测单元，其预测所述预渲染图像中的复原的难度等级；
[0138]
渲染条件确定单元，其基于所述复原的难度等级来确定渲染条件，并且生成用于设置所述渲染条件的自适应控制信号，所述渲染条件指定针对所述预渲染图像中的要素中的每一个的分辨率和每像素样本(spp)；
[0139]
渲染单元，其根据设置到所述自适应控制信号的所述要素中的每一个的渲染条件，通过光线追踪对所述模型数据进行渲染，来生成自适应渲染图像；以及
[0140]
渲染图像复原单元，其通过超分辨率和去噪来复原所述自适应渲染图像，并且生成最终渲染图像。
[0141]
(2)根据(1)所述的信息处理装置，其中，
[0142]
所述渲染条件还指定图像的数目、反弹率、内部透射的折射次数、噪声随机数序列、位深度、时间分辨率、光成分的开/关、抗锯齿的开/关和/或子样本的数目。
[0143]
(3)根据(1)或(2)所述的信息处理装置，其中，
[0144]
所述渲染条件确定单元基于图像处理、关注点、被摄体的重要程度和/或显示信息来确定所述渲染条件。
[0145]
(4)根据(1)至(3)中任一项所述的信息处理装置，其中，
[0146]
所述渲染条件确定单元确定所述要素中的每一个即每个像素、包括多个像素的每个图块或者每个对象区域的渲染条件。
[0147]
(5)根据(1)至(4)中任一项所述的信息处理装置，其中，
[0148]
所述渲染条件确定单元确定所述要素中的一些要素中的每一个的渲染条件，并且
[0149]
预先确定所述要素中的其他要素中的每一个的渲染条件。
[0150]
(6)根据(1)至(5)中任一项所述的信息处理装置，其中，
[0151]
所述预测单元将所述预渲染图像输入至条件预测深度神经网络(dnn)，并且预测所述要素中的每一个的复原的难度等级，并且
[0152]
所述渲染图像复原单元将所述自适应渲染图像和所述自适应控制信号输入至与所述条件预测dnn同时学习的复原dnn，并且生成最终渲染图像。
[0153]
(7)根据(1)至(6)中任一项所述的信息处理装置，其中，
[0154]
所述预测单元预测采样图，所述采样图指示所述预渲染图像中的要素中的每一个的复原的难度等级，并且
[0155]
所述渲染条件确定单元基于所述采样图生成所述自适应控制信号。
[0156]
(8)根据(1)至(7)中任一项所述的信息处理装置，其中，
[0157]
所述预测单元预测所述分辨率的采样图和所述spp的采样图，并且
[0158]
所述渲染条件确定单元基于所述分辨率的采样图设置所述分辨率的渲染条件，并且基于所述spp的采样图设置所述spp的渲染条件。
[0159]
(9)根据(1)至(7)中任一项所述的信息处理装置，其中，
[0160]
所述预测单元预测一维的采样图，并且
[0161]
所述渲染条件确定单元基于所述一维的采样图设置所述分辨率的渲染条件和所述spp的渲染条件。
[0162]
(10)根据(1)至(9)中任一项所述的信息处理装置，其中，
[0163]
所述预渲染图像的spp低于所述最终渲染图像的spp。
[0164]
(11)根据(1)至(10)中任一项所述的信息处理装置，其中，
[0165]
所述预渲染图像的分辨率低于所述最终渲染图像的分辨率。
[0166]
(12)一种信息处理方法，包括：
[0167]
通过光线追踪对模型数据进行预渲染，并且生成预渲染图像；
[0168]
预测所述预渲染图像中的复原的难度等级；
[0169]
基于所述复原的难度等级来确定渲染条件，并且生成用于设置所述渲染条件的自适应控制信号，所述渲染条件指定针对所述预渲染图像中的要素中的每一个的分辨率和每像素样本(spp)；
[0170]
根据设置到所述自适应控制信号的所述要素中的每一个的渲染条件，通过光线追踪对所述模型数据进行渲染，来生成自适应渲染图像；以及
[0171]
通过超分辨率和去噪来复原所述自适应渲染图像，并且生成最终渲染图像。
[0172]
(13)一种信息处理程序，用于使信息处理装置的处理器作为以下单元进行操作：
[0173]
预渲染单元，其通过光线追踪对模型数据进行预渲染并且生成预渲染图像；
[0174]
预测单元，其预测所述预渲染图像中的复原的难度等级；
[0175]
渲染条件确定单元，其基于所述复原的难度等级来确定渲染条件，并且生成用于设置所述渲染条件的自适应控制信号，所述渲染条件指定针对所述预渲染图像中的要素中的每一个的分辨率和每像素样本(spp)；
[0176]
渲染单元，其根据设置到所述自适应控制信号的所述要素中的每一个的渲染条件，通过光线追踪对所述模型数据进行渲染，来生成自适应渲染图像；以及
[0177]
渲染图像复原单元，其通过超分辨率和去噪来复原所述自适应渲染图像，并且生成最终渲染图像。
[0178]
(14)一种信息处理系统，包括：
[0179]
预渲染单元，其通过光线追踪对模型数据进行预渲染并且生成预渲染图像；
[0180]
预测单元，其预测所述预渲染图像中的复原的难度等级；
[0181]
渲染条件确定单元，其基于所述复原的难度等级来确定渲染条件，并且生成用于设置所述渲染条件的自适应控制信号，所述渲染条件指定针对所述预渲染图像中的要素中的每一个的分辨率和每像素样本(spp)；
[0182]
渲染单元，其根据设置到所述自适应控制信号的所述要素中的每一个的渲染条件，通过光线追踪对所述模型数据进行渲染，来生成自适应渲染图像；以及
[0183]
渲染图像复原单元，其通过超分辨率和去噪来复原所述自适应渲染图像，并且生成最终渲染图像。
[0184]
(15)一种记录信息处理程序的非暂态计算机可读记录介质，所述信息处理程序用于使信息处理装置的处理器作为以下单元进行操作：
[0185]
预渲染单元，其通过光线追踪对模型数据进行预渲染并且生成预渲染图像；
[0186]
预测单元，其预测所述预渲染图像中的复原的难度等级；
[0187]
渲染条件确定单元，其基于所述复原的难度等级来确定渲染条件，并且生成用于设置所述渲染条件的自适应控制信号，所述渲染条件指定针对所述预渲染图像中的要素中的每一个的分辨率和每像素样本(spp)；
[0188]
渲染单元，其根据设置到所述自适应控制信号的所述要素中的每一个的渲染条件，通过光线追踪对所述模型数据进行渲染，来生成自适应渲染图像；以及
[0189]
渲染图像复原单元，其通过超分辨率和去噪来复原所述自适应渲染图像，并且生成最终渲染图像。
[0190]
尽管已经描述了本技术的实施方式和经修改的示例，但是本技术不限于此，并且可以在不脱离本技术要旨的情况下理所当然地进行各种修改。
[0191]
附图标记列表
[0192]
信息处理装置100
[0193]
预渲染单元101
[0194]
采样图预测单元102
[0195]
渲染条件确定单元103
[0196]
渲染单元104
[0197]
渲染图像复原单元105
[0198]
条件预测系数106
[0199]
图像复原系数107