首页 > 专利技术

CGH生成器和包括其的显示装置的制作方法

cgh生成器和包括其的显示装置
1.相关申请的交叉引用
2.本技术基于2021年05月04日在韩国知识产权局提交的第10-2021-0058123号韩国专利申请并要求其优先权，该申请的全部公开内容通过引用结合于本文。
技术领域
3.本公开涉及一种计算机生成的全息图(cgh)生成器和包括该cgh生成器的显示装置。

背景技术：

4.全息术是一种三维(3d)空间表示技术，其通过调整光的振幅和相位对物体进行3d空间表示，没有观看限制且几乎没有3d疲劳。对于全息显示器，可以形成其上记录有物波(object wave)和参考波(reference wave)的干涉图案的全息图，并且当参考波照射到该全息图上时，可以再现物波，从而可以在3d空间上表示物体。最近，为了形成干涉图案，已经使用了通过使用算术计算形成的计算机生成的全息图(cgh)，而不是使用物波和参考波的干涉。
5.cgh可以包括关于将被分配给空间光调制器的每个位置的振幅和相位的信息。然而，难以在通常使用的振幅调制空间光调制器中精确地表示预定的振幅和相位。

技术实现要素：

6.提供了一种包括计算机生成的全息图(cgh)生成器的全息显示装置。
7.额外的方面将部分地在下面的描述中阐述，并且部分地将从描述中明显，或者可以通过本公开的实施例的实践来习得。
8.根据本公开的一个方面，全息显示装置包括光源；空间光调制器，被配置为根据要显示在物平面上的图像调制来自光源的光；以及处理器，被配置为生成其中要在空间光调制器的参考平面上显示的全息图数据的相位值为0的计算机生成的全息图(cgh)，该处理器被配置为将基于该cgh的光调制信号施加于空间光调制器。
9.空间光调制器可以包括振幅调制空间光调制器。
10.物平面可以包括通过在深度方向上分割物体图像而获得的多个物平面，并且其中处理器还被配置为通过向空间光调制器的参考平面传播与要在多个物平面中的每一个上显示的相应全息图图像相对应的复函数，来生成cgh。
11.处理器还可以被配置为重复地改变要在物平面上显示的全息图图像的全息图图像数据的相位值，并搜索空间光调制器的参考平面上的全息图数据的相位经由其变为0的值。
12.处理器还可以被配置为使用梯度下降方法来重复地改变要在物平面上显示的全息图图像数据的相位值，并搜索空间光调制器的参考平面上的全息图数据的相位经由其变为0的值。
13.该处理器还可以被配置为配置第一复函数，该第一复函数包括对应于要在物平面上显示的全息图图像的振幅a和要分配给振幅a的任意相位值计算通过向参考平面传播第一复函数而获得的第二复函数；提取第二复函数的虚部；计算指示虚部和0之间的差的损失值；以及校正相位值使得损失值最小。
14.相位值的校正可以根据梯度下降法重复地执行。
15.处理器还可以被配置为计算通过向参考平面传播复函数获得的第三复函数，该复函数中通过多次校正相位值而确定的最终相位值被分配给振幅a；以及从第三复函数中提取实部。
16.处理器还可以被配置成将实部转换成光调制信号，并将光调制信号施加到空间光调制器。
17.处理器还可以被配置为重复地改变要在参考平面上显示的全息图数据的振幅值；通过向物平面传播重复地改变的振幅值来获得复函数；以及搜索复函数的振幅经由其变得等于要在物平面上显示的全息图图像数据的振幅值的值。
18.处理器还可以被配置为使用梯度下降方法来重复地改变要在参考平面上显示的全息图数据的振幅值，通过向物平面传播重复地改变的振幅值来获得复函数，以及搜索复函数的振幅经由其变得等于要在物平面上显示的全息图图像数据的振幅值的值。
19.该处理器还可以被配置为将包括任意振幅a’的第四复函数配置为要在参考平面上显示的全息图数据；计算通过向物平面传播第四复函数而获得的第五复函数，该第四复函数中相位值0被分配给任意振幅a’；计算关于第五复函数的振幅和要在物平面上显示的全息图图像数据的振幅值之间的差的损失值；并且校正任意振幅a’，使得损失值最小。
20.振幅值的校正可以根据梯度下降方法被重复地执行。
21.处理器还可以被配置为将通过多次校正任意振幅a’而确定的最终振幅值a’转换成光调制信号，并将光调制信号施加到空间光调制器。
22.处理器还可以被配置为根据迭代傅立叶变换算法(ifta)方法搜索物平面的复函数，经由该复函数要在空间光调制器的参考平面上显示的全息图数据的相位变为0。
23.处理器还可以被配置为配置任意第一复函数作为要在物平面上显示的全息图图像数据；通过将任意第一复函数的振幅改变为预定振幅a并将改变的任意第一复函数向参考平面传播来计算第二复函数；通过将第二复函数的相位改变为0并将第二复函数向物平面传播来计算第三复函数；以及将第三复函数的振幅与预定振幅a进行比较。
24.处理器还可以被配置为，当第三复函数的振幅不同于预定振幅a时，使用第三复函数作为另一个第一复函数，并且执行对另一第二复函数的计算和对另一第三复函数的计算。
25.处理器还可以被配置为，当第三复函数的振幅等于预定振幅a时，计算通过向参考平面传播第三复函数而获得的复函数。
26.处理器还可以被配置为将计算的复函数的实部转换成光调制信号，并将光调制信号施加到空间光调制器。
27.全息显示装置还可以包括布置在空间光调制器和物平面之间的场透镜。
28.全息显示装置可以包括眼镜型装置。
29.电子设备可以包括本公开的上述方面的全息显示装置。
30.增强现实设备可以包括本公开的上述方面的全息显示装置；以及光学组合器，被配置为将经由全息显示装置的图像光与环境光组合，并将组合的光提供给用户的眼睛。
31.光学组合器可以相对于沿第一方向入射的环境光是透明的，并且被配置为将沿不同于第一方向的第二方向入射的图像光的路径改变为平行于第一方向的方向。
32.根据本公开的一个方面，全息显示装置包括相干光源；振幅调制空间光调制器(slm)，被配置为调制从相干光源入射的相干光；以及处理器，被配置为接收要在物平面上显示的图像的物体振幅数据；计算要在物平面上显示的图像的物体相位数据，使得施加到振幅调制slm的计算机生成的全息图(cgh)的参考相位数据基本上等于零；并且生成包括参考相位数据的cgh；以及将cgh施加到振幅调制slm，以在物平面上显示图像。
33.计算物体相位数据可以包括：生成包括作为物体相位数据的初始任意值的第一复函数；以及执行迭代过程，该迭代过程包括：通过向振幅调制slm的参考平面传播第一复函数来生成第二复函数，确定第二复函数的相位数据是否基本上等于零，基于第二复函数的相位数据基本上不等于零，生成包括基于第二复函数的相位数据的校正的相位数据的第三复函数并且使用第三复函数作为第一复函数重复迭代过程。
34.迭代过程还可以包括，基于第二复函数的相位数据基本上等于零，确定最近生成的第二复函数的相位数据作为物体相位数据。
附图说明
35.从下面结合附图的描述中，本公开的某些实施例的上述和其他方面、特征、和优点将变得更加明显，其中：
36.图1是根据实施例的全息显示装置的结构的示意概念图；
37.图2和图3是根据实施例的用于描述全息显示装置中包括的计算机生成的全息图(cgh)生成器形成cgh的原理的概念图；
38.图4是根据实施例的全息显示装置中包括的cgh生成器生成cgh的过程的流程图；
39.图5是通过使用公式示出通过改变相位值重复图4的过程的过程的概念图；
40.图6是根据实施例的全息显示装置中包括的cgh生成器生成cgh的过程的示例的流程图；
41.图7是通过使用公式示出通过改变振幅值重复图6的过程的过程的概念图；
42.图8是根据实施例的全息显示装置中包括的cgh生成器生成cgh的过程的示例的流程图；
43.图9是通过使用公式示出通过改变第一复变函数重复图8的过程的过程的概念图；
44.图10是根据比较实施例的生成cgh的方法的示意概念图；
45.图11是根据实施例的经由全息显示装置显示图像的过程的示意流程图；
46.图12是根据实施例的增强现实(ar)设备的结构的示意概念图；
47.图13至图15是实施根据实施例的全息显示装置的各种电子设备的外部形状的图；和
48.图16是根据实施例的电子设备的框图。
具体实施方式
49.现在将详细参考实施例，实施例的示例在附图中示出，其中相同的附图标记始终指代相同的元件。在这点上，实施例可以具有不同的形式，并且不应该被解释为限于本文阐述的描述。因此，通过参考附图，实施例在下面仅被描述来解释各方面。如本文所用，术语“和/或”包括相关联的列出项目中的一个或多个的任何和所有组合。诸如
“……
中的至少一个”的表述当在元件列表之后时，修饰整个元件列表，而不是修饰列表中的各个元件。
50.在下文中，将参考附图详细描述示例实施例。下文描述的实施例仅是示例，并且可以基于实施例进行各种修改。在附图中，相同的附图标记表示相同的元件，并且为了解释清楚和方便，元件的尺寸可能被放大。
51.在下文中，将会理解，当一个元件被称为在另一个元件的“上面”或“以上”时，该元件可以直接在该另一个元件的上方或下方，以及直接在该另一个元件的左侧或右侧，或者中间元件也可以存在于它们之间。
52.虽然术语“第一”、“第二”等可以用于描述各种元件，但这些术语仅用于区分一个元件和另一个元件。这些术语不是用来定义元件之间的材料或结构差异。
53.如本文所用，单数形式“一”、“一个”也旨在包括复数形式，除非上下文另有明确指示。将进一步理解，当部件“包括”或“包含”元件时，除非另外定义，该部件可以还包括其他元件，而不排除其他元件。
54.此外，说明书中使用的诸如
“…
单元”、“模块”等术语指示处理至少一个功能或动作的单元，并且该单元可以通过硬件或软件或者通过硬件和软件的组合来实施。
55.术语“该”和其他等同的限定词可以对应于单数指代或复数指代。
56.除非方法中包括的操作顺序被具体描述或者有相反的描述，否则操作可以根据适当的顺序来执行。所有示例术语(例如，等等。)的使用仅用于详细描述本公开，并且本公开不限于示例和示例术语。
57.图1是根据实施例的全息显示装置1000的结构的示意概念图。
58.全息显示装置1000可以包括光源部分100、被配置为根据图像信号调制来自光源部分100的光的空间光调制器(slm)200、以及包括被配置为生成计算机生成的全息图(cgh)的cgh生成器350的处理器300。此外，全息显示装置1000还可以包括存储器600。
59.光源部分100可以向slm 200提供相干光束。光源部分100可以包括发光二极管(led)、激光二极管(ld)、有机发光二极管(oled)、垂直腔面发射激光器(vcsel)等作为提供相干光的光源，并且可以包括能够向slm 200提供具有预定空间相干度的光的各种光源。此外，光源部分100可以包括被配置为准直从光源发射的光的准直透镜、被配置为将光扩展为表面光形式的扩束器等。
60.slm 200可以包括被配置为调制入射光的振幅的各种振幅调制slm。例如，slm 200可以包括硅上液晶(lcos)器件或液晶显示器(lcd)。此外，基于各种化合物半导体的半导体调制器、数字微镜器件(dmd)等可以用作slm 200。slm 200可以被称为振幅调制slm，因为slm 200可以主要调制入射光的振幅。然而，通常的情况是，振幅调制slm可能执行非预期的轻微相位调制。图1示出了slm 200是透射型的。然而，这只是示例，并且slm 200可以是反射型的。
61.处理器300可以执行用于控制全息显示装置1000的一般功能，并且可以包括被配
置为生成要被提供给slm 200的cgh的cgh生成器350。例如，处理器300可以通过运行存储在存储器中的cgh生成程序来生成要提供给slm 200的全息图。
62.处理器300可以对应于包括在各种类型的计算设备(诸如个人计算机(pc)、服务器、电视(tv)、移动设备(智能电话、平板设备等)、嵌入式设备、自动驾驶汽车、可穿戴设备，增强现实(ar)设备，物联网(iot)设备等)中的处理器。例如，处理器300可以对应于诸如中央处理单元(cpu)、图形处理单元(gpu)、应用处理器(ap)、神经处理单元(npu)等的处理器，但不限于此。
63.cgh生成器350可以生成要提供给slm 200的cgh。由cgh生成器350生成的全息图是在slm 200的参考平面上相位为0的全息图，并且在下文中，这种全息图可以由诸如振幅全息图、仅振幅全息图和仅振幅cgh的术语可互换地表示。由cgh生成器350生成的振幅全息图可以适用于被施加到振幅调制slm。在被配置为调制振幅和相位的振幅-相位slm的情况下，众所周知，相位调制效率非常低。为了补偿不完全的相位调制，可以使用额外的光学系统，如空间滤波器等，来进行校正，这会导致光学系统的笨重。根据实施例，为了避免需要补偿不完全的相位调制，可以提供形成适用于振幅调制slm的仅振幅cgh的方法。
64.在根据实施例生成的仅振幅cgh中，相位可能不是精确地为0。可以使用使相位尽可能接近0的优化方法。然而，根据要在物平面上显示的图像和物平面的深度位置，仅振幅cgh可以被形成为具有接近0的最小相位值。
65.处理器300可以将由cgh生成器350生成的振幅全息图转换成适用于slm 200的光调制信号。由cgh生成器350形成的振幅全息图可以包括指示根据slm 200的参考平面的每个位置(即x和y坐标)分配的干涉图案的亮度的信息，并且可以将表示在slm 200中该干涉图案的适当电信号(例如，光调制信号)施加于slm 200。
66.当处理器300向slm 200施加基于cgh的光调制信号，并且相干光从光源部分100提供给slm 200时，可以在空间的预定位置上再现关于物体obj的3d图像。
67.存储器600可以是存储全息显示装置1000的操作所需的各种数据和程序代码的硬件。例如，存储器600可以存储用于执行cgh生成器350的操作的程序代码和cgh生成器350的操作过程所需的各种数据。此外，存储器600可以存储要由处理器300驱动的各种应用，例如全息图再现应用、网页浏览应用、游戏应用、视频应用等。
68.存储器600可以包括易失性存储器和非易失性存储器中的至少一个。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电prom(eprom)、电可擦除prom(eeprom)、快闪存储器、相变随机存取存储器(pram)、磁随机存取存储器(mram)、电阻随机存取存储器(rram)、铁电随机存取存储器(fram)等。易失性存储器可以包括动态随机存取存储器(dram)、静态随机存取存储器(sram)、同步dram(sdram)等。根据实施例，存储器600可以被实施为硬盘驱动器(hdd)、固态驱动器(ssd)、紧凑型快闪(cf)存储器、安全数字(sd)存储器、微sd存储器、迷你sd存储器、极限数字(xd)存储器和记忆棒中的至少一种。
69.全息显示装置1000还可以包括场透镜。例如，场透镜可以布置在slm 200的前侧，以调整空间位置来再现全息图图像。
70.图2和图3是根据实施例的用于描述通过全息显示装置中包括的cgh生成器形成cgh的原理的概念图。
71.为了形成cgh，可以考虑基于层的方法，由此用于再现的物体在深度方向上被分割
成多个物体，并且每个分割单元被视为层。如图2所示，可以考虑对应于多个物平面平面1、平面2、平面3和平面4的图像数据的复函数。深度层的数量可以是预定数量，其可以根据用户的配置而改变。例如，深度层的数量可以是256或另一数量。为了形成cgh，对应于每个深度层的图像数据的复函数可以向slm 200的参考平面slm平面传播。每个物平面的图像数据可以由振幅分量和相位分量表示。例如，当深度方向是z方向时，物平面平面1的图像数据可以由振幅a1(x,y)和相位表示，而物平面平面2的图像数据可以由振幅a2(x,y)和相位表示。通过将对应于图像数据的复函数向参考平面slm平面传播而获得的复函数可以成为要作为光调制信号提供给slm 200的cgh。例如，对应于物平面平面1的复函数可以被传播距离-d1，作为a1’(x,y)，对应于物平面平面2的复函数可以被传播距离-d2，作为a2’(x,y)，以获得包含对应的层的图像信息的cgh。根据实施例的全息显示装置1000中包括的cgh生成器350可以搜索物平面(平面1、平面2、平面3和平面4)的相位以形成其相位在slm 200的参考平面(slm平面)上为0的全息图，即，仅振幅全息图。该方法基于这样的方面，即当物体的图像数据具有相同的振幅，即具有相同的振幅信息时，即使当任意相位被分配给图像数据时，人眼也将图像数据视为相同的。因此，通过搜索和配置物平面的相位值，使得当对应于物平面的复函数向参考平面(slm平面)传播时相位在参考平面(slm平面)上为0并且仅振幅保留在参考平面(slm平面)上，可以生成适于分配给作为振幅调制slm的slm 200的仅振幅全息图。如图3所示，基于作为适当的值被分配给物平面的图像数据的的相位当复函数向参考平面(slm平面)传播时，可以只剩下预定振幅a’(x,y)。在这样的全息图被分配给slm 200之后，由被分配了全息图的slm 200在物平面上再现的全息图图像数据可以包括振幅a(x,y)和相位并且与振幅a(x,y)相对应的图像可以被人眼识别，而与相位无关。
72.图4是根据实施例的全息显示装置中包括的cgh生成器生成cgh的过程的流程图，并且图5是通过使用公式示出通过搜索相位值来重复图4的流程图中示出的过程的概念图。
73.根据实施例的生成cgh的过程可以包括通过使用梯度下降方法计算物平面上的相位值的过程。
74.首先，可以在深度方向上将要再现的物体分割成多个物平面(s410)。
75.接下来，可以配置一个物平面(s420)，并且可以配置对应的物平面的图像数据的相位值(s430)。如上所述，每个物平面的图像数据可以经由振幅数据被用户的眼睛标识，而与相位无关，并且这里考虑的图像数据可以是振幅数据，并且相对于其配置的相位值可以是任意值。
76.接下来，可以通过将任意配置的相位值分配给要在对应的物平面上显示的全息图图像数据来配置第一复函数(s440)。
77.接下来，可以计算通过向slm 200的参考平面传播第一复函数而获得的第二复函数(s450)。
78.接下来，可以确定所计算的第二复函数的相位是否为0(s460)。这里，0的相位不表示算术上完美的0.00，并且可以适当地配置用于确定可以被分配给振幅调制slm的振幅全息图的参考(例如，阈值)。
79.当相位不为0时，可以通过改变相位值来重复操作s440、s450和s460。
80.当slm 200的参考平面上的第二复函数的相位为0时，在操作s430中分配的相位值可以被确定为最终相位值(s470)。
81.可以执行向参考平面传播复函数的计算，该复函数是通过将最终相位值分配给对应的物平面的振幅而获得的。计算的复函数可以包括为0或非常接近0的虚部，并且通过取实部，可以获得相位为0的(仅振幅)cgh(s480)。
82.该过程可以通过改变物平面来重复，并且可以针对所有物平面来执行。
83.被重复的图4的流程图的操作s440至s460可以如图5所示来表示。通过将任意配置的相位值分配给要在物平面上显示的全息图图像数据的振幅a(x,y)而获得的第一复函数可以表示为通过向slm 200的参考平面传播第一复函数而获得的第二复函数可以表示为函数可以表示为这里，从物平面朝向参考平面的方向可以被定义为-z方向。第二复函数的虚部可以得到为通过将第二复函数的相位与0进行比较而获得的损失值可以表示为数的相位与0进行比较而获得的损失值可以表示为相位值可被更新以最小化损失值。通过使用更新的相位值可以重复上述过程。
84.改变和搜索最终相位值的过程可以通过使用梯度下降方法来执行，并且也可以使用其他各种优化方法。
85.图6是根据实施例的全息显示装置中包括的cgh生成器生成cgh的过程的示例的流程图，以及图7是通过使用公式示出通过改变振幅值来重复图6的过程的概念图。
86.根据实施例的生成cgh的过程可以包括通过使用梯度下降方法计算参考平面slm平面上的振幅值的过程。
87.首先，可以在深度方向上将要再现的物体分割成多个物平面(s510)。
88.接下来，可以配置一个物平面，并且可以配置要在对应的物平面上显示的全息图图像数据的振幅值(s520)。这里，配置的振幅值可以是根据要显示在对应的物平面上的全息图图像数据确定的值。
89.接下来，可以配置要在slm的参考平面上显示的全息图数据的振幅值(s530)。这里，所配置的振幅值可以被配置为搜索参考平面上的全息图数据的相位经由其变为0的最终振幅值，并且可以最初被配置为任意值。
90.接下来，可以通过将相位值0分配给配置的振幅值来配置第四复函数(s540)。
91.接下来，可以通过向配置的物平面传播第四复函数来计算第五复函数(s550)。
92.接下来，可以确定第五复函数的振幅是否与要在对应的物平面上显示的振幅值相同(s560)。这里，两个值相同并不表示两个值之间的差在算术上并且完美地是0.00。基于这个方面，可以适当地配置用于确定导出可以被分配给振幅调制slm的振幅全息图的参考(例如，阈值)。
93.当确定第五复函数的振幅与要在对应的物平面上显示的振幅值不相同时，可以通过改变参考平面的振幅值来重复操作s530、s540、s550和s560。
94.当确定第五复函数的振幅与要在对应的物平面上显示的振幅值相同时，在操作s530中配置的振幅值可以被确定为最终振幅值(s570)。所确定的最终振幅值可以是搜索以
使得参考平面上的全息图数据的相位变为0的值。因此，可以形成相位为0的(仅振幅)cgh。
95.该过程可以通过改变物平面来重复，并且可以针对所有物平面来执行。
96.图6的操作s530至s570可以如图7所示来表示。在参考平面上任意配置的振幅可以表示为a’(x,y)。接下来，通过将0的相位分配给该振幅而获得的第四复函数可以表示为c’(x,y)。通过将复函数c’(x,y)向物平面传播距离d而计算的第五复函数可以表示为propd{c’(x,y)}。这里，从参考平面朝向物平面的方向可以被定义为+z方向。第五复函数的振幅可以被获得为|propd{c’(x,y)}|。通过将第五复函数的振幅(|propd{c’(x,y)}|)与要在物平面上显示的全息图图像数据的振幅a(x,y)进行比较而获得的损失值可以表示为loss[|propd{c’(x,y)}|,a(x,y)]。振幅值a’(x,y)可以被更新，使得损失值最小。可以通过使用更新的振幅值a’(x,y)来重复上述过程。
[0097]
改变和搜索最终振幅值的过程可以通过使用梯度下降方法来执行，并且也可以使用其他各种优化方法。
[0098]
图8是根据实施例的经由全息显示装置中包括的cgh生成器生成cgh的过程的示例的流程图，以及图9是通过使用公式示出通过改变第一复变函数来重复图8的过程的过程的概念图。
[0099]
根据实施例的生成cgh的过程可以包括通过使用迭代傅立叶变换算法(ifta)，计算与要显示在物平面上的全息图图像相对应的复函数的过程。
[0100]
首先，可以在深度方向上将要再现的物体分割成多个物平面(s610)。
[0101]
接下来，可以配置一个物平面(s620)，并且可以配置与要在对应的物平面上显示的全息图图像数据相对应的第一复函数(s630)。第一复函数可以是用于搜索以提供在参考平面上相位为0的全息图的任意函数。
[0102]
接下来，可以通过将第一复函数的振幅改变为期望的形式，即a，然后将第一复函数向slm的参考平面传播，来获得第二复函数(s640)。
[0103]
第三复函数可以通过将第二复函数的相位改变为期望的形式，即0，然后向物平面传播第二复函数来获得(s650)。
[0104]
接下来，可以确定第三复函数的振幅值是否与期望振幅值a相同(s660)。可以配置用于确定第三复函数的振幅值与振幅值a相同的参考(例如，阈值)。例如，基于第三复函数的振幅值，可以适当地配置参考，基于该参考可以确定可以被分配给振幅调制slm的振幅全息图被导出。
[0105]
当没有确定第三复函数的振幅与要显示在对应的物平面上的期望振幅值a相同时，在操作s650中计算的第三复函数可以用作第一复函数，并且可以重复操作s640、s650和s660。
[0106]
当确定第三复函数的振幅与要显示在对应的物平面上的期望振幅值a相同时，在操作s650中计算的第三复函数可以被确定为对应于要显示在物平面上的全息图图像数据的函数。可以执行向slm的参考平面传播最终确定的第三复函数的计算。计算的复函数可以包括为0或非常接近0的虚部，并且通过取实部，可以获得相位为0的(仅振幅)cgh(s670)。
[0107]
该过程可以通过改变物平面来重复，并且可以针对所有物平面来执行。
[0108]
图8的操作s630至s660可以如图9所示表达。在物平面上任意配置的第一复函数可以表示为c’(x,y)。接下来，可以通过向参考平面传播复函数(a(x,y)ei·
angle[c’(x,y)]
)来获得
第二复函数，其中，通过将第一复函数的振幅改变为期望的振幅值a(x,y)并完整地使用相位来获得复函数(a(x,y)ei·
angle[c’(x,y)]
)。第二复函数可以表示为prop-d
[a(x,y)ei·
angle[c’(x,y)]
]。
[0109]
第三复函数c(x,y)可以通过再次向物平面传播复函数来获得，其中通过将第二复函数改变为在参考平面上具有期望的相位值0来获得该复函数。第三复变函数c(x,y)可以表示为propd[|prop-d
[a(x,y)ei·
angle[c’(x,y)]
]|]。
[0110]
当第三复函数的振幅不是期望的振幅值a(x,y)时，第三复函数c(x,y)可以再次用作c’(x,y)，并且可以重复所描述的过程。
[0111]
上述方法中使用的cgh计算可以包括快速傅里叶变换(fft)计算，并且例如可以包括菲涅耳变换方法、广义菲涅耳变换(gft)方法和高速fft方法。
[0112]
在上述方法中，由cgh生成器350执行的计算可以包括梯度下降法和ifta法，以提供在slm的参考平面上相位为0的全息图。此外，除了这些方法，使用深度学习的算法等也可以使用。
[0113]
图10是根据比较实施例的生成cgh的方法的示意概念图。
[0114]
与根据实施例使用的方法不同，根据基于比较实施例的生成cgh的方法，显示在物平面上的全息图图像数据仅包括振幅，并且其相位被配置为0。通过向slm的参考平面(slm平面)传播对应于该数据的复函数而获得的复函数可以包括振幅分量和相位分量。因此，只有当振幅分量和相位分量都在slm中很好地实现时，才可以在物平面上再现预期的图像。然而，在一般的slm中，振幅调制和相位调制可能不能同时和适当地实现，并且可能必须执行附加的光学处理来再现预期的图像。例如，可能需要用于空间滤波的附加光学系统，因此，体积可能增加，并且由于光学处理，光效率可能大大降低。
[0115]
根据实施例的cgh生成器可以生成仅振幅全息图，其适合于被分配给振幅调制slm，因此，可以简化光学系统，并且可以提高光效率。
[0116]
由cgh生成器350生成的全息图数据可以被转换成适于施加到slm 200的电信号，并且可以被施加到slm 200。
[0117]
图11是根据实施例的经由全息显示装置显示图像的过程的示意流程图。
[0118]
可以生成对应于要在物平面上显示的振幅值的、相位为0的cgh(s710)。该过程可以由cgh生成器350根据参考图4-图9描述的方法来执行。
[0119]
由cgh生成器350生成的全息图可以被转换成要施加到slm的光调制信号(s730)。处理器可以形成电信号，用于在slm的每个位置形成如上所述计算的cgh。换句话说，全息图数据可以被转换成电信号，该电信号可以通过调整slm的每个位置的透射率来指示对应于全息图数据的亮度(振幅)。
[0120]
光调制信号可以被施加到slm(s750)，同时，用于再现全息图的光可以被提供给slm(s760)。因此，可以在预定的空间位置再现关于物体的3d图像。
[0121]
上述由cgh生成器350执行的生成全息图的方法和包括cgh生成器350的全息显示装置1000，可以应用于各种电子设备，诸如监视器、电视、移动显示装置、移动通信设备、智能电话等。
[0122]
上述由cgh生成器350执行的生成全息图的方法可以实现为各种处理器可读记录介质上的处理器可读代码。处理器可读记录介质可以包括存储处理器可读数据的所有类型
的记录设备。处理器可读记录介质的示例可以包括rom、ram、cd-rom、磁带、软盘、光学数据存储装置等。此外，处理器可读记录介质也可以以载波的形式实现，诸如通过互联网传输。此外，处理器可读记录介质可以分布在通过网络连接的计算机系统中，并且可以以分布式方式存储和执行处理器可读代码。
[0123]
上述全息显示装置可以以可穿戴设备的形式实现，例如作为眼镜型设备。全息显示装置可以应用于虚拟现实(vr)设备。全息显示装置还可以应用于增强现实(ar)设备，其提供包含与关于真实环境的环境光相结合的附加信息的图像。
[0124]
图12是根据实施例的ar设备2000的结构的示意概念图。
[0125]
ar设备2000可以包括光源部分100、slm 200、处理器300和光组合器800。
[0126]
处理器300可以包括cgh生成器350，并且cgh生成器350可以如上所述地生成要分配给slm 200的仅振幅全息图。
[0127]
光组合器800可以被配置为将基于cgh的图像光l1与环境光l2组合，并将组合的图像提供给用户的眼睛。光组合器800对于沿第一方向入射的环境光l2是透明的，并且可以将沿不同于第一方向的第二方向入射的图像光l1的路径改变为与第一方向平行的方向。光组合器800可以具有用于实现上述功能的各种已知形状和结构，并且可以包括例如分束器、透镜、偏振器、相位延迟构件等中的一个或多个。
[0128]
ar设备2000可以是被配置为通过添加虚拟物体或关于现实世界的环境的信息来进一步增加现实效果的显示装置。例如，基于观看者的位置，可以由图像形成部分形成关于由现实世界提供的环境的附加信息，并将其提供给观看者。这种ar显示器可以应用于普遍存在的环境或物联网(iot)环境。
[0129]
现实世界的图像不局限于真实的环境。例如，现实世界的图像可以包括由另一成像设备形成的图像。因此，上述ar设备可以应用于同时示出两个图像的多图像显示装置。
[0130]
ar设备2000被示为提供给单眼的光学系统。然而，ar设备2000不限于此，并且可以被实现为针对双眼中的每一只单独提供的光学系统。
[0131]
上述全息显示装置可以形成为可穿戴类型。例如，全息显示装置的全部或部分组件可以形成为可穿戴类型。
[0132]
图13至图15是实施根据实施例的全息显示装置的各种电子设备的图。如图13至图15所示，全息显示装置可以应用于可穿戴设备。例如，全息显示装置可以应用于头戴式显示器(hmd)。此外，全息显示装置可以应用于眼镜型显示器、护目镜型显示器等。图13到图15所示的可穿戴电子设备可以与智能电话同步操作。这些全息显示装置可以是头戴式、眼镜式或护目镜式vr、ar、或mr显示装置，它们可以提供vr或与外部实际图像一起提供虚拟图像。
[0133]
此外，全息显示装置可以提供在智能电话中，或者智能电话可以直接用作全息显示装置。换句话说，全息显示装置可以应用于小型电子设备(移动电子设备)，而不是图13至图15所示的可穿戴设备。
[0134]
图16是根据实施例的电子设备2201的组件的示意框图。
[0135]
参考图16，网络环境2200中的电子设备2201可以通过第一网络2298(短程无线通信网络等)与另一电子设备2202通信或者可以通过第二网络2299(远程无线通信网络等)与另一电子设备2204和/或服务器2208通信。电子设备2201可以通过服务器2208与电子设备2204通信。电子设备2201可以包括处理器2220、存储器2230、输入设备2250、声音输出设备
2255、显示装置2260、音频模块2270、传感器模块2210、接口2277、连接端子2278、触觉模块2279、相机模块2280、电力管理模块2288、电池2289、通信模块2290、订户识别模块2296和/或天线模块2297。电子设备2201可以省略组件中的一个或多个组件，或者可以进一步包括其他组件。组件中的一个或多个组件可以实现为集成电路。例如，传感器模块2210的指纹传感器2211、虹膜传感器、照度传感器等可以嵌入显示装置2260(显示器等)中。
[0136]
处理器2220可以被配置为执行软件(程序2240等)来控制电子设备2201的一个或多个组件(硬件或软件组件)，并执行各种数据处理或计算，这些组件连接到处理器2220。作为数据处理或计算的一部分，处理器2220可以被配置为将从其他组件(传感器模块2210、通信模块2290等)接收的命令和/或数据加载到易失性存储器2232中，处理存储在易失性存储器2232中的命令和/或数据，并将结果数据存储在非易失性存储器2234中。处理器2220可以包括主处理器2221(cpu、ap等)和可以独立操作或与主处理器2221一起操作的辅助处理器2223(gpu、图像信号处理器、传感器中枢处理器、通信处理器等)。辅助处理器2223可以使用比主处理器2221更少的功率，并且可以执行专门的功能。
[0137]
当主处理器2221处于非活动状态(睡眠状态)时，辅助处理器2223可以负责控制与电子设备2201的组件当中的一个或多个组件(显示装置2260、传感器模块2210、通信模块2290等)相关的功能和/或状态的操作，或者当主处理器2221处于活动状态(应用运行状态)时，辅助处理器2223可以与主处理器2221一起执行相同的操作。辅助处理器2223(图像信号处理器、通信处理器等)可以被实现为其他功能相关组件(相机模块2280、通信模块2290等)的一部分。
[0138]
存储器2230可以存储电子设备2201的组件(处理器2220、传感器模块2210等)所需的各种数据。数据可以包括例如软件(程序2240等)、与软件相关的命令的输入数据和/或输出数据。存储器2230可以包括易失性存储器2232和/或非易失性存储器2234。
[0139]
程序2240可以作为软件存储在存储器2230中，并且可以包括例如操作系统(os)2242、中间件2244或应用2246。
[0140]
输入设备2250可以从电子设备2201的外部(用户等)接收电子设备2201的组件(处理器2220等)要使用的命令和/或数据。输入设备2250可以包括麦克风、鼠标、键盘和/或数字笔(手写笔等)。
[0141]
声音输出设备2255可以向电子设备2201的外部输出声音信号。声音输出设备2255可以包括扬声器和/或接收器。扬声器可用于一般目的，如播放多媒体或唱片播放，而接收器可用于接收来电。接收器可以作为扬声器的一部分耦合到扬声器，或者可以实现为单独的设备。
[0142]
显示装置2260可以可视地向电子设备2201的外部提供信息。显示装置2260可以包括显示器、全息图设备或用于控制投影仪和对应的设备的控制电路。显示装置2260可以包括被配置为感测触摸操作的触摸电路和/或被配置为测量由触摸操作生成的力的强度的传感器电路(压力传感器等)。显示装置2260可以包括上述全息显示装置1000。在这种情况下，全息显示装置1000中包括的cgh生成器350可以实现为cgh生成模块2281。
[0143]
根据上述方法，cgh生成模块2281可以生成相位为0的仅振幅全息图，该全息图要被提供给显示装置2260中包括的slm的参考平面。
[0144]
音频模块2270可以将声音转换成电信号或将电信号转换成声音。音频模块2270可
以经由输入设备2250获得声音，或者可以经由声音输出设备2255和/或直接或无线连接到电子设备2201的电子设备(电子设备2202等)的扬声器和/或耳机输出声音。
[0145]
传感器模块2210可以感测电子设备2201的操作状态(电力、温度等)或外部环境状态(用户状态等)，并生成对应于所感测的状态的电信号和/或数据值。传感器模块2210可以包括指纹传感器2211、加速度传感器2212、位置传感器2213、3d传感器2214等，并且还可以包括虹膜传感器、陀螺仪传感器、大气传感器、磁传感器、抓握传感器、接近传感器、颜传感器、红外(ir)传感器、生物传感器、温度传感器、湿度传感器和/或照度传感器。
[0146]
接口2277可以支持要用于直接或无线连接到另一个电子设备(电子设备2202等)的电子设备2201的一个或多个指定协议。接口2277可以包括高清多媒体接口(hdmi)接口、通用串行总线(usb)接口、sd卡接口和/或音频接口。
[0147]
连接端子2278可以包括连接器，电子设备2201可以通过该连接器物理连接到另一电子设备(电子设备2202等)。连接端子2278可以包括hdmi连接器、usb连接器、sd卡连接器和/或音频连接器(耳机连接器等)。
[0148]
触觉模块2279可以将电信号转换成用户通过触觉或运动感觉可识别的机械刺激(振动、运动等)或电刺激。触觉模块2279可以包括马达、压电设备和/或电刺激设备。
[0149]
相机模块2280可以捕获静止图像和视频。相机模块2280可以包括透镜组合体，该透镜组合体包括一个或多个透镜、图像传感器、图像信号处理器和/或闪光灯。
[0150]
电力管理模块2288可以管理供应给电子设备2201的电力。电力管理模块2288可以实现为电力管理集成电路(pmic)的一部分。
[0151]
电池2289可以向电子设备2201的组件供电。电池2289可以包括不可充电的原电池、可充电的蓄电池和/或燃料电池。
[0152]
通信模块2290可以支持在电子设备2201和其他电子设备(电子设备2202、电子设备2204、服务器2208等)之间建立直接(有线)通信信道和/或无线通信信道，以及支持通过已建立的通信信道的通信性能。通信模块2290可以包括与处理器2220(应用处理器等)分开操作并支持直接通信和/或无线通信的一个或多个通信处理器。通信模块2290可以包括无线通信模块2292(蜂窝通信模块、短程无线通信模块、全球导航卫星系统(gnss)通信模块)和/或有线通信模块2294(局域网(lan)通信模块、电力线通信模块等)。在这些通信模块当中，对应的通信模块可以通过第一网络2298(短程无线通信网络，诸如蓝牙、wifi直连或红外数据协会(irda))或第二网络2299(远程通信网络，诸如蜂窝网络、互联网或计算机网络(lan、wan等))与其他电子设备通信。上述各种类型的通信模块可以集成为单个组件(单个芯片等)或实现为多个组件(多个芯片)。无线通信模块2292可以通过使用存储在订户识别模块2296中的订户信息(国际移动订户标识(imsi)等)来识别和认证第一网络2298和/或第二网络2299内的电子设备2201。
[0153]
天线模块2297可以向外部(其他电子设备等)发送信号和/或电力或从外部接收信号和/或电力。天线可以包括发射器，该发射器包括形成在基板(印刷电路板(pcb)等)上的导电图案。天线模块2297可以包括一个天线或多个天线。当天线模块2297包括多个天线时，通信模块2290可以从多个天线中选择适合于通信网络(例如第一网络2298和/或第二网络2299)中使用的通信方法的适当天线。通过所选择的天线，信号和/或电力可以在通信模块2290和其他电子设备之间发送或接收。除了天线之外，另一组件(射频集成电路(rfic)等)
还可以被包括在天线模块2297中。
[0154]
通过在外围设备(总线、通用输入输出(gpio)、串行外围接口(spi)、移动工业处理器接口(mipi)等)之间执行的通信方法，电子设备2201的组件中的一个或多个组件可以彼此连接并彼此交换信号(命令、数据等)。
[0155]
命令或数据可以通过连接到第二网络2299的服务器2208在电子设备2201和另一外部电子设备(即，电子设备2204)之间发送或接收。其他电子设备，即电子设备2202和2204，可以是相对于电子设备2201是同类或异类的电子设备。由电子设备2201执行的全部或部分操作可以由其他电子设备(即，电子设备2202和2204以及服务器2208)中的一个或多个执行。例如，当电子设备2201必须执行功能或服务时，可以请求一个或多个其他电子设备执行部分或全部功能或服务，而不是直接执行功能或服务。接收该请求的一个或多个其他电子设备可以执行与该请求相关的附加功能或服务，并且可以将运行结果发送到电子设备2201。为此，可以使用云计算、分布式计算和/或客户端-服务器计算技术。
[0156]
此外，全息显示装置的应用领域可以进行各种修改。例如，全息显示装置不仅可以应用于实现vr、ar、或mr，或者还可以应用于其他领域。例如，全息显示装置可以应用于用户可以穿戴的小型电视或小型监视器。
[0157]
包括在上述全息显示装置中的cgh生成器可以生成适合于被分配给振幅调制slm的振幅全息图。
[0158]
上述全息显示装置可以具有简单的光学系统结构，并且可以实现高的光效率。
[0159]
上述全息显示装置可以被实施在各种电子设备中，诸如ar设备等。
[0160]
应该理解，本文描述的实施例应该仅被认为是描述性的，而不是为了限制的目的。每个实施例中的特征或方面的描述通常应被认为可用于其他实施例中的其他类似特征或方面。虽然已经参照附图描述了一个或多个实施例，但是本领域普通技术人员将理解，在不脱离由以下权利要求限定的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

技术特征：

1.一种全息显示装置，包括：光源；空间光调制器，被配置为根据要显示在物平面上的图像调制来自光源的光；和处理器，被配置为生成计算机生成的全息图cgh，其中要在所述空间光调制器的参考平面上显示的全息图数据的相位值为0，所述处理器被配置为将基于所述cgh的光调制信号施加到所述空间光调制器。2.根据权利要求1所述的全息显示装置，其中，所述空间光调制器包括振幅调制空间光调制器。3.根据权利要求1所述的全息显示装置，其中，所述物平面包括通过在深度方向上分割物体图像而获得的多个物平面，以及其中，所述处理器还被配置为通过向所述空间光调制器的参考平面传播与要在所述多个物平面中的每一个上显示的相应全息图图像相对应的复函数，来生成所述cgh。4.根据权利要求1所述的全息显示装置，其中，所述处理器还被配置为重复地改变要在所述物平面上显示的全息图图像的全息图图像数据的相位值，并搜索经由其所述空间光调制器的参考平面上的所述全息图数据的相位变为0的值。5.根据权利要求4所述的全息显示装置，其中，所述处理器还被配置为使用梯度下降方法来重复地改变要在所述物平面上显示的所述全息图图像数据的相位值，并搜索经由其所述空间光调制器的参考平面上的所述全息图数据的相位变为0的值。6.根据权利要求4所述的全息显示装置，其中，所述处理器还被配置为：配置第一复函数，所述第一复函数包括对应于要在所述物平面上显示的所述全息图图像的振幅a和要分配给所述振幅a的任意相位值计算通过向所述参考平面传播所述第一复函数而获得的第二复函数；提取所述第二复函数的虚部；计算指示所述虚部和0之间的差的损失值；和校正所述任意相位值使得所述损失值最小。7.根据权利要求6所述的全息显示装置，其中，根据梯度下降方法重复执行对所述相位值的校正。8.根据权利要求7所述的全息显示装置，其中，所述处理器还被配置为：计算通过向所述参考平面传播其中通过多次校正所述相位值而确定的最终相位值被分配给所述振幅a的复函数而获得的第三复函数；和从所述第三复函数中提取实部。9.根据权利要求8所述的全息显示装置，其中，所述处理器还被配置为将所述实部转换成所述光调制信号，并将所述光调制信号施加到所述空间光调制器。
10.根据权利要求1所述的全息显示装置，其中，所述处理器还被配置为：重复地改变要在所述参考平面上显示的所述全息图数据的振幅值；通过向所述物平面传播重复地改变的振幅值来获得复函数；和搜索经由其所述复函数的振幅变得等于要在所述物平面上显示的所述全息图图像数据的振幅值的值。11.根据权利要求10所述的全息显示装置，其中，所述处理器还被配置为使用梯度下降方法来重复地改变要在所述参考平面上显示的所述全息图数据的振幅值，通过向所述物平面传播重复地改变的振幅值来获得所述复函数，以及搜索经由其所述复函数的振幅变得等于要在所述物平面上显示的所述全息图图像数据的振幅值的值。12.根据权利要求10所述的全息显示装置，其中，所述处理器还被配置为：配置包括任意振幅a’的第四复函数作为要在所述参考平面上显示的所述全息图数据；计算通过向所述物平面传播其中相位值0被分配给所述任意振幅a’的所述第四复函数而获得的第五复函数；计算关于所述第五复函数的振幅和要在所述物平面上显示的所述全息图图像数据的振幅值之间的差的损失值；和校正所述任意振幅a’，使得损失值最小。13.根据权利要求12所述的全息显示装置，其中，根据梯度下降方法重复执行对所述任意振幅a’的校正。14.根据权利要求13所述的全息显示装置，其中，所述处理器还被配置为将通过多次校正所述任意振幅a’而确定的最终振幅值a’转换成所述光调制信号，并将所述光调制信号施加到所述空间光调制器。15.根据权利要求1所述的全息显示装置，其中，所述处理器还被配置为根据迭代傅立叶变换算法ifta方法，搜索所述物平面的复函数，经由其要在所述空间光调制器的参考平面上显示的所述全息图数据的相位变为0。16.根据权利要求15所述的全息显示装置，其中，所述处理器还被配置为：配置任意第一复函数作为要在所述物平面上显示的全息图图像数据；通过将所述任意第一复函数的振幅改变为预定振幅a并向所述参考平面传播将改变的任意第一复函数来计算第二复函数；通过将所述第二复函数的相位改变为0并向所述物平面传播所述第二复函数来计算第三复函数；和将所述第三复函数的振幅与所述预定振幅a进行比较。17.根据权利要求16所述的全息显示装置，其中，所述处理器还被配置为，当所述第三复函数的振幅不同于所述预定振幅a时，使用所述第三复函数作为另一第一复函数，并且执行另一第二复函数的计算和另一第三复函数的计算。
18.根据权利要求16所述的全息显示装置，其中，所述处理器还被配置为，当所述第三复函数的振幅等于所述预定振幅a时，计算通过向所述参考平面传播所述第三复函数而获得的所述复函数。19.根据权利要求18所述的全息显示装置，其中，所述处理器还被配置为将所计算的复函数的实部转换成所述光调制信号，并将所述光调制信号施加于所述空间光调制器。20.根据权利要求1所述的全息显示装置，还包括布置在所述空间光调制器和所述物平面之间的场透镜。21.根据权利要求1所述的全息显示装置，其中，所述全息显示装置包括眼镜型装置。22.一种包括根据权利要求1-21任一所述的全息显示装置的电子设备。23.一种增强现实设备，包括：根据权利要求1-21任一所述的全息显示装置；和光学组合器，被配置为将经由所述全息显示装置的图像光与环境光组合，并将组合的光提供给用户的眼睛。24.根据权利要求23所述的增强现实设备，其中，所述光学组合器相对于沿第一方向入射的环境光是透明的，并且被配置为将沿不同于所述第一方向的第二方向入射的图像光的路径改变为平行于所述第一方向的方向。25.一种全息显示装置，包括：相干光源；振幅调制空间光调制器slm，被配置为调制从所述相干光源入射的相干光；和处理器，被配置为：接收要在物平面上显示的图像的物体振幅数据；计算要在所述物平面上显示的图像的物体相位数据，使得施加到所述振幅调制slm的计算机生成的全息图cgh的参考相位数据基本上等于零；生成包括所述参考相位数据的cgh；和将所述cgh施加到所述振幅调制slm，以在所述物平面上显示所述图像。26.根据权利要求25所述的全息显示装置，其中计算所述物体相位数据包括:生成包括初始任意值作为物体相位数据的第一复函数；和执行迭代过程，包括：通过向所述振幅调制slm的参考平面传播所述第一复函数来生成第二复函数；确定所述第二复函数的相位数据是否基本上等于零；和基于所述第二复函数的相位数据不是基本上等于零，生成包括基于所述第二复函数的相位数据的校正的相位数据的第三复函数，并且使用所述第三复函数作为所述第一复函数来重复所述迭代过程。27.根据权利要求26所述的全息显示装置，其中所述迭代过程还包括：基于所述第二复函数的相位数据基本上等于零，确定最近生成的第二复函数的相位数据作为物体相位数据。

技术总结

一种全息显示装置，包括：光源；空间光调制器，被配置为根据要在物平面上显示图像来调制来自光源的光；以及处理器，被配置为生成其中要在空间光调制器的参考平面上显示的全息图数据的相位值为0的计算机生成的全息图(CGH)，该处理器被配置为将基于CGH的光调制信号施加到空间光调制器。到空间光调制器。到空间光调制器。