显示方法、显示装置、电子设备和可读存储介质与流程

1.本技术属于显示处理技术领域，具体涉及一种显示方法、显示装置、电子设备和可读存储介质。

背景技术：

2.随着科技的发展，电子设备越来越多地应用到人们生活的各个方面，为人们的生活提供了很大的便利。但是，相应地，人们对电子设备也提出了更高的要求。例如，用户通过电子设备查看相册照片时、在拍照和录像的过程中或者在进行拍摄前的场景预览时经常会进行显示画面的放大操作，以更清楚地查看画面细节。但是，显示画面在放大的同时，与显示画面相对应的图像分辨率通常也会降低，导致清晰度变差。再例如，用户即便不进行放大操作，有时用户也希望图像中的某些细节信息能够更清晰的展现出来，例如图像中的二维码或者名片信息等等。
3.因此，有必要提供一种新的显示方法，以解决现有技术中存在的上述技术问题。

技术实现要素：

4.本技术实施例的目的是提供一种显示方法、显示装置、电子设备和可读存储介质，能够解决用户对画面放大时，画面显示不清晰的问题。
5.第一方面，本技术实施例提供了一种显示处理方法，应用于电子设备，所述电子设备包括系统级芯片以及独立显示芯片，所述系统级芯片与所述独立显示芯片连接，所述方法包括：所述系统级芯片响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行图像裁剪处理，获得第一图像分辨率下的图像帧数据；将所述第一图像分辨率下的图像帧数据以及超分指示发送至所述独立显示芯片；所述独立显示芯片对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得在第二图像分辨率下的图像帧数据；显示所述第二图像分辨率下的图像帧数据。
6.第二方面，本技术实施例提供了一种显示装置，包括系统及芯片及独立显示芯片，所述系统级芯片与所述独立显示芯片连接，其中，所述系统及芯片，用于响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行图像裁剪处理，获得第一图像分辨率下的图像帧数据，以及将所述第一图像分辨率下的图像帧数据以及超分指示发送至所述独立显示芯片；所述独立显示芯片，用于对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得在第二图像分辨率下的图像帧数据，以及输出所述第二图像分辨率下的图像帧数据以供显示。
7.第三方面，本技术实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面任一项所述的方法的步骤。
8.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
9.第五方面，本技术实施例提供了一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
10.第六方面，本技术实施例提供了一种系统级芯片，所述系统级芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面中所述显示方法中所述系统级芯片执行的步骤。
11.第七方面，本技术实施例提供了一种独立显示芯片，所述系统级芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面中所述显示方法中所述独立显示芯片执行的步骤。
12.根据本技术提供的显示方法，在显示画面在第一分辨率下的图像帧数据是从拍照预览画面或者本地相册存储的画面进行放大和裁剪后得到的情况下，通过对显示画面在第一分辨率下的图像帧数据进行超分辨率处理，可以提升拍照预览画面或者本地相册存储的画面放大后的清晰度，解决了图像在放大时，因图像的分辨率降低而导致的画面清晰度变差的问题。
附图说明
13.图1是本技术实施例的显示处理方法的流程图；
14.图2是本技术实施例的显示处理方法的显示画面处理过程的示意图；
15.图3是本技术实施例的显示处理方法中的超分辨率处理的流程图；
16.图4是本技术实施例的显示处理方法中的精确识别的流程图；
17.图5是本技术实施例的显示处理方法中精确识别模式下显示画面处理过程的示意图；
18.图6是本技术实施例的独立显示芯片的方框示意图；
19.图7是本技术实施例的显示装置的结构示意图；
20.图8是本技术实施例的显示处理设备在对本地存储的图片进行处理时的流程图；
21.图9是本技术实施例的显示处理设备在对拍照预览画面进行处理时的流程图；
22.图10是本技术实施例的电子设备的方框示意图；
23.图11是本技术实施例的电子设备的硬件结构示意图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
25.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
26.需要说明的是，本技术中所有获取信号、信息或数据的动作都是在遵照所在地国
家相应的数据保护法规政策的前提下，并获得由相应装置/账户所有者给予授权的情况下进行的。
27.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的显示处理方法进行详细地说明。
28.如图1所示，本技术实施例提供一种显示方法，所述方法应用于电子设备。所述电子设备可以手机、pad、具有电子显示屏的其他便携式移动处理设备。在本实施例的电子设备中包括有显示屏、系统级芯片soc以及独立显示芯片，所述系统级芯片与所述独立显示芯片连接，所述独立显示芯片与显示屏连接。所述方法包括步骤101-104：
29.步骤101，所述系统级芯片响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行图像裁剪处理，获得第一图像分辨率下的图像帧数据；
30.在本实施例中，显示画面可以是拍照时或者摄像时的场景预览画面，也可以是从电子设备存储器中获取的已有的画面，比如图库中的图片；也可以是通过与其他设备建立通信接收的画面。本领域技术人员应当理解，这里对于显示画面的具体来源不做限定。由于不同的电子设备具有不尽相同的屏幕尺寸和屏幕分辨率，本领域技术人员应当知晓，即便是相同的显示画面也可能在不同的电子设备屏幕上被展现不同的分辨率，或者被展现显示画面中的不同部分。应当知道，本发明中，不论电子设备的屏幕分辨率如何、也不论显示画面所实际在电子设备的显示屏上被展现的是局部还是全部、也不论显示画面被展现在不同的时间节点，只要所述电子设备利用显示屏进行展示的均可称为显示画面。
31.在需要对当前显示画面进行放大显示时，用户对当前显示画面进行例如触摸放大操作或者电子设备自动检测到需要放大显示的场景，从而触发放大显示的第一指令，所述系统级芯片相应该第一指令，对当前显示画面进行图像裁剪处理，从而获得第一图像分辨率下的图像帧数据。
32.该第一分辨率，可以是与电子设备的屏幕分辨率相匹配的分辨率。举例来说，所述第一分辨率可以是小于屏幕分辨率的某个分辨率，如为540p或者720p，使得后续处理步骤能够对该第一分辨率的图像帧数据进行超分辨率处理从而获得与屏幕分辨率相同的图像帧数据，以便进行屏幕显示。因此，所述第一分辨率应当是适于通过后续处理步骤获得屏幕分辨率的分辨率。
33.可选的，当后续处理步骤是如下实施例中所述的倍率型超分辨率处理步骤时，为了在后续处理步骤结束后获得屏幕分辨率的图像帧数据，该第一分辨率通常是屏幕分辨率的固定倍率。举例来说，当屏幕分辨率为1080p时，该第一分辨率可以是270p/360p/432p/540p/720p/1080p中任意一个，这样在后续处理步骤中可以对应进行4x/3x/2.5x/2x/1.5x/1x倍率的超分辨率处理，就可以得到屏幕分辨率1080p下的图像帧数据。
34.所述第一分辨率的图像帧数据在本发明的具体应用场景中可以通过如下方式获得。
35.[应用场景一：拍摄场景预览]
[0036]
在本应用场景中，用户打开相机，由相机传感器获取拍摄场景预览画面并在屏幕上进行显示。例如一个1600万像素的相机传感器所获取的场景预览画面在屏幕分辨率为1080p的屏幕上进行显示。当在屏幕上显示的拍摄场景预览画面仍然有细节无法清晰呈现时，相机app可自动检测并调用画面放大操作或者通过用户手动执行画面放大操作从而触
发第一指令，执行放大操作所针对的画面即为显示画面。电子设备的系统级芯片将针对放大操作的第一指令对显示画面进行相应的裁剪，如果裁剪后的画面尺寸及对应的分辨率刚好与屏幕分辨率相匹配，例如是屏幕分辨率的固定倍率，那么该裁剪后的画面所对应的分辨率及对应的图像帧数据就作为该显示画面在第一分辨率下的图像帧数据。举例来说，当屏幕分辨率为1080p时，如果裁剪后的画面所对应的分辨率刚好为720p——即1.5x(1080p/720p)倍率超分处理下的分辨率，那么该裁剪后的画面所对应的分辨率及对应的图像帧数据就作为该显示画面在第一分辨率下的图像帧数据。在另一种情况下，由于放大操作本身区域和比例并不确定也不固定，很可能出现电子设备的系统级芯片针对放大操作对显示画面进行相应的裁剪后的画面尺寸及对应的分辨率与屏幕分辨率无法匹配，例如不是屏幕分辨率的固定倍率，那么则需要系统级芯片再针对该裁剪后的画面做预插值处理使之成为分辨率与屏幕分辨率相匹配的图像帧数据以适于进行后续处理步骤，将该匹配的图像帧数据作为该显示画面在第一分辨率下的图像帧数据。举例来说，当屏幕分辨率为1080p时，如果放大操作裁剪后的画面所对应的分辨率为480p，即介于432p和540p之间，那么系统级芯片可以再针对该裁剪后的画面做预插值处理使之成为分辨率为540p的图像帧数据以适于进行后续处理步骤，将该匹配的图像帧数据作为该显示画面在第一分辨率下的图像帧数据。
[0037]
[场景二：图库浏览]
[0038]
在本应用场景中，用户进入本地相册并查看图片并选定某个图片，该图片即为显示画面。若显示画面的初始分辨率高于屏幕分辨率，则系统级芯片执行降分辨率算法将该显示画面的初始分辨率压缩至屏幕分辨率而后进行后续显示处理。例如：显示画面的初始分辨率为2160p(2160
×
3840)，屏幕分辨率为1080p(1080
×
1920)，显示画面的初始分辨率大于屏幕分辨率，系统级芯片对显示出面在初始分辨率下的图像帧数据进行降分辨率处理，获得显示画面在1080p下的图像帧数据。若显示画面的初始分辨率小于或等于屏幕分辨率，则系统级芯片直接将显示画面的图像帧数据进行后续显示处理。如果在屏幕上显示的画面仍然有细节无法清晰呈现时，为了在屏幕上看清画面细节，用户对该显示画面进行放大从而触发第一指令，电子设备的系统级芯片将针对放大操作对显示画面进行相应的裁剪，若裁剪后的画面尺寸及分辨率仍大于屏幕分辨率，则系统级芯片仅做降分辨率处理，将裁剪后的画面压缩为屏幕分辨率，进行显示。若裁剪后的画面尺寸及分辨率小于或等于屏幕分辨率，且裁剪后的画面尺寸及对应的分辨率刚好与屏幕分辨率相匹配，例如是屏幕分辨率的固定倍率，那么该裁剪后的画面所对应的分辨率及对应的图像帧数据就作为该显示画面在第一分辨率下的图像帧数据。在另一种情况下，若裁剪后的画面尺寸及分辨率小于或等于屏幕分辨率，但是，由于放大操作本身区域和比例并不确定也不固定，很可能出现电子设备的系统级芯片针对放大操作对显示画面进行相应的裁剪后的画面尺寸及对应的分辨率与屏幕分辨率无法匹配，例如不是屏幕分辨率的固定倍率，那么则需要系统级芯片再针对该裁剪后的画面做预插值处理使之成为分辨率与屏幕分辨率相匹配的图像帧数据以适于进行后续处理步骤，将该匹配的图像帧数据作为该显示画面在第一分辨率下的图像帧数据。
[0039]
步骤102，将所述第一图像分辨率下的图像帧数据以及超分指示发送至所述独立显示芯片；
[0040]
步骤103，所述独立显示芯片对所述第一图像分辨率下的图像帧数据进行超分辨
率处理，获得在第二图像分辨率下的图像帧数据；
[0041]
在本发明中超分辨率处理可以基于深度学习的人工智能神经网络算法，一些已有的算法可以在本发明中被利用例如aisr算法。为了提高超分辨率处理的效率，通常需要将aisr处理算法固化到硬件——固化在独立显示芯片(独显芯片)中的aisr处理电路。硬件规格确定后，aisr处理算法可超分的倍率也随之固定，可以对aisr处理算法设计多个超分档位，通常超分档位是整数，例如4x/3x/2.5x/2x/1.5x/1x档位可调，通过调整不同的档位，可以对图像进行4倍超分/3倍超分/2.5倍超分/2倍超分/1.5倍超分/1倍超分，从而可以处理不同分辨率下的图像帧数据。
[0042]
在一个实施例中，步骤103所述的超分辨率处理可以通过如下方式进行：获取帧缓冲存储器中上一次存储的第二图像分辨率下的图像关联帧数据；
[0043]
利用所述第二图像分辨率下的图像关联帧数据，对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得第二图像分辨率下的图像帧数据。
[0044]
具体地，利用所述第二图像分辨率下的图像关联帧数据，对所述第一图像分辨率下的图像帧数据进行目标倍率的超分辨率处理，获得第二图像分辨率下的图像帧数据。
[0045]
在本实施例中，所述独立显示芯片包括帧缓冲存储器。对显示画面在第一分辨率下的图像帧数据进行超分辨率处理时，可以利用在帧缓冲存储器中存储的在第二图像分辨率下的且与需要处理的显示画面相关联的关联图像帧数据，这里的关联图像帧数据可以是根据帧缓冲存储器中存储的上一帧图像辅助进行超分辨率处理，从而获得在第二图像分辨率下的图像帧数据。之后，将所述第二图像分辨率下的图像帧数据作为第二图像分辨率下的图像关联帧数据，存储在所述帧缓冲存储器中。
[0046]
具体步骤是：
[0047]
步骤301、第n帧数据经过超分辨率处理后，保存在帧缓冲存储器中。
[0048]
步骤302、第n+1帧数据与帧缓冲存储器中的第n帧数据共同作为超分辨率处理的输入，并将第n帧数据作为超分辨率处理的关联图像帧数据，对第n+1帧数据进行超分辨率处理。输出处理后的第n+1帧数据。
[0049]
步骤303、处理后的第n+1帧数据保存到帧缓冲存储器中，覆盖第n帧数据。
[0050]
需要说明的是，在帧缓冲存储器中的第n帧数据作为对第n+1帧数据进行超分辨率处理的关联图像帧数据时，其分辨率可以与第n+1帧数据经过超分辨率处理后达到的分辨率相同，也就是说，帧缓冲存储器中的第n帧数据的分辨率可以与第二图像分辨率的值相同，如此，第n+1帧数据经过超分辨率处理后，可以获得在第二图像分辨率下的第n+1帧数据。
[0051]
在进行超分辨率处理时，关联图像帧数据可以根据显示画面的来源不同而有所区别。在拍照场景预览的例子中，关联图像可以是已拍照完成的画面中符合第二图像分辨率的且与当前拍照场景预览画面相关联的图像，例如时间上相邻且场景参数近似度较高的图像。在图库预览的例子中，关联图像可以是图库中与需要处理的画面拍摄时间上相邻的图像，关联图像还可以是图库中与需要处理的画面显示内容及图像参数近似度高的图像。
[0052]
需要说明的是，本发明的方法通常是对显示画面中需要重点增加清晰度的部分进行超分辨率处理，以满足用户对该部分重点查看的需求。因此关联图像通常是与显示画面的显示内容具有一定关联关系的图像，当然关联图像也可以是与显示画面的显示内容关联
性不大的图像，但其分辨率满足第二图像分辨率时，也可以作为关联图像对显示画面在第一分辨率下的图像帧数据进行超分辨率处理，以提升显示画面的画面清晰度。同时可以进一步在帧缓冲存储器中存储该超分辨率处理后的图像，以便进行再次超分辨率处理，从而逐步提升画面清晰度。
[0053]
可选的，第二图像分辨率是指经过超分辨率处理后的图像的分辨率。由于第二图像分辨率的图像帧数据一般用于直接输出，所以第二图像分辨率通常是当前屏幕分辨率，当然第二图像分辨率也可以高于屏幕分辨率。在这种情况下，如果将第二图像分辨率的图像帧数据用于屏幕显示则还需要进行降分辨率处理。
[0054]
其中，所述超分辨率处理对应的目标倍率指的是超分辨率处理时放大的倍率。一般来讲，目标倍率的确定方式可以根据需要进行调整，例如可以直接由系统级芯片根据裁剪后得到的第一分辨率来确定目标倍率并将目标倍率随同第一分辨率下的图像帧数据一并发送给独立显示芯片。
[0055]
当然，目标倍率也可以由独立显示芯片根据所接收到的系统级芯片发送的第一分辨率下的图像帧数据来自主确定。在本实施例中，所述目标倍率为第二图像分辨率与第一图像分辨率之间的比值，该第二图像分辨率可以根据屏幕分辨率而确定，也可以根据帧缓冲存储器中存储的关联图像的分辨率而确定。
[0056]
步骤104，发送所述第二图像分辨率下的图像帧数据至显示屏。
[0057]
本实施例中，所述显示画面在第二图像分辨率下的图像帧数据已经是经过超分辨率处理后的增强的图像，其可被提供用于输出到显示屏。
[0058]
以上已经根据本发明的实施例介绍了本发明的显示处理方法，本发明的显示处理方法具有以下有益效果：
[0059]
第一、由于用户在查看相册照片、拍照和录像时经常会进行显示画面放大的操作。由于系统级芯片进行放大图像处理是针对原始图像，即相册照片或摄像头传感器输入的图像进行裁剪和插值，因此，无论是放大相册照片还是拍照/录像预览画面，都会降低原始图像分辨率，导致清晰度变差。本发明通过对显示画面在系统级芯片处理后的第一分辨率下的图像帧数据进行超分辨率处理，可以提升拍照预览画面或者本地相册存储的画面放大后的清晰度，解决了图像在放大时，因图像的分辨率降低而导致的画面清晰度变差的问题。
[0060]
第二、通过利用关联图像可以对显示画面中需要重点增加清晰度的部分进行超分辨率处理，可以满足用户对该部分重点查看的需求。
[0061]
第三，显著改善了现有技术中的电子设备仅能够通过系统级芯片进行预插值处理来进行局部放大操作画面仍无法清晰展示的问题。
[0062]
在上述实施例中，由于第一分辨率下的图像帧数据是最终进行增强显示的对象，而该图像帧数据在不同应用场景中获取的方式不同，第一分辨率的实际值也会不同。因此，为了便于对显示画面进行预定倍率的超分辨率处理，所述系统级芯片响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行图像裁剪处理，获得第一图像分辨率下的图像帧数据，包括：
[0063]
所述系统级芯片根据所述第一指令对所述当前显示画面进行图像裁剪处理，获得第三图像分辨率下的图像帧数据，当所述第三图像分辨率等于第一图像分辨率的情况下，将所述裁剪后的图像帧数据作为第一图像分辨率下的图像帧数据；
[0064]
当所述第三图像分辨率不等于第一图像分辨率的情况下，对所述第三图像分辨率下的图像帧数据进行预插值处理，得到第一分辨率下的图像帧数据。
[0065]
该步骤是为了提供用户在进行显示画面浏览时希望清晰展现显示画面局部细节的处理方案。也即，用户触发对显示画面进行放大显示的第一指令；在第一指令被触发的情况下，本方法会截取显示画面中与第一指令相对应的第三图像分辨率下的放大区域的图像帧数据；随后对该第三图像分辨率下的图像帧数据进行处理获得第一分辨率下的图像帧数据。
[0066]
下面结合具体应用场景进行说明。
[0067]
[场景一：拍摄场景预览]
[0068]
在本应用场景中，用户打开相机，由相机传感器获取拍摄场景预览画面的图像数据，系统级芯片对该图像数据进行降噪、坏点校正、域调整以及去马赛克等处理后，得到的图像数据显示在屏幕上，当在屏幕上显示的拍摄场景预览画面仍然有细节无法清晰呈现时，相机app可自动检测并触发对该画面进行放大显示的第一指令，电子设备的系统级芯片接收并响应于对该画面进行放大的第一指令，执行对该画面的放大操作，或者也可以是由用户手动执行放大操作从而触发第一指令。无论以何种方式对画面进行放大，画面被放大后都需要系统级芯片做相应的裁剪，得到裁剪后的画面尺寸及对应的图像帧数据作为第三图像分辨率下的图像帧数据，如果放大区域的图像帧数据的分辨率，即第三图像分辨率刚好与屏幕分辨率相匹配，例如刚好是屏幕分辨率的固定倍率，那么第三图像分辨率下的图像帧数据就作为该显示画面在第一分辨率下的图像帧数据，即第三图像分辨率即为第一图像分辨率。在另一种情况下，该放大区域的图像帧数据的分辨率与屏幕分辨率不匹配，及第三图像分辨率不等于第一图像分辨率，则还需要系统级芯片对第三图像分辨率下的图像帧数据进行预插值处理以匹配屏幕分辨率，并将该匹配好的图像帧数据作为该显示画面在第一分辨率下的图像帧数据。
[0069]
[场景二：图库浏览]
[0070]
在本场景中，用户进入本地相册并查看图片并选定某个图片，该图片即为显示画面。若显示画面的初始分辨率高于屏幕分辨率，则系统级芯片执行降分辨率算法将该显示画面的初始分辨率压缩至屏幕分辨率而后进行后续显示处理。若显示画面的初始分辨率小于或等于屏幕分辨率，则系统级芯片直接将显示画面的图像帧数据进行后续显示处理。如果在屏幕上显示的画面仍然有细节无法清晰呈现时，为了在屏幕上看清画面细节，用户对该显示画面进行放大，从而触发对该显示画面进行放大的第一指令。电子设备的系统级芯片响应于该第一指令，对显示画面进行相应的裁剪，若裁剪后的画面尺寸及对应的分辨率，即第三图像分辨率仍然大于所述电子设备的屏幕分辨率的情况下，降低所述裁剪后的图像帧数据的所对应的图像分辨率至所述屏幕分辨率，将降低分辨率的待显示图像帧数据发送至所述独立显示芯片以供显示。否则，如果放大区域的图像帧数据的分辨率，即第三图像分辨率刚好与屏幕分辨率相匹配，例如刚好是屏幕分辨率的固定倍率，那么第三图像分辨率下的图像帧数据就作为该显示画面在第一分辨率下的图像帧数据，即第三图像分辨率即为第一图像分辨率。如果，该放大区域的图像帧数据的分辨率与屏幕分辨率不匹配，及第三图像分辨率不等于第一图像分辨率，则还需要系统级芯片对第三图像分辨率下的图像帧数据进行预插值处理以匹配屏幕分辨率，并将该匹配好的图像帧数据作为该显示画面在第一分
辨率下的图像帧数据。
[0071]
下面结合图2说明在步骤101-104被执行的情况下的显示画面及其效果。如图2(a)所示，显示画面的原始分辨率为1080p，屏幕分辨率为1080p，该显示画面中包含用户需要重点查看的目标区域202。由于在显示画面中目标区域202尺寸较小不能被用户清楚查看，因此需要对包含目标区域在内的局部区域201进行放大。用户手动执行放大操作从而触发第一指令或者app自动检测并触发对该画面进行放大的第一指令。系统级芯片对局部区域进行裁剪和预插值，处理后的局部区域201的图像帧数据的分辨率为540p，如图2(b)所示。但是该分辨率下的局部区域201的清晰度没有得到任何改善，需要再利用超分辨率处理算法将裁剪后的画面分辨率放大2倍至1080p分辨率，可以得到目标区域202显示较清晰的1080p的画面，如图2(c)所示。
[0072]
在一个实施例中，如图3所示，上述实施例中所述的超分辨率处理可以基于步骤301-步骤304所述的方式：
[0073]
步骤301、利用所述关联图像帧数据对所述显示画面在第一分辨率下的图像帧数据进行超分辨率重建，以初步改善所述第一分辨率下的图像帧数据的清晰度。
[0074]
在本步骤中，利用关联图像帧数据对显示画面在第一分辨率下的图像帧数据进行低精度的超分辨率重建，这里的关联图像帧数据是在第二图像分辨率下的关联图像帧数据，通过关联图像帧数据对显示画面在第一分辨率下的图像帧数据进行超分辨率重建，可以初步改善在第一分辨率下的图像帧数据的清晰度。例如，关联图像的分辨率为1080p，第一分辨率为540p，可以利用关联图像1080p的帧数据对当前540p的帧数据进行超分辨率重构，改善当前540p的清晰度。也就是说，这里的图像预处理步骤是不改变显示画面的分辨率，通过对显示画面在第一分辨率下的图像帧数据进行预处理，可以初步改善显示画面在第一分辨率下的清晰度。
[0075]
步骤302、将所述第一分辨率下的图像帧数据进行子块分割，从而形成多个具有第四分辨率的图像帧数据子块，其中，所述第四分辨率小于所述第一分辨率。
[0076]
在本步骤中，将经过步骤301得到的显示画面在第一分辨率下的图像帧数据分为若干个更低分辨率的子块，得到若干个具有第四分辨率的图像帧数据子块，作为下一步的输入。例如：第四分辨率为10
×
10的子块。
[0077]
步骤303、对所述多个具有第四分辨率的图像数据帧子块进行图像编码、特征提取、图像解码从而获得多个具有第五分辨率的图像帧数据子块，其中，所述第五分辨率大于所述第四分辨率。
[0078]
在本步骤中，将各第四分辨率子块作为超分辨率重建步骤的输入，经过图像编码、特征提取和图像解码等算法处理后输出第五分辨率子块，例如：10
×
10的子块经过处理后变为20
×
20的子块。
[0079]
需要说明的是，超分辨率重建步骤是一个经过海量数据训练的深度学习模型，通常包含2层及以上的卷积神经网络作为中间计算层，具有低分辨率图像编码和高分辨率图像解码功能。
[0080]
步骤304、将所述多个具有第五分辨率的图像帧数据子块进行组合从而获得所述第二图像分辨率下的图像帧数据。
[0081]
在本步骤中，将多个具有第五分辨率的图像帧数据子块进行组合，以获得第二图
像分辨率下的图像帧数据，输出第二图像分辨率下的图像帧数据。可选地，可将第二图像分辨率下的图像帧数据保存至帧缓冲存储器中，作为下一个需要处理的图像的关联图像数据。
[0082]
在本发明中超分辨率处理可以基于深度学习的人工智能神经网络算法，一些已有的算法可以在本发明中被利用例如aisr算法。为了提高超分辨率处理的效率，通常需要将aisr处理算法固化到硬件。
[0083]
可选的，将aisr算法固化到独立显示芯片——独显芯片，独显芯片具有嵌入式神经网络处理器(neural-network processing units，npu)，通过npu运行aisr算法。
[0084]
本技术实施例的方法通过图像预处理步骤对显示画面在第一分辨率下的图像帧数据进行处理，可以初步改善显示画面的清晰度。通过aisr算法，对图像帧数据进行处理，可以最优地提升画面的清晰度。通过独显芯片的嵌入式神经网络处理器运行aisr算法，可以大幅度提高处理效率、提升图像处理的速度。
[0085]
在另一个可选实施例中，经过超分辨率处理后输出的在第二图像分辨率下的显示画面仍然会存在画面清晰度较差的问题。为了解决该问题，本技术还提出了一种精确识别方法。本技术实施例的精确识别方法如图4所示，在步骤103之后，还包括如下步骤401-步骤405。
[0086]
步骤401、所述系统级芯片响应于对当前显示画面进行局部选取的第二指令，从所述当前显示画面中确定与所述第二指令相对应的选取区域；
[0087]
步骤402、将所述确定的选取区域发送至所述独立显示芯片；
[0088]
步骤403、所述独立显示芯片将所述帧缓冲存储器中存储的第二图像分辨率下的图像关联帧数据替换为所述选取区域的图像帧数据，所述选取区域的图像帧数据为所述第二图像分辨率下的图像帧数据中位于所述选取区域中的图像帧数据；
[0089]
步骤404、利用所述帧缓冲存储器中经替换后的图像关联帧数据，对所述第一图像分辨率下的图像帧数据再次进行超分辨率处理，重新获得第二图像分辨率下的图像帧数据；
[0090]
步骤405、发送重新获得的第二图像分辨率下的图像帧数据至显示屏。
[0091]
本实施例中，可以理解的是，在上述s401在s103之后执行，因此，s401中的当前显示画面为s103中第二图像分辨率下的图像帧数据对应的显示画面。
[0092]
本实施例中，在输出显示画面在第二图像分辨率下的图像帧数据后，画面可能仍不清晰，或者画面中的关键信息的显示仍不清晰，此时将开启精准识别模式。在精准识别模式中，用户可以对显示画面中需要重点查看的区域进行局部选取，从而触发第二指令。局部选取可以是用户针对需要重点查看的区域进行框选，也可以是用户针对需要重点查看的区域的裁剪，无论是通过以上哪种方式得到的区域，都可以作为用户的选取区域。在获取到用户所选取的区域后，提取该显示画面在第二图像分辨率下的选取区域的图像帧数据，直接作为与显示画面相关联的新的关联图像帧数据存储在帧缓冲存储器中备用，无需进行预插值处理。
[0093]
本实施例中，利用帧缓冲存储器中的新的关联图像数据，对第一分辨率下的图像帧数据再次进行超分辨率处理。在进行超分辨率处理时，可以根据新的关联图像数据，对显示画面在第一分辨率下的图像帧数据中与新关联图像相对应的部分进行超分辨率处理。
即，可以只对显示画面的选取区域在第一分辨率下的图像帧数据进行超分辨率处理，以改善选取区域的清晰度，从而获得选取区域在第二图像分辨率下的图像帧数据。
[0094]
举个例子，如图5所示，图5示出了根据本发明的精准识别模式下的显示处理方法。设定显示屏的屏幕分辨率为1080p，图5(a)是显示画面在1080p下的图像。该图像可以从本地相册中获取，也可以从拍照预览画面中获取，1080p是该画面的初始分辨率。由于画面中的二维码过小，为了查看清楚作为目标区域502的二维码，对图5(a)中的局部区域501进行放大操作从而触发第一指令。该指令可以是根据用户手动执行放大操作而触发，还可以是app自动检测放大而触发。系统级芯片针对放大后的画面裁剪及预插值处理后得到图5(b)，图5(b)是该画面在270p下的画面。图5(b)的局部区域501的图像帧数据经过独显芯片四倍超分辨率处理后，得到该画面在1080p下的图像帧数据，如图5(c)所示。即图5(c)为该显示画面经过第一次超分辨率处理后在第二图像分辨率下的图像。由于图5(c)中显示的二维码仍不清晰，用户启动精确识别功能。对应于本发明的步骤501-503，用户手动框选需要重点查看的局部区域503从而触发第二指令，即框选图5(d)中包含作为目标区域502的二维码的虚线框内的区域。系统级芯片针对用户触发第二指令确定与显示画面中用户框选的区域503，也就是虚线框内的图像帧数据。所述独立显示芯片将该虚线框内的图像帧数据直接保存在帧缓冲存储器中，作为新的关联图像帧数据，无需进行预插值处理。随后独显芯片根据新的关联图像帧数据对图5(b)对应的图像帧数据进行第二次超分辨率处理。即，对该显示画面在第一分辨率下的图像帧数据进行第二次超分辨率处理，得到该显示画面在第二次超分辨率处理后的图像帧数据，如图5(e)所示，可见，图5(e)中的二维码清晰度较图5(d)中的二维码的清晰度有显著增加。
[0095]
根据本技术实施例，通过只对显示画面的选取区域进行超分辨率处理，可以减少帧缓冲存储器中数据的存储量、显著减少再次进行超分辨率处理需要的处理计算量，同时可以进一步提升特定的选取区域的清晰度。进一步地，选取区域是通过用户的框选而确定，符合用户需求，重点提升选取区域的清晰度，提升用户体验。
[0096]
下面根据本发明所应用的三个典型场景分别对本发明的显示处理方法进行举例说明。
[0097]
[例子1：拍照场景预览]
[0098]
用户从拍照预览画面中获取显示画面，系统级芯片soc对图像做裁剪处理，使用独显芯片的aisr模块超分功能对图像进行超分辨率处理。为了便于描述，本实施例中假设显示屏的屏幕分辨率为1080p，aisr模块的预定倍率为1x/1.5x/2x/2.5x/4x共5档可调。
[0099]
具体实施步骤如下：
[0100]
步骤1：用户打开相机，由相机传感器获取拍摄场景预览画面，例如一个1600万像素的相机传感器所获取的场景预览画面，并经过系统级芯片的降噪、坏点校正、域调整以及去马赛克等图像处理后，得到该预览画面在初始分辨率下的图像帧数据并通过显示屏显示。
[0101]
步骤2：当在屏幕上显示的拍摄场景预览画面仍然有细节无法清晰呈现时，相机app可自动检测并调用画面放大操作或者通过用户手动执行画面放大操作的第一指令，执行放大操作所针对的画面即为显示画面，电子设备的系统级芯片将针对放大操作对显示画面进行相应的裁剪。若裁剪后的画面尺寸及对应的图像帧数据的分辨率与屏幕分辨率相匹
配，则该裁剪后的图像帧数据可以作为该显示画面在第一分辨率下的图像帧数据，可以执行步骤4，例如，初始分辨率为1080p，该画面在1080p下显示的图像存在不清晰的部分，用户手动/app自动执行放大操作，soc根据放大操作对该画面进行裁剪，将1080p的图像裁剪至540p，540p可以经过两倍超分至1080p，因此，裁剪后的画面尺寸及对应的图像帧数据的分辨率与屏幕分辨率相匹配，该画面在540p下的图像帧数据可以作为该显示画面在第一分辨率下的图像帧数据。若裁剪后的画面尺寸及对应的图像帧数据的分辨率与屏幕分辨率无法匹配，不能直接执行步骤4，需要先执行步骤3。例如，在裁剪后的图像分辨率为480p，即介于432p和540p之间时，与屏幕分辨率不匹配，因此需要先进行图像分辨率与屏幕分辨率的匹配。
[0102]
步骤3：系统级芯片对裁剪后的画面尺寸及对应的图像帧数据进行预插值处理，以使该裁剪后的画面尺寸及对应的图像帧数据的分辨率与屏幕分辨率相匹配，并将该匹配好的图像帧数据作为该显示画面在第一分辨率下的图像帧数据。例如，如果裁剪后的图像分辨率为480p，即介于432p和540p之间，则soc就会将裁剪后的图像预插值到540p后送给独显芯片，并开启独显芯片的2倍超分功能将图像放大至1080p。
[0103]
步骤4：将该显示画面在第一分辨率下的图像帧数据发送给aisr模块。
[0104]
步骤5：独显接收指令进入“2倍aisr超分”模式aisr模块同时处理soc传来的540p数据以及帧缓冲存储器中保存的关联图像的1080p数据，开启2倍超分功能将该显示画面在第一分辨率下的图像帧数据由540p超分至1080p，得到该显示画面在第二图像分辨率下的图像帧数据。
[0105]
步骤6：aisr模块输出处理后的该显示画面在1080p的图像至显示屏，同时保存该显示画面在第二图像分辨率下的图像帧数据至独显芯片的帧缓冲存储器中，作为新的关联图像的图像帧数据，供下一次超分辨率处理时参考。
[0106]
[例子2：图库浏览]
[0107]
用户查看手机存储中的原始图片并执行图像放大操作，使用aisr模块的超分功能改善放大后图像的清晰度。
[0108]
步骤1：用户进入本地相册并查看图像，在选定某个图片后，该图片即为显示画面，soc读取该显示画面的图像帧数据的初始分辨率。若初始分辨率高于屏幕分辨率，则系统级芯片执行降分辨率算法将该显示画面的初始分辨率压缩至屏幕分辨率，并将该显示画面压缩后的图像帧数据和分辨率作为显示画面在第一分辨率下的图像帧数据。例如：显示画面的初始分辨率为2160p(2160
×
3840)，屏幕分辨率为1080p(1080
×
1920)，显示画面的初始分辨率大于屏幕分辨率，系统级芯片对显示出面在初始分辨率下的图像帧数据进行降分辨率处理，获得显示画面在1080p下的图像帧数据，执行步骤8。若显示画面的初始分辨率小于或等于屏幕分辨率，且在屏幕上显示的画面仍然有细节无法清晰呈现时，执行步骤2。
[0109]
步骤2：用户对该显示画面进行放大，电子设备的系统级芯片将针对放大操作对显示画面进行相应的裁剪。若裁剪后画面尺寸及对应的分辨率大于屏幕分辨率，则执行降分辨率处理，将图像分辨率将至屏幕分辨率，并将得到的图像帧数据作为显示画面进行显示，否则执行步骤3。
[0110]
步骤3：确定该裁剪后的图像分辨率是否与屏幕分辨率相匹配，若该图像分辨率与屏幕分辨率匹配，将该图像帧数据作为该显示画面在第一分辨率下的图像帧数据，并执行
步骤5，若该图像分辨率与屏幕分辨率无法匹配，则执行步骤4。
[0111]
步骤4：将该裁剪后的图像帧数据的分辨率预插值至与屏幕分辨率相匹配，例如是屏幕分辨率的固定倍率，并将该匹配好的图像帧数据作为该显示画面在第一分辨率下的图像帧数据。
[0112]
步骤5：将该显示画面在第一分辨率下的图像帧数据发送给aisr模块。
[0113]
步骤6：假设独显接收指令进入“2倍aisr超分”模式aisr模块同时处理soc传来的540p数据以及帧缓冲存储器中保存的关联图像的1080p数据，开启2倍超分功能将该显示画面在第一分辨率下的图像帧数据由540p超分至1080p，得到该显示画面在第二图像分辨率下的图像帧数据。
[0114]
步骤7：aisr模块输出处理后的该显示画面在1080p的图像至显示屏，同时保存该显示画面在第二图像分辨率下的图像帧数据至独显芯片的帧缓冲存储器中，作为新的关联图像的图像帧数据，供下一次超分辨率处理时参考。
[0115]
步骤8：执行显示输出。
[0116]
[例子3：精准识别场景]
[0117]
用户使用最高倍的长焦摄像头(原生10倍)配合前述例子1所述的高倍aisr(例如：4倍)拍摄的图像清晰度仍较差，或是使用前述例子2所述的高倍aisr放大相册照片时图片仍不清晰。此时用户开启精准识别功能，手动框选目标区域，实现精准识别。
[0118]
以拍照场景为例，具体实施步骤如下：
[0119]
步骤1：用户点击摄像头app进入拍照预览界面。由相机传感器获取拍摄场景预览画面并在屏幕上进行显示，该预览画面即显示画面。由于用户需要重点查看的区域占整个预览图片的比例过小，重点查看区域显示不清晰，用户触发进行放大操作的第一指令至最大放大倍数，并相应地针对该画面的放大区域进行裁剪。本例子中以裁剪并预插值至270p画面为例，与显示屏的屏幕分辨率1080p相匹配，可以将该画面裁剪后的图像帧数据作为显示画面在第一分辨率下的图像帧数据。
[0120]
步骤2：soc将该画面裁剪后的图像帧数据传输给独显芯片，同时将开启aisr功能的指令传递给独显芯片。
[0121]
步骤3：独显接收指令进入“4倍aisr超分”模式，接收soc传来的270p数据和独显帧缓冲存储器中保存的关联图像的1080p数据，开启4倍超分功能将该显示画面在第一分辨率下的图像帧数据由270p超分至1080p，获得1080p的图像帧数据，作为该显示画面在第二图像分辨率下的图像帧数据，并输出至显示屏。
[0122]
步骤4：由于该画面在第二图像分辨率下的图像帧数据在显示时，仍然存在不清晰的部分，为了查看清楚该部分，用户开启精准识别功能，并手动框选该画面中需要精准识别的区域从而触发第二指令，在用户框选出该画面需要精准识别的区域后，soc确定用户框选的图像区域并发送至独显芯片，发送的内容包含开启精准识别功能的信息和用户所框选的区域信息。
[0123]
步骤5：独显芯片根据用户框选的区域信息，获取用户选取区域的图像帧数据，并将该选取区域的图像帧数据作为新的关联图像的帧数据，保存在独显芯片的帧缓冲存储器中。
[0124]
步骤6：aisr模块同时接收soc传来的该显示画面在第一分辨率下的图像帧数据
(270p)数据以及帧缓冲存储器中的新的关联图像的帧数据，将该显示画面在第一分辨率下的图像帧数据进行第二次超分至1080p，得到新的该显示画面在第二图像分辨率下的图像帧数据，并通过显示屏输出。
[0125]
由于关联图像的改变，因此第二次超分辨率处理时，只需要对用户选取区域的图像帧数据进行处理。这使得需要处理的数据量变少。也就是说，aisr模块仅针对用户所选取区域的进行计算，计算效率高、计算量少、且可以取得有针对性地提升选取区域的清晰度的独特有益效果。
[0126]
根据本技术实施例，可以获取显示画面在第一分辨率下的图像帧数据，对所述显示画面在第一分辨率下的图像帧数据进行超分辨率处理，获得所述显示画面在第二图像分辨率下的图像帧数据，其中，所述第二图像分辨率是所述第一分辨率的预定倍率，所述预定倍率大于等于1，将所述显示画面在所述第二图像分辨率下的图像帧数据输出。根据本技术实施例，通过将显示画面在第一分辨率下的图像帧数据经过超分辨率处理后，可以提升显示画面的画面清晰度。
[0127]
本技术实施例提供的显示处理方法，执行主体为电子设备中的系统级芯片和独立显示芯片(独显芯片)。
[0128]
如图6所示，本技术的实施例提供一种独立显示芯片700，包括：第一输入接口701、超分辨率处理电路702和第一输出接口703。
[0129]
第一输入接口701，用于获取显示画面在第一分辨率下的图像帧数据。
[0130]
超分辨率处理电路702，用于对所述显示画面在第一分辨率下的图像帧数据进行超分辨率处理，获得该显示画面在第二图像分辨率下的图像帧数据，其中第二图像分辨率是第一分辨率的预定倍率。
[0131]
第一输出接口703，用于将所述第二图像分辨率下的图像帧数据输出。
[0132]
以上已经根据本发明的实施例介绍了本发明的独立显示芯片，本发明的独立显示芯片具有以下有益效果：
[0133]
第一，通过第一输入接口建立系统级芯片与独立显示芯片之间的通信连接，可以实现系统级芯片与独立显示芯片之间的信息交互。
[0134]
第二，通过将超分辨率处理电路设置在独立显示芯片上，并由超分辨率处理电路完成超分辨率处理，相对由系统级芯片对图像进行显示处理来说，可以降低系统级芯片的功耗，提升显示处理的速度。
[0135]
第三，通过在独立显示芯片上设置第一输出接口，再通过第一输出接口建立独立显示芯片与其他设备之间的连接，可以实现将独立显示芯片上的图像帧数据输出至其他设备。
[0136]
在一个实施例中，独立显示芯片700还包括：
[0137]
帧缓冲存储器704，用于预先存储在第二图像分辨率下且与该显示画面相关联的关联图像帧数据。
[0138]
所述超分辨率处理电路702，还用于利用帧缓冲存储器中预先存储的、在第二图像分辨率下且与该显示画面相关联的关联图像帧数据，对所述显示画面在第一分辨率下的图像帧数据进行超分辨率处理。
[0139]
根据本技术实施例，通过利用关联图像可以对显示画面中需要重点增加清晰度的
部分进行超分辨率处理，可以满足用户对该部分重点查看的需求。
[0140]
在一个实施例中，超分辨率处理电路702进行的超分辨率处理包括：
[0141]
利用所述关联图像帧数据对所述显示画面在第一分辨率下的图像帧数据进行超分辨率重建，以初步改善该第一分辨率下的图像帧数据的清晰度。
[0142]
将所述第一分辨率下的图像帧数据进行子块分割，从而形成多个具有第四分辨率的图像帧数据子块，其中所述第四分辨率小于所述第一分辨率。
[0143]
对所述多个具有第四分辨率的图像数据帧子块进行图像编码、特征提取、图像解码从而获得多个具有第五分辨率的图像帧数据子块，其中所述第五分辨率大于所述第四分辨率。
[0144]
将所述多个具有第五分辨率的图像帧数据子块进行组合从而获得所述第二图像分辨率下的图像帧数据。
[0145]
根据本技术实施例，通过独显芯片执行的图像预处理对显示画面在第一分辨率下的图像帧数据进行预处理，可以初步改善显示画面的清晰度。通过aisr算法，对图像帧数据进行处理，可以最优地提升画面的清晰度。通过独显芯片的嵌入式神经网络处理器运行aisr算法，可以大幅度提高处理效率、提升图像处理的速度。
[0146]
本技术实施例中的独立显示芯片可以是电子设备中的部件，例如集成电路。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。本技术实施例中的电子设备可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
[0147]
本技术实施例提供的独立显示芯片能够实现上述显示处理方法实施例实现的各个过程，为避免重复，这里不再赘述。
[0148]
所述系统级芯片包括：指令输入接口，用于接收对显示画面进行放大显示的第一指令。
[0149]
数据截取电路，用于响应于所述第一指令，截取显示画面中与所述第一指令相对应的放大区域的图像帧数据。
[0150]
预插值处理电路，用于对该图像帧数据进行预插值处理，从而获得所述放大区域对应的显示画面在第一分辨率下的图像帧数据，以便提供给所述独立显示芯片的第一输入接口。
[0151]
可选地，本技术实施例还提供了一种显示装置800，如图7所示，包括如本技术第二方面任意之一所述的独立显示芯片70和与之连接的系统级芯片80。其中，所述系统及芯片80，用于响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行图像裁剪处理，获得第一图像分辨率下的图像帧数据，以及将所述第一图像分辨率下的图像帧数据以及超分指示发送至所述独立显示芯片；
[0152]
所述独立显示芯片70，用于对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得在第二图像分辨率下的图像帧数据，以及发送所述第二图像分辨率下的图像帧数据至所述显示屏。
[0153]
可选地，所述独立显示芯片70还包括帧缓冲存储器710，所述帧缓冲存储器710用于存储图像关联帧数据；所述独立显示芯片70还用于获取帧缓冲存储器中上一次存储的第二图像分辨率下的图像关联帧数据，利用所述第二图像分辨率下的图像关联帧数据，对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得第二图像分辨率下的图像帧数据；以及将所述第二图像分辨率下的图像帧数据作为第二图像分辨率下的图像关联帧数据，存储在所述帧缓冲存储器710中。
[0154]
可选地，所述系统级芯片80还用于响应于对当前显示画面进行局部选取的第二指令，从所述当前显示画面中确定与所述第二指令相对应的选取区域，将所述确定的选取区域发送至所述独立显示芯片；
[0155]
所述独立显示芯片70还用于将所述帧缓冲存储器710中存储的第二图像分辨率下的图像关联帧数据替换为所述选取区域的图像帧数据，所述选取区域的图像帧数据为所述第一图像分辨率下的图像帧数据中位于所述选取区域中的图像帧数据，利用所述帧缓冲存储器710中经替换后的图像关联帧数据，对所述第一图像分辨率下的图像帧数据再次进行超分辨率处理，重新获得第二图像分辨率下的图像帧数据，发送重新获得的第二图像分辨率下的图像帧数据至显示屏。
[0156]
可选地，所述系统级芯片80用于读取待显示图像帧数据，在所述待显示图像帧数据的分辨率大于所述电子设备的屏幕的分辨率的情况下，降低所述待显示图像帧数据的分辨率至所述屏幕分辨率，将降低分辨率的待显示图像帧数据发送至所述独立显示芯片70；
[0157]
所述独立显示芯片70用于发送降低分辨率的待显示图像帧数据至所述显示屏。
[0158]
可选地，所述待显示图像帧数据为相机拍摄预览图像帧数据；
[0159]
所述系统级芯片80具体用于根据所述第一指令对所述当前显示画面进行图像裁剪处理，获得第三图像分辨率下的图像帧数据，当所述第三图像分辨率等于第一图像分辨率的情况下，将所述裁剪后的图像帧数据作为第一图像分辨率下的图像帧数据，当所述第三图像分辨率不等于第一图像分辨率的情况下，对所述第三图像分辨率下的图像帧数据进行预插值处理，得到第一分辨率下的图像帧数据。
[0160]
可选地，所述待显示图像帧数据为图库中的图像帧数据；
[0161]
所述系统级芯片80具体用于根据所述第一指令对所述当前显示画面进行图像裁剪处理，获得第三图像分辨率下的图像帧数据；
[0162]
当所述第三图像分辨率大于所述电子设备的屏幕分辨率的情况下，降低所述裁剪后的图像帧数据的所对应的图像分辨率至所述屏幕分辨率，将降低分辨率的待显示图像帧数据发送至所述独立显示芯片以供显示；
[0163]
当所述第三图像分辨率等于第一图像分辨率的情况下，将所述裁剪后的图像帧数据作为第一图像分辨率下的图像帧数据；
[0164]
当所述第三图像分辨率小于第一图像分辨率的情况下，对所述第三图像分辨率下的图像帧数据进行预插值处理，得到第一分辨率下的图像帧数据。
[0165]
下面以本技术实施例提供的显示装置，参照图8和图9所示，分别以显示画面为本
地存储的画面或者拍照预览画面为例，详细说明本技术实施例提供的显示处理设备的显示处理过程。为了便于描述，通过以下字母对应中文的名称：
[0166]
dsi：display serial interface，显示屏串行接口；
[0167]
csi：camera serial interface，摄像头串行接口；
[0168]
isp：image signal processing，图像信号处理；
[0169]
sdr：standard dynamic range，标准动态范围；
[0170]
hdr：high dynamic range，高动态范围；
[0171]
ainr：artificial intelligence noise reduction，人工智能降噪；
[0172]
aisr：artificial intelligence super resolution，人工智能超高分辨率；
[0173]
soc：system on chip，系统级芯片。
[0174]
rx：接收接口。
[0175]
tx：发送接口。
[0176]
如图8所示，图8呈现的是显示处理设备在对本地存储的图片进行处理时的流程图，具体流程是：
[0177]
(1)soc从本地存储中读取图像数据，通过soc的dsi tx0接口发送给独显芯片。
[0178]
(2)独显芯片通过dsi rx0接收图像数据并通过ainr处理电路、aisr处理电路以及sdr to hdr处理电路对图像数据进行处理。
[0179]
(3)独显芯片通过dsi tx0接口将处理后的图像数据传给显示屏。
[0180]
如图9所示，图9是显示处理设备在对拍照预览画面进行处理时的流程图，具体流程是：
[0181]
(1)相机传感器通过csi rx0接口将拍照获得的图像数据发送给soc。
[0182]
(2)soc接收图像数据并进行数据格式转换(raw转rgb再转yuv)，然后通过dsi tx1接口发送给独立显示芯片的dsi rx1接口。
[0183]
(3)独显芯片通过dsi rx1接口接收图像数据，并通过ainr处理模块、aisr处理模块以及其他的isp数据处理模块对图像数据进行处理，然后通过csi tx1接口传回给soc的csi rx1接口。
[0184]
(4)soc对处理后的图像数据进行编码、存储等操作，再通过dsi tx0将图像数据传给独显芯片的dsi rx0接口。
[0185]
(5)图像数据经过独显芯片的其他图像增强模块(例如：sdr to hdr)处理后通过dsi tx0接口输出到显示屏。
[0186]
根据本技术实施例，在显示画面中目标图像较小时，可以通过第一指令以及第二指令对目标图像针对性地放大，并截取放大区域的图像帧数据，再对放大区域的图像帧数据进行超分辨率处理，获得高分辨率的目标图像，可以实现在放大目标图像的同时，提升目标图像的分辨率，还可避免因放大图像而导致图像清晰度变差的问题。通过对放大区域的图像帧数据进行预插值处理，可以保证放大区域的图像帧数据可以被超分辨率处理，可以提升目标图像的清晰度，还可避免显示画面因放大后，画面显示不清晰的问题。
[0187]
可选地，参见图10所示，本技术实施例还提供一种电子设备900，包括处理器901和存储器902，存储器902上存储有可在所述处理器901上运行的程序或指令，该程序或指令被处理器901执行时实现上述显示处理方法实施例的各个步骤，且能达到相同的技术效果，为
避免重复，这里不再赘述。
[0188]
需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
[0189]
图11为实现本技术实施例的一种电子设备的硬件结构示意图。
[0190]
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
[0191]
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
[0192]
其中，输入单元1004可以包括图形处理器(graphics processing unit，gpu)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
[0193]
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器1009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
[0194]
处理器1010可包括一个或多个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。处理器1010，用于执行本发明实施例所述的方法。
[0195]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述显示处理方法实施例的各个过程，且能达到相
同的技术效果，为避免重复，这里不再赘述。
[0196]
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
[0197]
本技术实施例提供了一种系统级芯片，所述系统级芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面中所述显示方法中所述系统级芯片执行的步骤。
[0198]
本技术实施例提供了一种独立显示芯片，所述系统级芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面中所述显示方法中所述独立显示芯片执行的步骤。
[0199]
本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述显示处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0200]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0201]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0202]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。

技术特征：

1.一种显示方法，其特征在于，应用于电子设备，所述电子设备包括系统级芯片以及独立显示芯片，所述系统级芯片与所述独立显示芯片连接，所述方法包括：所述系统级芯片响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行裁剪处理，获得第一图像分辨率下的图像帧数据；将所述第一图像分辨率下的图像帧数据以及超分指示发送至所述独立显示芯片；所述独立显示芯片对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得在第二图像分辨率下的图像帧数据；发送所述第二图像分辨率下的图像帧数据至显示屏。2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得在第二图像分辨率下的图像帧数据，包括：获取帧缓冲存储器中上一次存储的第二图像分辨率下的图像关联帧数据；利用所述第二图像分辨率下的图像关联帧数据，对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得第二图像分辨率下的图像帧数据；所述方法在所述获得在第二图像分辨率下的图像帧数据之后，还包括：将所述第二图像分辨率下的图像帧数据作为第二图像分辨率下的图像关联帧数据，存储在所述帧缓冲存储器中。3.根据权利要求2所述的方法，其特征在于，其中，所述方法在所述显示第二图像分辨率下的图像帧数据之后，还包括：所述系统级芯片响应于对当前显示画面进行局部选取的第二指令，从所述当前显示画面中确定与所述第二指令相对应的选取区域；将所述确定的选取区域发送至所述独立显示芯片；所述独立显示芯片将所述帧缓冲存储器中存储的第二图像分辨率下的图像关联帧数据替换为所述选取区域的图像帧数据，所述选取区域的图像帧数据为所述第二图像分辨率下的图像帧数据中位于所述选取区域中的图像帧数据；利用所述帧缓冲存储器中经替换后的图像关联帧数据，对所述第一图像分辨率下的图像帧数据再次进行超分辨率处理，重新获得第二图像分辨率下的图像帧数据；发送重新获得的第二图像分辨率下的图像帧数据至所述显示屏。4.根据权利要求1所述的方法，其特征在于，在所述响应于对当前显示画面进行放大显示的第一指令之前，所述方法还包括：所述系统级芯片读取待显示图像帧数据，在所述待显示图像帧数据的分辨率大于所述电子设备的屏幕的分辨率的情况下，降低所述待显示图像帧数据的分辨率至所述屏幕分辨率，将降低分辨率的待显示图像帧数据发送至所述独立显示芯片；发送所述降低分辨率的待显示图像帧数据至所述显示屏。5.根据权利要求4所述的方法，其特征在于，所述待显示图像帧数据为相机拍摄预览图像帧数据，所述系统级芯片响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行图像裁剪处理，获得第一图像分辨率下的图像帧数据，包括：所述系统级芯片根据所述第一指令对所述当前显示画面进行图像裁剪处理，获得第三图像分辨率下的图像帧数据，当所述第三图像分辨率等于第一图像分辨率的情况下，将所述裁剪后的图像帧数据作为第一图像分辨率下的图像帧数据；
当所述第三图像分辨率不等于第一图像分辨率的情况下，对所述第三图像分辨率下的图像帧数据进行预插值处理，得到第一分辨率下的图像帧数据。6.根据权利要求4所述的方法，其特征在于，所述待显示图像帧数据为图库中的图像帧数据，所述系统级芯片响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行图像裁剪处理，获得第一图像分辨率下的图像帧数据，包括：所述系统级芯片根据所述第一指令对所述当前显示画面进行图像裁剪处理，获得第三图像分辨率下的图像帧数据；当所述第三图像分辨率大于所述电子设备的屏幕分辨率的情况下，降低所述裁剪后的图像帧数据的所对应的图像分辨率至所述屏幕分辨率，将降低分辨率的待显示图像帧数据发送至所述独立显示芯片以供显示；当所述第三图像分辨率等于第一图像分辨率的情况下，将所述裁剪后的图像帧数据作为第一图像分辨率下的图像帧数据；当所述第三图像分辨率小于第一图像分辨率的情况下，对所述第三图像分辨率下的图像帧数据进行预插值处理，得到第一分辨率下的图像帧数据。7.一种显示装置，其特征在于，包括系统及芯片及独立显示芯片，所述系统级芯片与所述独立显示芯片连接，其中，所述系统及芯片，用于响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行图像裁剪处理，获得第一图像分辨率下的图像帧数据，以及将所述第一图像分辨率下的图像帧数据以及超分指示发送至所述独立显示芯片；所述独立显示芯片，用于对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得在第二图像分辨率下的图像帧数据，以及发送所述第二图像分辨率下的图像帧数据至显示屏。8.根据权利要求7所述的显示装置，其特征在于，所述独立显示芯片还包括帧缓冲存储器，所述帧缓冲存储器用于存储图像关联帧数据；所述独立显示芯片还用于获取帧缓冲存储器中上一次存储的第二图像分辨率下的图像关联帧数据，利用所述第二图像分辨率下的图像关联帧数据，对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得第二图像分辨率下的图像帧数据；以及将所述第二图像分辨率下的图像帧数据作为第二图像分辨率下的图像关联帧数据，存储在所述帧缓冲存储器中。9.根据权利要求8所述的显示装置，其特征在于，所述系统级芯片还用于响应于对当前显示画面进行局部选取的第二指令，从所述当前显示画面中确定与所述第二指令相对应的选取区域，将所述确定的选取区域发送至所述独立显示芯片；所述独立显示芯片还用于将所述帧缓冲存储器中存储的第二图像分辨率下的图像关联帧数据替换为所述选取区域的图像帧数据，所述选取区域的图像帧数据为所述第一图像分辨率下的图像帧数据中位于所述选取区域中的图像帧数据，利用所述帧缓冲存储器中经替换后的图像关联帧数据，对所述第一图像分辨率下的图像帧数据再次进行超分辨率处理，重新获得第二图像分辨率下的图像帧数据，发送重新获得的第二图像分辨率下的图像
帧数据至所述显示屏。10.根据权利要求7所述的显示装置，其特征在于，所述系统级芯片用于读取待显示图像帧数据，在所述待显示图像帧数据的分辨率大于电子设备的屏幕的分辨率的情况下，降低所述待显示图像帧数据的分辨率至所述屏幕分辨率，将降低分辨率的待显示图像帧数据发送至所述独立显示芯片；所述独立显示芯片用于发送降低分辨率的待显示图像帧数据至所述显示屏。11.根据权利要求10所述的显示装置，其特征在于，所述待显示图像帧数据为相机拍摄预览图像帧数据；所述系统级芯片具体用于根据所述第一指令对所述当前显示画面进行图像裁剪处理，获得第三图像分辨率下的图像帧数据，当所述第三图像分辨率等于第一图像分辨率的情况下，将所述裁剪后的图像帧数据作为第一图像分辨率下的图像帧数据，当所述第三图像分辨率不等于第一图像分辨率的情况下，对所述第三图像分辨率下的图像帧数据进行预插值处理，得到第一分辨率下的图像帧数据。12.根据权利要求10所述的显示装置，其特征在于，所述待显示图像帧数据为图库中的图像帧数据；所述系统级芯片具体用于根据所述第一指令对所述当前显示画面进行图像裁剪处理，获得第三图像分辨率下的图像帧数据；当所述第三图像分辨率大于所述电子设备的屏幕分辨率的情况下，降低所述裁剪后的图像帧数据的所对应的图像分辨率至所述屏幕分辨率，将降低分辨率的待显示图像帧数据发送至所述独立显示芯片以供显示；当所述第三图像分辨率等于第一图像分辨率的情况下，将所述裁剪后的图像帧数据作为第一图像分辨率下的图像帧数据；当所述第三图像分辨率小于第一图像分辨率的情况下，对所述第三图像分辨率下的图像帧数据进行预插值处理，得到第一分辨率下的图像帧数据。13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的显示方法的步骤。14.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的显示方法的步骤。

技术总结

本申请公开了一种显示方法、显示装置、电子设备和可读存储介质，属于显示技术领域，该方法应用于电子设备，所述电子设备包括系统级芯片以及独立显示芯片，所述系统级芯片与所述独立显示芯片连接，该方法包括：所述系统级芯片响应于对当前显示画面进行放大显示的第一指令，对所述当前显示画面进行图像裁剪处理，获得第一图像分辨率下的图像帧数据；将所述第一图像分辨率下的图像帧数据以及超分指示发送至所述独立显示芯片；所述独立显示芯片对所述第一图像分辨率下的图像帧数据进行超分辨率处理，获得在第二图像分辨率下的图像帧数据；发送所述第二图像分辨率下的图像帧数据至显示屏。显示屏。显示屏。