首页 > 专利信息

多媒体调整适配方法及通信装置与流程

多媒体调整适配方法及通信装置
1.交叉引用
2.本发明要求2021年6月22日递交，申请号为63/213,310的美国临时专利申请、2021年8月12日递交，申请号为63/232,283的美国临时专利申请以及2022年5月25日递交，申请号为17/824,874的美国专利申请的优先权，上述美国专利申请的内容通过引用整体并入本文。
技术领域
3.本发明一般涉及无线通信，并且，更具体地，涉及通过通信链路与无线网络中的网络装置通信的通信装置进行多媒体调整适配(multimedia adaptation)的技术。

背景技术：

4.视频流(例如视频点播(video on demand))是一种流行的服务，其中使用与显示缓冲区相关的机制来缓解抖动、分组延迟和分组丢失。继视频流之后，基于云的交互服务(cloud-based interactive service)正在兴起。基于云的交互服务包括云游戏、云vr、云ar等。基于云的交互服务通常需要云服务器。
5.云服务器通常为游戏显示设备提供游戏的视频呈现，从而允许设备的用户玩游戏。云服务器创建玩游戏所需的每个视频帧，通过视频编码压缩整个帧，并通过相关传输网络将与整个帧对应的分组的比特流传输到显示设备。在此过程中，视频编码部分当前延迟视频帧传输的开始，直到视频帧被完全编码。这种延迟通常会引入观众显示延迟，从而降低游戏体验。此外，游戏显示设备与网络之间的连接有时可能由于一些网络状况而质量下降甚至中断，导致传输分组丢失、视频帧质量降低和更严重的显示延迟，这也会降低游戏体验。
6.由于基于云的交互服务对延迟有着严格的要求，因此迫切需要采用智能多媒体编解码器(codec)调整适配的方法来提高服务接收设备与网络之间的传输质量，并改善用户体验。

技术实现要素：

7.根据本发明的一个实施方式，通信装置包括无线电收发器、应用处理器和调制解调处理器(modem processor)。无线收发器号通过通信链路与网络装置通信，向无线网络中的网络装置发送无线电信号，或从无线网络中的网络装置接收无线电信号。配置应用处理器运行一个或多个应用程序。调制解调处理器耦接到无线电收发器和应用处理器，并配置为执行以下操作：根据至少一个通信参数或至少一个通信事件评估通信链路的未来状况，以获得评估结果；以及向应用处理器发送第一指示以向应用处理器通知评估结果。响应于接收第一指示，进一步配置应用处理器执行以下操作：调整编解码器以对从网络装置接收的数据适配并进行多媒体处理。
8.根据本发明的一个实施方式，通过通信链路与无线网络中的网络装置通信的通信
装置进行多媒体调整适配的方法包括：通信装置的调制解调处理器根据至少一个通信参数或至少一个通信事件评估通信链路的未来状况，以获得评估结果；所述调制解调处理器向通信装置的应用处理器发送第一指示以向应用处理器通知评估结果。响应于接收到第一指示，所述应用处理器调整编解码器以对从网络装置接收的数据适配并进行多媒体处理。
9.在阅读了各种图片和图式中所示的优选实施方式的详细描述后，本发明的这些其他目标对于本领域技术人员将变得显而易见。
附图说明
10.图1示出了根据本发明实施方式的通信装置的示例框图。
11.图2示出了根据本发明实施方式的调制解调器的示例框图。
12.图3示出了根据本发明实施方式的应用处理器的示例框图。
13.图4示出了根据本发明实施方式的无线接入网(radio access network，ran)中调制解调处理器和应用处理器之间的消息流以及通信装置和网络装置之间的消息流的示例流程图。
14.图5示出了根据本发明另一实施方式的ran中调制解调处理器和应用处理器之间的消息流以及通信装置和网络装置之间的消息流的示例流程图。
15.图6示出了根据本发明又一实施方式的ran中调制解调处理器和应用处理器之间的消息流以及通信装置和网络装置之间的消息流的示例流程图。
16.图7示出了根据本发明实施方式的调制解调处理器和应用处理器之间的消息流以及通信装置和云服务器之间的消息流的示例流程图。
17.图8示出了根据本发明另一实施方式的调制解调处理器和应用处理器之间的消息流以及通信装置和云服务器之间的消息流的示例流程图。
18.图9示出了根据本发明实施方式的调制解调处理器和应用处理器之间的消息流的示例流程图。
19.图10示出了根据本发明另一实施方式的调制解调处理器和应用处理器之间的消息流的示例流程图。
20.图11示出了根据本发明实施方式的通信装置中的多媒体调整适配方法的流程图，其中通信装置通过通信链路与无线网络中的网络装置进行通信。
具体实施方式
21.图1示出了根据本发明实施方式的通信装置的示例性框图。通信装置100可以是便携式电子设备，例如移动站(ms，其可以互换地称为ue)。通信装置100包括至少一个天线模块，所述天线模块包括至少一个天线、无线收发器110、调制解调器(modem)120、应用处理器130、用户标识卡140和存储设备150。可以配置无线收发器110通过天线模块向无线网络中的网络装置(例如，图3所示的网络装置350)发送无线电信号，或从无线网络中的网络装置接收无线电信号，以通过通信装置100和网络装置之间建立的通信链路与网络装置通信。无线收发器110包括配置成经由天线模块从空中接口接收无线信号的接收器112和配置成经由天线模块向空中接口发送无线信号的发送器111，并且还可以配置无线收发器110执行射频(radio frequency，rf)信号处理。例如，接收器112可以将接收到的信号转换为要处理的
中频(intermediate frequency，if)或基带信号，或者发送器111可以从调制解调器120接收if或基带信号，并将接收到的信号转换为要发送到无线网络(例如，诸如蜂窝网络或无线本地接入网络的接入网络)中的网络设备的无线信号。根据本发明的实施方式，网络设备可以是小区、节点b、演进节点b(enb)、gnb、、移动性管理实体(mobility management entity，mme)、接入和移动性管理功能(access and mobility management function，amf)设备、接入点(access point，ap)等。在网络侧，通过通信链路的无线信号与通信装置100进行通信。
22.无线收发器110的发送器111和接收器112可以包括多个硬件设备，用于执行rf转换和rf信号处理。例如，发送器111和/或接收器112可以包括用于放大rf信号的功率放大器、用于滤波rf信号的不需要部分的滤波器和/或用于执行射频转换的混频器。根据本发明的一个实施方式，射频可以是，例如，lte系统的任何特定频带的频率，或者5g nr系统的任何特定频带的频率，无线保真(wireless fidelity，wifi)系统的任何特定频带的频率等。
23.可以配置调制解调器120处理相应的通信协议操作，并处理从无线收发器110接收或向无线收发器110发送if或基带信号。可以配置应用处理器130运行通信装置100的操作系统并运行安装在通信装置100中的应用程序。在本发明的实施方式中，调制解调器120和应用处理器130可以设计为离散芯片，其中一些总线或硬件接口耦合在它们之间，或者它们可以集成到组合芯片(即片上系统(system on chip，soc))，本发明不应限于此。
24.用户标识卡140可以是用户标识模块(subscriber identity module，sim)卡、通用sim(universal sim，u-sim)卡、可移除用户标识模块(removable user identity module，r-uim)卡、csim卡等，并且通常包括用户帐户信息，国际移动用户标识(international mobile subscriber identity，imsi)和一组sim卡应用工具包(sim application toolkit，sat)命令，可为电话簿联系人提供存储空间。存储设备150可以耦接到调制解调器120和应用处理器130，并且可以存储系统数据或用户数据。
25.应当注意的是，为了澄清本发明的概念，图1给出了简化的框图，其中仅示出了与本发明相关的组件。例如，在本发明的一些实施方式中，通信装置还可以包括图1中未示出的一些外部设备。在另一示例中，在本发明的一些实施方式中，通信装置还可以包括耦合到调制解调器120和应用处理器130的中央控制器。因此，本发明不应限于图1所示的内容。
26.在本发明的一些实施方式中，通信装置能够通过如图1所示的单卡结构支持多个rat通信。应当注意，尽管图1示出了单卡应用，但本发明不应限于此。例如，在本发明的一些实施方式中，通信装置可以包括多个用户标识卡，以支持以单待机或多待机方式进行的多rat通信。在多rat通信应用中，调制解调器、无线收发器和/或天线模块可由用户身份卡共享，并可具有处理不同rat的操作和处理符合相应通信协议的相应rf、if或基带信号。
27.此外，本领域技术人员仍然可以基于以上给出的描述进行各种改变和修改，以得出包括多个无线收发器和/或多个天线模块的用于支持多rat无线通信的通信装置，而不脱离本发明技术的范围和精神。因此，在本发明的一些实施方式中，通信装置可设计为通过进行一些改变和修改以单待机(single-standby)或多待机(multiple-standby)方式支持多卡应用。
28.还应注意的是，用户标识卡140可以是如上所述的专用硬件卡，或者在本发明的一些实施方式中，可以有单独的标识符、号码、地址，在相应调制解调器的内部存储器装置中
刻录并且能够识别通信装置等。因此，本发明不应限于图中所示的内容。
29.应进一步注意的是，在本发明的一些实施方式中，通信装置可进一步支持多个imsi。
30.图2示出了根据本发明实施方式的调制解调器的示例框图。调制解调器220可以是图1中所示的调制解调器120并且至少包括一个基带处理设备221、处理器222(区别于图1所示的“应用处理器”，以下称为“调制解调处理器”)、内部存储设备223和网卡224。基带处理设备221可以从无线收发器110接收if或基带信号，并执行if或基带信号处理。例如，基带处理设备221可以将if或基带信号转换为多个数字信号，并处理数字信号，反之亦然。基带处理设备221可以包括执行信号处理的多个硬设备，例如，用于模拟数字转换(analog-to-digital conversion，adc)转换的模拟数字转换器、用于数字模拟转换(digital-to-analog conversion，dac)转换的数字模拟转换器、用于增益调整的放大器、用于信号调制的调制器、用于信号解调的解调器，用于信号编码的编码器、用于信号解码的解码器等。
31.根据本发明的实施方式，基带处理设备221可设计为具有处理不同rat的基带信号处理操作和处理符合相应通信协议的相应if或基带信号的性能，从而支持多rat无线通信。根据本发明的另一个实施方式，基带处理设备221可包括多个子单元，每一个设计为具有处理不同rat的基带信号处理操作和处理符合相应通信协议的相应if或基带信号的性能，从而支持多rat无线通信。因此，本发明不应限于任何具体的实现方式。
32.调制解调处理器222可以控制调制解调器220的操作。根据本发明的一个实施方式，可以配置处理器222执行调制解调器220的相应软件模块的程序代码。调制解调处理器222可以维护和执行不同软件模块的各个任务、线程(thread)和/或协议栈。在一个实施方式中，可以实现协议栈以分别处理一个rat的无线电活动。然而，可能实现多个协议栈以同时处理一个rat的无线电活动，或者仅实现一个协议栈以同时处理多个rat的无线电活动，并且本发明不应限于此。
33.调制解调处理器222还可以从耦接到调制解调器的用户标识卡(例如，用户标识卡140)读取数据，并将数据写入用户标识卡。内部存储设备223可以存储调制解调器220的系统数据和用户数据。调制解调处理器222还可以接入内部存储设备223。
34.网卡224为通信装置提供因特网接入服务。应当注意的是，尽管图2中所示的网卡224配置在调制解调器内部，但本发明不应限于此。在本发明的一些实施方式中，通信装置还包括配置在调制解调器外部的网卡，或者通信装置还可以耦接到用于提供因特网接入服务的外部网卡。在本发明的一些实施方式中，网卡224可以是由通信装置100的操作系统创建的虚拟网卡，而不是有形卡。因此，本发明不应限于任何特定的实现方法。
35.应当注意的是，为了澄清本发明的概念，图2给出了简化的框图，其中仅显示了与本发明相关的组件。因此，本发明不应限于图2中所示的内容。
36.还应注意的是，在本发明的一些实施方式中，调制解调器还包括多个处理器和/或多个基带处理设备。例如，调制解调器包括用于支持多rat操作的多个处理器和/或多个基带处理设备。因此，本发明不应限于图2中所示的内容。
37.还应注意的是，在本发明的一些实施方式中，基带处理设备221和处理器222可以集成到一个处理单元中，并且调制解调器可以包括一个或更多个这样的处理单元，用于支持多rat操作。因此，本发明不应限于图2中所示的内容。
38.根据本发明的一个实施方式，调制解调处理器222可包括多个逻辑，每个逻辑设计用于处理一个或更多个功能。可以配置逻辑执行一个或更多个软件和/或固件模块的程序代码，从而执行相应的操作。当通过执行相应的程序来执行相应的操作时，逻辑可视为专用硬设备或电路，例如专用处理器子单元。通常而言，调制解调处理器222可配置为执行相对较低协议层的操作，而应用处理器130可配置为执行相对较高协议层的操作。因此，在本发明的一些实施例中，应用处理器130可视为相对于调制解调处理器222的上层实体或上层处理电路，并且调制解调处理器222可视为相对于应用处理器130的下层实体或下层处理电路。
39.图3示出了根据本发明实施方式的应用处理器的示例框图。应用处理器330可以至少包括配置为处理(例如，编码和解码)多媒体数据的视频编码器331和用于存储数据的内部存储设备332。应用处理器330可以进一步配置为通过执行相应软件和/或固件模块的程序代码来驱动控制器(例如，游戏控制器)310和显示设备320。根据本发明的一个实施例，控制器310可以是通信装置100的触摸屏或有线或无线连接到通信装置100的外部操纵杆或操纵杆，显示设备320可以是通信装置100的显示器或屏幕。应用处理器330可以经由在无线网络中的通信装置100和网络装置350之间建立的通信链路与云服务器360通信。云服务器360可以至少包括视频处理设备361，其被配置为处理多媒体数据，包括场景渲染、视频捕获、视频编码和解码等。例如，云服务器360可以是交互式服务提供商，例如，提供游戏视频渲染、创建游戏所需视频帧的游戏服务提供商、对每个视频帧进行编码，并经由通信链路向通信装置100发送与视频帧对应的一个或多个分组，并且通信装置100可以是具有应用处理器(例如，应用处理器130/330)的服务接收设备，以运行为服务开发并安装在通信装置100中的应用程序。
40.应当注意的是，为了澄清本发明的概念，图3给出了简化的框图，其中仅显示了与本发明相关的组件。因此，本发明不应限于图3中所示的内容。还应注意的是，在本发明的一些实施方式中，视频编码器331和/或视频处理设备361可以实现为图形处理单元(graphic processing unit，gpu)或者可以包括在gpu中，或者，应用处理器330可以进一步包括gpu，并且本发明不应限于这些实现中的任何一个。
41.在本发明的第一方面，提出了在通信中断期间在通信装置中进行多媒体调整适配的方法。通过应用所提出的方法，调制解调处理器222预测或评估可能的通信中断，并提前将预测或评估提供给上层实体(例如，应用处理器130/330)，以供应用处理器130/330执行适当的多媒体和/或编解码器调整适配。以这种方式，可以缓解或减轻通信中断期间的用户体验影响。在本发明的第二方面，提出了用于在通信装置中基于高级指示的多媒体调整适配的方法。通过应用所提出的方法，调制解调处理器预测或评估通信或网络条件，并将预测或评估提供给上层实体(例如，应用处理器130/330)，作为应用处理器130/330执行适当多媒体和/或编解码器调整适配的高级指示。以这种方式，基于来自通信下层的预测或高级指示来增强编解码器调整适配机制。在本发明的第三方面，提出了基于当前编解码器/网络状态的智能切换决策方法。通过应用所提出的方法，当多媒体传输稳定时，可以抑制或避免某些特定切换的触发。以这种方式，可以防止不必要的用户体验影响。
42.根据本发明第一方面的实施例，可以配置调制解调处理器222执行以下操作：根据至少一个通信参数或至少一个通信事件评估通信链路的未来状况，以获得评估结果；以及
向应用处理器发送第一指示以向应用处理器通知评估结果。响应于接收第一指示，配置应用处理器130/330执行以下操作：应用处理器调整编解码器以对从网络装置(例如，网络装置350或通过网络装置350从云服务器360)接收的数据适配并进行多媒体处理。
43.在本发明的一个实施例中，当评估结果显示通信链路的中断事件发生(或即将发生)时，第一指示是中断指示，以指示通信链路的中断(interrupt)或中断事件(interrupt event)即将发生。
44.在本发明的一个实施例中，可以从包括切换相关事件、测量相关事件和由于另一用户标识卡的无线电活动的执行而导致的通信中断事件的组中选择至少一个通信事件，并且可以从包括关于通信链路的当前或预期数据速率、当前或预期吞吐量(throughput)、当前或预期分组错误率、当前或预期分组丢失率、当前或预期分组延迟和当前或预期分组抖动的组中选择至少一个通信参数。
45.在本发明的实施例中，可以基于来自网络装置的推荐比特率得出数据速率和/或吞吐量。例如，如3gpp ts 38.321子条款6.1.3.20中所定义，推荐比特率mac ce由带有lcid的mac子标头标识，分别用于从gnb到ue的比特率推荐消息和从ue到gnb的比特率推荐查询消息。此外，在本发明的实施例中，当发送方交付每个分组时，可以给每个分组一个时间戳(timestamp)，并且在接收到带有时间戳的分组时，接收方可以使用当前系统时间来计算分组延迟(例如，当前时间和时间戳之间的差)。
46.在本发明的一个实施例中，调制解调处理器222可以根据接收到的任何命令或将触发切换过程任何检测到的事件来评估或预测通信链路的未来状况。接收到将触发通信装置100随后执行切换过程的命令或事件可以被视为上述切换相关事件的类型。在本发明的实施例中，在接收到切换命令时或在接收到切换命令之前(注意，有时，切换命令的接收是可预测的)，调制解调处理器222可以确定发生了与切换相关的事件，并将通信链路的未来状态确定为“将发生通信链路的中断”，并且调制解调处理器222可以将在本发明的第一方面中是中断指示的第一指示发送到应用处理器130/330。
47.在本发明的另一实施例中，调制解调处理器222可以根据相邻小区或相邻网络装置的测量结果，或者根据用于报告相邻网络装置的测量结果的测量报告来评估或预测通信链路的未来状况，其中，当前与通信装置100通信并向通信装置100提供网络接入服务的网络装置(例如，网络装置350)可以是服务小区或服务网络装置。相邻小区或相邻网络装置的测量和测量结果的报告可被视为上述测量相关事件的类型。在本发明的实施例中，在发送用于报告相邻网络装置的测量结果的测量报告时或在发送测量报告之前，一旦调制解调处理器222确定测量结果可以触发切换过程，调制解调处理器222将通信链路的未来状态确定为“将发生通信链路的中断”，并且调制解调处理器222将在本发明的第一方面中是中断指示的第一指示发送到应用处理器130/330。
48.图4示出了根据本发明实施方式的ran中调制解调处理器和应用处理器之间的消息流以及通信装置和网络装置之间的消息流的示例流程图。ran中的网络装置可以向通信装置(例如，通信装置100)发送测量配置。在本发明的实施例中，调制解调处理器222可以有多个选项向应用处理器130/330发送中断指示，至少包括在调制解调处理器222向网络装置发送测量报告之前的第一选项(选项1-1)，在调制解调处理器222向网络装置发送测量报告之后或在从网络装置接收切换命令之前的第二选项(选项1-2)，在调制解调处理器222接收
切换命令之后或在调制解调处理器222启动切换过程之前的第三选项(选项1-3)。在接收到切换命令和/或向应用处理器130/330发送中断指示之后，调制解调处理器222可以开始切换过程，然后可以向网络装置发送切换完成消息。
49.请注意，如3gpp标准中所规定的，可以在具有报告配置(触发事件、报告间隔)和相邻小区列表(neighbor cell list，pci)信息的rrcconnectionreconfiguration消息中承载测量配置，可以在包含关于服务小区(例如，无线电信号强度(radio signal strength，rsi))和相邻小区(例如，pci、rsi、e-utran小区全局标识符(e-utran cell globalidentifier，ecgi)、跟踪区域标识(tracking area identity，tai))的信息的rcconnectionreconfigurationcomplete消息中承载测量报告，可以在包括mobilitycontrolinfo以及相关重新配置的rrcconnectionreconfication消息中承载切换命令，并且可以在rcconnectionreconficationcomplete消息中承载切换完成消息。
50.在本发明的另一个实施例中，调制解调处理器222可以通过使用服务网络装置和/或相邻网络装置的无线电质量的测量结果，和/或通过利用切换事件的历史/统计，来检测或预测将触发切换过程(也可视为上述切换相关事件的类型)的切换事件，例如，如果历史/存储的记录/信息表明：当报告与第一服务小区或频率和第一相邻小区或频率对应的a3事件时，网络将触发切换过程，以从第一服务小区或频率切换到第一相邻小区或频率，调制解调处理器222可以将a3事件的报告作为将触发切换过程的切换事件。当命中或检测到a3事件时，调制解调处理器222可以将通信链路的未来状况确定为“将发生通信链路的中断”，并且调制解调处理器222可以将在本发明的第一方面中是中断指示的第一指示发送到应用处理器130/330。也就是说，在本发明的实施例中，调制解调处理器222可以基于测量结果、历史/存储的记录/信息和/或rat间测量来直接检测或预测通信链路的中断事件的发生。
51.图5示出了根据本发明另一实施方式的ran中调制解调处理器和应用处理器之间的消息流以及通信装置和网络装置之间的消息流的示例流程图。在预测中断事件(例如，切换相关事件或如rat间测量的测量相关事件)时，调制解调处理器222可以将中断指示发送给应用处理器130/330(选项2-1)。在所述实施例中，调制解调处理器222可以提前或在可能的即将到来的切换命令之前尽早发送中断指示。在接收到切换命令之后，调制解调处理器222可以开始切换过程，然后可以向网络装置发送切换完成消息。
52.在本发明的又一实施例中，调制解调处理器222可根据由于另一用户标识卡的无线电活动的执行而导致的通信中断事件来评估或预测通信链路的未来状况。假设通信装置100至少包括第一用户标识卡和第二用户标识卡，其可以是如上所述的专用硬件卡或虚拟卡，并且假设调制解调处理器222通过第一用户标识卡与服务网络设备(例如，网络设备350)建立通信链路，调制解调处理器222可以在计划执行第二用户标识卡的无线电活动时检测到通信中断事件。根据本发明的一个实施例，导致通信中断事件的第二用户标识卡的无线电活动可以包括寻呼接收活动、小区重选活动、系统区块(system information block，sib)接收活动、频内/频间相邻小区测量活动，rat间相邻小区测量活动、数据传输/接收活动(例如，跟踪区域更新(tracking area update，tau)或移动注册更新(mobility registration即date，mru))
…
等。
53.图6示出了根据本发明又一实施方式的ran中调制解调处理器和应用处理器之间的消息流以及通信装置和网络装置之间的消息流的示例流程图。假设调制解调处理器222
transform，dct)的整数变换将残差变换到空间频域。量化参数确定用于将变换系数与有限的步长集相关联的步长。qp的大值表示粗略近似空间变换的大步，因此大多数信号只能由少数系数捕获。qp的较小值更精确地近似于块的空间频谱。
58.图8示出了根据本发明另一实施方式的调制解调处理器和应用处理器之间的消息流以及通信装置和云服务器之间的消息流的示例流程图。在图8所示的实施例中，一旦检测到触发测量报告的事件，调制解调处理器222可以在实际执行切换过程之前向应用处理器130/330发送中断指示。调制解调处理器222可以在发送中断指示之后启动定时器，以保持通信链路在一段时间内有效。也就是说，调制解调处理器222直到定时器到期才开始切换过程。在接收到中断指示时，应用处理器130/330可以向云服务器提供评估结果或中断指示，以与云服务器协商编解码器对多媒体处理的调整适配。应用处理器130/330可以接收ack消息，包括关于编解码器调整适配的反馈的信息，并且应用处理器130/330可以基于云服务器供应执行编解码器调整适配。在本发明的实施例中，编解码器调整适配可以包括对参数的一个或多个调整，这些参数包括：分辨率、帧速率、压缩率、每帧的切片数、量化参数(qp)、数据速率和帧类型。当定时器到期时，调制解调处理器222可以启动测量报告。当接收到切换命令时，调制解调处理器222可以启动切换过程并向网络设备发送切换完成消息。
59.根据本发明第一方面的实施例，调制解调处理器222可进一步向应用处理器130/330发送第二指示，所述第二指示是恢复指示，以通知应用处理器130/330通信链路的恢复。在本发明的实施例中，调制解调处理器222可以在确定中断事件被避免或通过(pass)时、在发送切换完成消息时或在ue侧(例如，通信装置100)实际完成切换过程时发送恢复指示。通常，向目标网络设备发送切换完成消息以通知ue已经完成切换，并且在接收到来自目标网络设备的ack消息作为对已完成切换的确认时，可以在ue侧确定切换过程已完成。
60.根据本发明的一个实施例，调制解调处理器222还可以在第二指示中承载一些额外信息，包括中断事件之后的预期数据速率或rat(例如，lte、fr1、fr2)。例如，调制解调处理器222可以基于新的服务网络设备(即，在执行切换过程之前的相邻网络设备)的性能来承载预期数据速率或rat。
61.响应于具有额外信息的第二指示，应用处理器130/330可以相应地调整编解码器对从网络设备接收的数据进行多媒体处理。例如，应用处理器130/330可以根据从调制解调处理器222获得的额外信息，基于云服务器供应升级或降级编解码器。作为另一示例，当多媒体数据的编解码器被云服务器降级时，应用处理器130/330可以在本地放大编解码器，例如，将图像分辨率从720p提高到1080p。在本发明的实施例中，编解码器调整适配可以包括对参数的一个或多个调整，这些参数包括：分辨率、帧速率、压缩率、每帧的切片数、量化参数(qp)、数据速率和帧类型。
62.请注意，在本发明的实施例中，在发送第一指示(例如，中断指示)之后，调制解调处理器222可以保持监视和/或确定是否避免或通过中断事件或中断，以及何时避免或通过中断事件或中断，调制解调处理器222可进一步向应用处理器130/330发送第二指示(例如，恢复指示)。
63.图9示出了根据本发明实施方式的调制解调处理器和应用处理器之间的消息流的示例流程图。继续图4所示的实施例，在将切换完成消息发送到网络设备之后，调制解调处理器222向应用处理器130/330发送恢复指示。
64.图10示出了根据本发明另一实施方式的调制解调处理器和应用处理器之间的消息流的示例流程图。继续图5所示的实施例，在将中断指示发送到网络设备之后，调制解调处理器222可以保持监视和/或确定中断是否结束或避免，并在中断结束或避免时向应用处理器130/330发送恢复指示。
65.通过在本发明的第一方面中应用所提出的方法，调制解调处理器222预测或评估可能的通信中断，并提前将预测或评估提供给上层实体(例如，应用处理器130/330)，以供应用处理器130/330执行适当的多媒体和/或编解码器调整适配。以这种方式，可以缓解或减轻通信中断期间的用户体验影响。
66.根据本发明第二方面的实施方式，配置调制解调处理器222执行以下操作：根据至少一个通信参数或至少一个通信事件评估通信链路的未来状况，以获得评估结果；以及向应用处理器发送第一指示(高级指示)以向应用处理器通知评估结果。响应于接收第一指示，配置应用处理器130/330执行以下操作：根据评估结果，调整编解码器对从网络设备(例如，网络设备350或通过网络设备350从云服务器360)接收的数据适配并进行多媒体处理。
67.在本发明的一个实施例中，可以从包括关于通信链路的当前或预期数据速率、当前或预期吞吐量、当前或预期分组错误率、当前或预期分组丢失率、当前或预期分组延迟和当前或预期分组抖动的组中选择至少一个通信参数。调制解调处理器222可以根据上述通信参数中的至少一个来评估或预测通信链路的未来状况，然后向应用处理器130/330发送指示，以将预测的状况或评估结果通知应用处理器。调制解调处理器222可以提前发送指示，以便应用处理器130/330与云服务器(例如，云服务器360)协商编解码器对多媒体处理的调整适配。
68.在本发明的实施例中，调制解调处理器222还可以在第一指示(在本发明的第二方面中是高级指示)中承载一些额外信息，包括将影响吞吐量、(预期)错误率、分组(或切片或帧)丢失率，(预期)分组(或切片或帧)延迟、(预期)分组(或切片或帧)抖动等的即将发生的事件的预期时间/持续时间。此外，在与云服务器的协商期间，应用处理器130/330可以可选地向云服务器提供关于上述即将发生的事件的预期时间/持续时间和关于通信链路的预期吞吐量、预期分组(或切片或帧)错误率、预期分组(或切片或帧)丢失率的信息，预期分组(或切片或帧)延迟和预期分组(或切片或帧)抖动等，以促进编解码器调整适配。应用处理器130/330可以从云服务器接收包括编解码器调整适配的反馈的信息的ack消息。
69.响应于第一指示的接收(并且在一些实施例中，响应于从云服务器接收ack消息)，应用处理器130/330可以相应地调整用于对从网络设备接收的数据适配并进行多媒体处理的编解码器。例如，应用处理器130/330可以基于云服务器供应升级或降级编解码器。作为另一示例，当多媒体数据的编解码器被云服务器降级时，应用处理器130/330可以本地放大编解码器，例如，应用处理器130/330可以将图像分辨率从720p提高到1080p。作为又一示例，应用处理器130/330本地生成视频帧/音频数据(例如，通过内插/外推)，或者基于姿势/运动/用户输入本地生成视频帧/音频资料。作为又一示例，应用处理器130/330可以回放/重复现有帧，本地播放预先存储的视频帧/音频数据(例如，广告)，或本地播放预定义的视频帧/音频数据(例如，视觉效果)等。
70.通过在本发明的第二方面中应用所提出的方法，由调制解调处理器222预测或评估通信或网络条件，并将预测或评估提供给上层实体(例如，应用处理器130/330)，作为应
用处理器130/330执行适当多媒体和/或编解码器调整适配的高级指示。以这种方式，基于来自通信下层的预测或高级指示来增强编解码器调整适配机制。
71.图11示出了根据本发明实施方式的通信装置中的多媒体调整适配方法的流程图，其中通信装置通过通信链路与无线网络中的网络装置进行通信。所述方法包括以下步骤：
72.步骤s1102：通信装置的调制解调处理器根据至少一个通信参数或至少一个通信事件来评估通信链路的未来状况，以获得评估结果。
73.步骤s1104：调制解调处理器向通信装置的应用处理器发送第一指示，以将评估结果通知应用处理器。
74.步骤s1106：响应于第一指示的接收，应用处理器调整编解码器适配并进行多媒体处理。
75.在本发明的一些实施例中，所述方法可选地包括以下步骤：
76.步骤s1108：当第一指示为中断指示时，调制解调处理器在获得评估结果后的一段时间内保持通信链路有效。
77.步骤s1110：调制解调处理器向应用处理器发送第二指示，以通知应用处理器通信链路恢复。
78.请注意，在本发明的实施例中，多媒体和/或编解码器调整适配可以应用于dl方向或ul方向或双向。此外，多媒体和/或编解码器调整适配可以由网络侧(例如，网络设备或云服务器中的业务控制逻辑或编解码器控制逻辑，或如图3所示的视频处理设备361)或ue侧(例如，通信装置中的业务控制逻辑或编解码器控制逻辑，或如图3所示的视频编码器331)控制。
79.请进一步注意，在本发明的实施例中，可以主动地向云服务器提供调制解调器信息和/或ap信息，以促进多媒体和/或编解码器调整适配。可以从包括上述中断指示和高级指示的组中选择调制解调器信息，可以从包括电池寿命(或功耗)信息、热量信息和环境信息(例如，光等)的组中选择ap信息。
80.与基于通过事件或信息执行的传统编解码器调整适配不同，在本发明的实施例中，可以基于评估或预测的未来网络条件执行多媒体和/或编解码器调整适配。利用经评估或预测的信息、调制解调器信息和/或ap信息，多媒体和/或编解码器调整适配可以更适合于通信装置100，并且可以大大改善用户体验。
81.在本发明的第三方面中，提出了基于当前编解码器/网络状态的智能切换决策方法。根据本发明第三方面中的实施例，可配置调制解调处理器222执行以下操作：评估用于多媒体处理的编解码器；为使用中的编解码器的一个或多个参数定义阈值，确定使用中的编解码器参数的当前值是否大于或等于预定义的阈值。当确定结果为是时，调制解调处理器222可以避免触发切换事件。当确定结果为否时，调制解调处理器222可主动触发切换事件。
82.根据本发明的一个实施方式，可以从包括以下参数的组中选择编解码器用于多媒体处理的一个或多个参数：分辨率、帧速率、压缩率、每帧的切片数、量化参数(qp)、数据速率和帧类型等。
83.根据本发明的实施方式，调制解调处理器222可以通过推迟测量报告或稍后发送测量报告来避免触发切换事件，例如，调制解调处理器222可以设置定时器，并且在定时器
到期之前不发送a3测量报告。根据本发明的另一实施例，调制解调处理器222可以通过将要在测量报告中承载的测量结果调整为不会触发切换过程的值并在测量报告中承载调整后的测量结果来避免触发切换事件。
84.根据本发明的另一实施例，调制解调处理器222不去确定使用中的编解码器的参数的当前值是否大于或等于预定义阈值，而是确定目标网络设备(例如，目标小区)是否更优选，例如，确定目标网络设备的数据速率是否高于服务网络设备，或者目标网络设备是否具有比服务网络设备更高级的rat。当确定结果为是时，调制解调处理器222可主动触发切换事件。例如，尽管目标网络设备的无线电条件实际上比服务网络设备差，调制解调处理器222可以通过将关于测量报告中承载的目标网络设备的测量结果调整为足以触发切换过程的值并在测量报告中承载调整后的测量结果来主动触发切换事件。
85.通过在本发明的第三方面中应用所提出的方法，当多媒体传输稳定时，可以抑制或避免某些特定切换的触发，并且当附近的网络设备更优选时，可以主动触发切换。以这种方式，可以大大改善用户体验。
86.本领域技术人员将会容易察觉到，在保留本发明的教义的同时，可以对装置和方法做出各种修改和改变。因此，上述公开内容应被解释为仅受所附权利要求书的范围和界限的限制。

技术特征：

1.一种用于多媒体调整适配的通信装置，包括：无线收发器，在无线网络中通过通信链路与网络装置进行通信，向所述网络装置发送无线信号或者从所述网络装置接收无线信号；应用处理器，配置为运行一个或多个应用程序；以及调制解调处理器，耦接到所述无线电收发器和所述应用处理器，并配置为执行以下操作：根据至少一个通信参数或至少一个通信事件来评估所述通信链路的未来状况，以获得评估结果；以及向所述应用处理器发送第一指示以向所述应用处理器通知所述评估结果，其中响应于接收到所述第一指示，进一步配置所述应用处理器执行以下操作：调整编解码器以对从所述网络装置接收的数据适配并进行多媒体处理。2.如权利要求1所述的用于多媒体调整适配的通信装置，其特征在于，当所述第一指示为指示所述通信链路将发生中断的中断指示时，所述调制解调处理器进一步执行以下操作：在获得所述评估结果后的一段时间内保持所述通信链路有效。3.如权利要求2所述的用于多媒体调整适配的通信装置，其特征在于，执行在一段时间内保持所述通信链路有效的操作时，所述调制解调处理器进一步执行以下操作：启动定时器，在发送所述第一指示后的所述一段时间内保持所述通信链路有效；以及在所述定时器到期后执行导致所述中断的无线电活动。4.如权利要求1所述的用于多媒体调整适配的通信装置，其特征在于，当所述第一指示为指示所述通信链路将发生中断的中断指示时，所述调制解调处理器进一步执行以下操作：向所述应用处理器发送第二指示，以向所述应用处理器通知所述通信链路恢复。5.如权利要求1所述的用于多媒体调整适配的通信装置，还包括：多个用户标识卡，包括第一用户标识卡和第二用户标识卡，其中，所述调制解调处理器通过所述第一用户标识卡与所述网络设备建立所述通信链路，并且从包括由于执行所述第二用户标识卡的无线电活动而导致的通信中断事件的组中选择所述至少一个通信事件。6.如权利要求1所述的用于多媒体调整适配的通信装置，其特征在于，当所述第一指示为指示所述通信链路将发生中断的中断指示时，所述调制解调处理器进一步执行以下操作：在所述通信链路的所述中断期间在本地生成视频和/或音频数据或在本地播放预存储的视频和/或音频资料。7.如权利要求1所述的用于多媒体调整适配的通信装置，其特征在于，从包括切换相关事件和测量相关事件的组中选择所述至少一个通信事件。8.如权利要求1所述的用于多媒体调整适配的通信装置，其特征在于，从包括关于所述通信链路的预期数据速率、预期吞吐量、预期分组错误率、预期分组丢失率、预期分组延迟和预期分组抖动的组中选择所述至少一个通信参数。9.如权利要求1所述的用于多媒体调整适配的通信装置，其特征在于，响应于接收到所
述第一指示，进一步配置所述应用处理器执行以下操作：向所述云服务器提供所述评估结果；以及与所述云服务器协商所述编解码器对多媒体处理的调整适配。10.如权利要求1所述的用于多媒体调整适配的通信装置，其特征在于，当执行调整所述编解码器以对从所述网络装置接收的数据进行多媒体处理的操作时，进一步配置所述应用处理器执行以下操作：基于所述云服务器的供应对所述编解码器的至少一个参数进行调整，所述参数包括：分辨率、帧速率、压缩率、每帧的切片数、量化参数、数据速率和帧类型。11.一种通信装置的多媒体调整适配方法，包括：通信装置的调制解调处理器根据至少一个通信参数或至少一个通信事件来评估所述通信链路的未来状况，以获得评估结果；所述调制解调处向所述通信装置的应用处理器发送第一指示，以向所述应用处理器通知所述评估结果，其中响应于接收到所述第一指示，所述应用处理器调整编解码器以对从所述网络装置接收的数据适配并进行多媒体处理。12.如权利要求11所述的通信装置的多媒体调整适配方法，其特征在于，当所述第一指示为指示所述通信链路将发生中断的中断指示时，所述方法进一步包括：在获得所述评估结果后的一段时间内保持所述通信链路有效。13.如权利要求12所述的通信装置的多媒体调整适配方法，其特征在于，在一段时间内保持所述通信链路有效的步骤进一步包括：启动定时器，在发送所述第一指示后的所述一段时间内保持所述通信链路有效；以及在所述定时器到期后执行导致所述中断的无线电活动。14.如权利要求11所述的通信装置的多媒体调整适配方法，其特征在于，当所述第一指示为指示所述通信链路将发生中断的中断指示时，所述方法进一步包括：所述调制解调处理器向所述应用处理器发送第二指示，以向所述应用处理器通知所述通信链路恢复。15.如权利要求11所述的通信装置的多媒体调整适配方法，其特征在于，所述通信装置还包括第一用户标识卡和第二用户标识卡，所述调制解调处理器通过所述第一用户标识卡与所述网络设备建立所述通信链路，并且从包括由于执行所述第二用户标识卡的无线电活动而导致的通信中断事件的组中选择所述至少一个通信事件。16.如权利要求11所述的通信装置的多媒体调整适配方法，其特征在于，当所述第一指示为指示所述通信链路将发生中断的中断指示时，所述方法进一步包括：在所述通信链路的所述中断期间，所述应用处理器在本地生成视频和/或音频数据或在本地播放预存储的视频和/或音频资料。17.如权利要求11所述的通信装置的多媒体调整适配方法，其特征在于，从包括切换相关事件和测量相关事件的组中选择所述至少一个通信事件。18.如权利要求11所述的通信装置的多媒体调整适配方法，其特征在于，从包括关于所述通信链路的预期数据速率、预期吞吐量、预期分组错误率、预期分组丢失率、预期分组延迟和预期分组抖动的组中选择所述至少一个通信参数。
19.如权利要求11所述的通信装置的多媒体调整适配方法，其特征在于，响应于接收到所述第一指示，所述方法进一步包括：所述应用处理器向所述云服务器提供所述评估结果；以及所述应用处理器与所述云服务器协商所述编解码器对多媒体处理的调整适配。20.如权利要求11所述的通信装置的多媒体调整适配方法，其特征在于，调整所述编解码器以对从所述网络装置接收的数据进行多媒体处理的步骤进一步包括：基于所述云服务器的供应对所述编解码器的至少一个参数进行调整，所述参数包括：分辨率、帧速率、压缩率、每帧的切片数、量化参数、数据速率和帧类型。

技术总结

通信装置包括无线电收发器、应用处理器和调制解调处理器。无线收发器通过通信链路与网络装置进行通信，向无线网络中的网络装置发送无线电信号，或从网络装置接收无线电信号。配置应用处理器运行一个或多个应用程序。调制解调处理器耦接到无线电收发器和应用处理器，并配置为执行以下操作：根据至少一个通信参数或至少一个通信事件评估通信链路的未来状况，以获得评估结果；向应用处理器发送第一指示以向应用处理器通知评估结果。响应于接收第一指示，进一步配置应用处理器执行操作：调整编解码器以对从网络装置接收的数据适配并进行多媒体处理。媒体处理。媒体处理。