自定义多媒体消息应用的能够修改的视频中的配乐和发型的制作方法

1.本公开总体上涉及多媒体消息应用(mma)，并且更具体地，涉及自定义mma的能够修改的视频中的配乐和发型。

背景技术：

2.共享媒体，例如贴纸和表情符号，已成为mma中的标准选项。目前，一些消息应用为用户提供了通过通信聊天生成图像和短视频并将其发送给其他用户的选项。这些短视频可以预先生成并存储在数据库中，并按需提供给mma。
附图说明
3.实施例通过示例的方式示出，而不限于附图中的图，在附图中相似的标记表示相似的元件。
4.图1是示出示例环境的框图，其中，可以实现用于自定义mma的能够修改的视频中的配乐和发型的系统和方法。
5.图2是显示计算设备的示例实施例的框图，该计算设备用于实现用于自定义mma的能够修改的视频中的配乐和发型的方法。
6.图3是示出根据本公开的一些示例实施例的用于自定义mma的能够修改的视频中的配乐和发型的系统的框图。
7.图4是示出根据示例实施例的生成个性化视频的过程的示意图。
8.图5是根据本公开的一些示例实施例的自拍捕获和自定义模块的框图。
9.图6至图9示出了根据一些示例实施例的mma的用户界面的屏幕。
10.图10是示出根据一些示例实施例的用于自定义mma的能够修改的视频中的发型的方法的流程图。
11.图11是示出根据一些示例实施例的用于自定义mma的能够修改的视频中的配乐的方法的流程图。
12.图12示出能够用于实现自定义mma的能够修改的视频的配乐和发型的方法的示例计算机系统。
具体实施方式
13.以下对实施例的详细描述包括对附图的参考，附图形成了详细描述的一部分。本节中描述的方法不是权利要求的现有技术，并且不通过包含在本节中而被承认为现有技术。附图示出了根据示例实施例的图示。这些示例实施例在本文中也被称为“示例”，其被足够详细地描述以使本领域技术人员能够实践本主题。在不脱离所要求保护的范围的情况下，可以组合实施例，可以利用其他实施例，或者可以进行结构、逻辑和操作上的改变。因此，以下详细描述不应被理解为限制意义，并且范围由所附权利要求及其等效物来定义。
14.本文提供的公开内容针对自定义mma中使用的卷轴(reel)中的配乐和发型。卷轴，
在本文中也称为能够修改的视频，可以定义为短片或视频剪辑。mma是可以在个人计算设备(pcd)上执行的应用，例如智能手机、平板电脑、膝上型电脑等。mma可以启动通信聊天，pcd的用户可以在其中交换消息和卷轴。
15.卷轴可以由mma的开发者生成并且存储在数据库中。数据库可以驻留在计算云中。在使用mma时，用户可以查看各种类别下的卷轴，例如“最近”、“精选”、“问候”、“爱”、“快乐”、“沮丧”、“庆祝”等。该“最近”类别可以为用户个性化并且包括用户最近与其他用户共享的卷轴、最多共享的卷轴、流行的卷轴或它们的任何组合。在一个实施例中，“最近”类别中的卷轴数量可以限制为预定数量。如果最近共享的卷轴的数量少于该预定数量，则“最近”类别的剩余位置可以填充“精选”类别的卷轴。
16.mma还可以包括“搜索”选项。选择“搜索”选项后，用户可以能够键入搜索请求。在提交搜索请求并返回结果后，用户可以查看响应于搜索请求在数据库中到并返回的卷轴列表。
17.在一些示例实施例中，用户可以从类别或搜索结果中选择卷轴并且通过通信聊天发送选择的卷轴。选择的卷轴可以包括多帧。一些帧可以包括为面部图像指定的区域。面部图像也可以称为自拍。mma可以使用户能够使用pcd的相机应用或用户提供的照片来生成自拍。自拍可以插入帧中的区域。该帧可以包括一组表示面部表情的面部参数。在被插入帧中后，自拍可以采用面部表情。当回放卷轴时，帧中的自拍可以根据卷轴中跨越多帧的面部表情的变化来进行面部动作。
18.选择的卷轴可以包括预先生成的文本消息。在通过通信聊天发送选择的卷轴之前，用户可以修改文本消息和文本消息的样式。
19.在一些实施例中，在通过通信聊天发送卷轴之前，用户可以添加或改变与所选卷轴相关联的配乐。mma可以分析用户在通信聊天中的最近消息以确定最近消息的上下文。然后，mma可以向用户提供配乐列表。可以根据最近消息的上下文选择配乐列表。或者，如果没有关于用户的信息可用，则可以允许用户选择一些流行的配乐。用户可以从列表中选择配乐并将配乐添加到所选卷轴。在一些实施例中，用户可以使用与mma相关联的音频记录系统来记录他们的声音。然后，mma可以将声音添加到所选卷轴的配乐或根据用户声音修改所选卷轴的配乐。在一些实施例中，可以使用用户声音来发音文本消息。
20.此外，本文提供的本公开的一些实施例涉及修改插入卷轴中的自拍中的用户的发型。在一个示例实施例中，发型的修改由mma基于预定标准激活。例如，该标准可以基于用户自拍中的发量。mma可以分析发型、头发质地和自拍，以便建议要应用于自拍的发型修改和质地。改变头发质地可以包括卷曲或拉直头发。如果头发太长，mma可能会建议缩短头发，如果头发太短则建议拉长头发，或者将头发竖起。mma可以提示用户改变自拍中头发的颜。mma可以为用户提供一个选项来查看一个或多个头发修改建议，并允许用户选择和接受修改。带有修改头发的自拍可以被插入卷轴中。
21.在一些实施例中，mma可以允许用户生成多于一张具有不同发型的自拍。当用户选择卷轴时，mma可以分析卷轴并提示用户使用所生成的自拍列表中具有最适合所选卷轴的发型的自拍。在一些实施例中，用户可以指示mma自动选择具有最适合卷轴的发型的自拍。
22.在一些实施例中，分析自拍中的头发可以开始于将自拍的图像分割成包括头发的第一部分和包括用户面部的第二部分。可以使用机器学习技术进行分割(例如，人工神经网
络(ann))。可以基于分割生成面部的掩膜。包括头发的第一部分可以由另一个ann分析以确定对头发的修改并自动生成带有所修改头发的自拍。这些修改可以包括增加头发的数量、拉长头发、缩短头发等等。
23.在一些实施例中，mma可以分析自拍中的头发并为头发选择掩膜。通过将掩膜应用于自拍，可以生成自拍中的头发图像。可以从为基准头部准备的掩膜列表中选择掩膜。基准头部可以基于不同用户的多个自拍照图像来生成。
24.在一些实施例中，如果头发足够长，则自拍中的头发可以根据头部和面部的运动在卷轴中被动画化。为了生成卷轴中的头发运动，可以分析自拍中的头发以生成三维(3d)头发模型。3d头发模型可用于根据头部和面部的运动来渲染卷轴中的头发图像。
25.图1示出了示例环境100，其中可以实践用于自定义mma中的能够修改的视频中的配乐和发型的系统和方法。环境100可以包括pcd 105、用户102、pcd 110、用户104、网络120和消息服务器系统(mss)130。pcd 105和pcd 110可以指移动设备，例如移动电话、智能手机或平板电脑。然而，在进一步的实施例中，pcd 110可以指个人计算机、膝上型计算机、上网本、机顶盒、电视设备、多媒体设备、个人数字助理、游戏控制台、娱乐系统、信息娱乐系统、车载计算机或任何其他计算设备。
26.pcd 105和pcd 110可以通过网络120通信地连接到mss 130。mss 130可以实现为基于云的计算资源。mss 130可以包括在远程位置可用并且可通过网络(例如，因特网)访问的计算资源(硬件和软件)。基于云的计算资源可以由多个用户共享并根据需求动态重新分配。基于云的计算资源可以包括一个或多个服务器/集，其包括可以与网络交换机或路由器同地协作的计算机服务器的集合。
27.网络120可以包括任何有线、无线或光网络，包括例如因特网、内联网、局域网(lan)、个域网(pan)、广域网(wan)、虚拟专用网(vpn)、蜂窝电话网络(例如，全球移动系统(gsm))通信网络等。
28.在本公开的一些实施例中，pcd 105和pcd 110可以包括被配置为实现用户102和用户104之间的通信聊天的mma 160。用户102和用户104可以在通信聊天期间交换文本消息和视频。视频可以包括个性化视频。可以基于存储在pcd 105或pcd 110中的卷轴生成个性化视频。在一些实施例中，卷轴可以存储在mss 130中并根据需要经由mma 160下载到pcd 105或pcd 110。
29.mss 130可以包括用于存储卷轴的卷轴数据库145。卷轴可以基于动画视频或实况视频生成。卷轴可以下载到pcd 105或pcd 110。mss 130可以包括统计日志150，用于存储卷轴下载的统计数据以确定视频模板的流行度度量。流行度度量可以基于用户的年龄、用户的性别、地理区域等来划分类别。统计日志150还可以存储由pcd 105和pcd 110的用户通过mma 160共享卷轴的统计数据。
30.mss 130还可以被配置为存储用户简档135。用户简档135可以包括用户102的面部图像、用户104的面部图像和其他人的面部图像。面部图像可以根据需要并基于许可下载到pcd 105或pcd 110。此外，用户102的面部图像可以使用pcd 105生成并存储在pcd 105的本地存储器中。面部图像可以基于存储在pcd 105中的其他图像生成。pcd 105可以进一步使用面部图像来基于卷轴生成个性化视频。类似地，pcd 110可用于生成用户104的面部图像。用户104的面部图像可用于从卷轴生成pcd 110上的个性化视频。
31.在进一步的实施例中，用户102的面部图像和用户104的面部图像都可以用于在pcd 105或pcd 110上生成个性化视频。
32.在一些实施例中，卷轴可以包括预设默认文本消息。卷轴还可以包括预设文本参数，用于动画化在基于卷轴生成的个性化视频中的预设默认文本消息。pcd 105和pcd 110可以被配置为回放具有基于预设文本参数而动画化的预设文本消息的个性化视频。在回放个性化视频期间，mma 160可以提供改变个性化视频中的预设默认文本消息以及用于显示该文本消息的参数的选项。pcd 105可以在播放个性化视频时动态地改变个性化视频中的预设默认文本消息。然后，用户105可以通过mma 160向pcd 110的用户104发送具有改变的文本消息的个性化视频。
33.图2是示出pcd 105(或pcd 110)的示例实施例的框图，用于实现自定义mma中的能够修改的视频中的配乐和发型的方法。在图2所示的示例中，pcd 105包括硬件组件和软件组件。特别地，pcd 105包括相机205或任何其他图像捕获设备或扫描仪以获取数字图像。pcd 105还可以包括处理器模块210和用于存储软件组件和处理器可读(机器可读)指令或代码的存储器215，当由处理器模块210执行时，这些指令或代码使pcd 105执行如本文所述的用于自定义能够修改的视频中的配乐和发型的方法的至少一些步骤。pcd 105可以包括图形显示系统230和通信模块240。在其他实施例中，pcd 105可以包括额外的或不同的组件。此外，pcd 105可以包括较少的执行与图2中所描绘的那些相似或等效的功能的组件。
34.pcd 105可以还包括mma 160。mma 160可以实现为存储在存储器215中的软件组件和处理器可读(机器可读)指令或代码，当由处理器模块210执行时，这些指令或代码使pcd 105执行如本所述的用于提供通信聊天、生成个性化视频以及自定义mma的能够修改的视频中的配乐和发型的方法的至少一些步骤。mma 160的用户界面可以通过图形显示系统230提供。mma 160可以通过通信模块240和网络120启动通信聊天。通信模块240可以包括gsm模块、wifi模块、蓝牙
tm
模块等。
35.图3是根据本公开的一些示例实施例的用于自定义mma中的能够修改的视频中的配乐和发型的系统300的框图。系统300可以包括配乐自定义模块305、自拍捕获和自定义模块310以及个性化视频生成模块330。系统300可以集成在mma 160中。
36.系统300可以从卷轴数据库145接收卷轴。mma的用户可以从卷轴列表中选择卷轴。可以通过在卷轴数据库145中搜索并且基于与类别或用户输入的搜索输入相匹配的卷轴来生成卷轴列表。该类别可以基于卷轴被添加到卷轴数据库145的时间和卷轴的流行度度量。流行度度量可以基于用户通过mma 160共享基于该卷轴生成的个性化视频的次数。
37.卷轴可以是预先生成的一个演员或多个演员主演的录制视频。卷轴可以包括二维(2d)视频或3d场景。可以对卷轴进行预处理，以在每帧中分割演员的面部(也称为目标面部)和背景，并识别一组参数，这些参数可用于进一步插入源面部替代演员的面部(目标面部)。该组参数可以包括面部纹理、面部表情参数、面部颜、面部标识参数、面部的位置和角度等。该组参数还可以包括可以对演员的面部执行的操纵和操作的列表，例如以照片真实(photo-realistic)方式执行的演员面部的替换。每个卷轴可以包括默认配乐和默认文本消息。
38.在一些实施例中，在通过通信聊天发送卷轴之前，用户可以添加或改变与所选卷轴相关联的配乐。配乐自定义模块305可以分析用户在通信聊天中的最近消息以确定最近
消息的上下文。配乐自定义模块305然后可以向用户提供配乐列表。可以根据最近消息的上下文选择配乐列表。用户可以从列表中选择配乐并将这个配乐添加到所选卷轴。或者，如果没有关于用户的信息可用，则可以允许用户选择一些流行的配乐。
39.在一些实施例中，用户可以使用与pcd 105相关联的音频记录系统来记录他的声音。然后，配乐自定义模块305可以将这个声音添加到所选卷轴的配乐或根据用户声音修改所选卷轴的配乐。
40.每次当用户为卷轴选择配乐时，mma 160可以向mss 130发送关于所选卷轴、最近消息的上下文、提示给用户的配乐列表以及用户选择的配乐或未选择配乐的指示的信息。mss 130可以将信息记录到统计日志150中。该信息可用于调整算法，以根据卷轴的属性(类别和默认文本消息)和最近消息的上下文来确定配乐列表。
41.自拍捕获和自定义模块320可以接收用户的图像并且生成用户的自拍(面部图像)。模块320可以分析自拍中头发的发型和质地。基于分析，模块320可以建议要应用于自拍的发型修改和质地。模块320可以提示用户选择一个或多个对发型应用修改的自拍照。用户选择的自拍可用于替换存储在卷轴数据库145中的卷轴中的目标面部。自拍捕获和自定义模块320的细节在图5中描述。
42.个性化视频生成模块330可以基于源面部的图像从卷轴生成个性化视频。模块330可以在保持演员面部的的面部表情的同时用用户的自拍替换卷轴中演员的面部。模块330可以用自拍的面部纹理、面部颜和面部标识替换演员的面部纹理、面部颜和面部标识。
43.图4是示出根据一些示例实施例的个性化视频生成模块330的功能400的示意图。个性化视频生成模块330可以接收自拍405和卷轴410。卷轴410可以包括一个或多个帧420。帧420可以包括目标面部415。自拍405的面部表情可以不同于目标面部415的面部表情。
44.在本公开的一些实施例中，个性化视频生成模块330可以被配置为分析自拍405的图像以提取自拍参数430。可以通过将参数化面部模型拟合到自拍405来提取自拍参数430。参数化面部模型可以包括模板网格。模板网格中的顶点坐标可能取决于两个参数：面部标识和面部表情。因此，自拍参数430可以包括对应于自拍405的面部标识和面部表情。自拍参数405还可以包括自拍405的纹理。纹理可以包括模板网格中顶点处的颜。在一些实施例中，与模板网格相关联的纹理模型可用于确定自拍405的纹理。
45.在本公开的一些实施例中，个性化视频生成模块330可以被配置为分析目标视频410的帧420以提取每个帧420的目标面部参数435。可以通过将参数化面部模型拟合到目标面部415来提取目标面部参数435。目标参数435可以包括对应于目标面部415的面部标识和面部表情。目标面部参数430还可以包括目标面部415的纹理。可以使用纹理模型获得目标面部415的纹理。
46.在本公开的一些实施例中，每个帧420可以包括元数据。元数据可以包括为帧确定的目标面部参数。例如，目标面部参数可以由mss 130(如图1所示)确定。目标面部参数可以存储在卷轴410的帧的元数据中。卷轴410可以进一步被下载到pcd 105并存储在卷轴数据库145中。或者，个性化视频生成模块330可以预处理卷轴410以确定目标面部参数435和目标面部415在帧420中的位置参数。个性化视频生成模块330还可将目标面部参数435和目标面部的位置参数存储在对应帧420的元数据中。这样，每次选择卷轴410以用于具有不同源面部的个性化时，不用重新计算目标面部参数435。
47.在本公开的一些实施例中，个性化视频生成模块330可以将自拍参数430中的面部表情替换为来自目标参数435的面部表情。个性化视频生成模块330可以进一步被配置为使用参数化面部模型、纹理模块和目标参数435及替换的面部表情来合成输出面部445。输出面部可用于替换卷轴410的帧420中的目标面部415以获得显示为个性化视频440的输出视频的帧445。输出面部445是采用了目标面部415的面部表情的自拍405。输出视频基于卷轴410和自拍405生成的个性化视频440。
48.图5是根据本公开的一些示例实施例的自拍捕获和自定义模块310的框图。自拍捕获定制模块310可以包括自拍捕获子模块505、分割子模块510、掩膜生成子模块515、发型分析子模块520和自拍选择子模块505。
49.自拍捕获子模块505可以接收用户的图像并且基于用户的图像生成自拍530。用户的图象可以由pcd 105的相机205捕获。用户的图像可以包括存储在pcd 105的存储器215中的图像。自拍的捕捉过程在图7中描述。
50.分割子模块510可以分析自拍530以将自拍530的图像分割成包括头发的第一部分535和包括用户面部的第二部分540。可以使用机器学习技术之一(例如，第一ann)来进行分割。
51.掩膜生成模块515可以基于第一部分535和第二部分540生成自拍中的面部的掩膜545。第一部分535、第二部分540和掩膜545可以提供给发型分析子模块520。
52.发型分析子模块520可以分析第一部分535(自拍530中的头发图像)并确定自拍中的头发是能够修改的。在一个示例实施例中，可以基于标准来激活发型的修改。例如，该标准可以基于用户自拍中的发量。如果发量超过预定的第一阈值，则子模块520可以激活发型修改。如果发量超过预定的第二阈值，则子模块520可以激活发型修改。该标准还可以基于用户自拍中的头发长度。如果头发的长度太短或太长，则子模块520可以激活发型修改。
53.发型分析子模块520可以分析自拍(第一部分535)中头发的发型和质地，以通过第二ann确定要应用于自拍的发型修改和质地。改变头发的质地可以包括卷发或拉直头发。改变发型可以包括如果头发太长则缩短头发，如果头发太短则拉长头发，或者增加发量。发型的改变可以包括将自拍中的头发涂成与自拍530中的头发颜不同的颜。
54.子模块520可以基于所确定的发型和质地的修改来生成修改的自拍。子模块520可以允许mma的用户查看所修改的自拍并接受修改。然后可以将所修改的自拍插入卷轴。
55.在其他实施例中，子模块520可以提示用户从修改的自拍列表560中选择修改的自拍。可以通过将掩膜550之一应用于自拍530来生成所修改的自拍560中的每一个。掩膜550可以对应于由对第一部分535的发型修改所建议的不同发型。可以使用标准头部的图像预先生成掩膜550。可以通过对用户自拍图像进行平均来生成标准头部的图像。
56.在一些实施例中，mma 160可以允许用户生成具有不同发型的不同自拍并将不同自拍存储在用户简档135中。当用户选择卷轴时，个性化视频生成模块330可以分析卷轴并提示用户使用所生成的自拍列表中具有最适合所选卷轴的发型的自拍。在一些实施例中，用户可以指示mma自动选择具有最适合卷轴的发型的自拍。可以基于用户在通信聊天中的最近消息的上下文、卷轴的类别或与卷轴相关联的文本消息来选择最合适的自拍。
57.在一些实施例中，如果头发足够长，则自拍中的头发可以根据头部和面部的运动在卷轴中被动画化。为了生成卷轴中的头发运动，可以分析自拍中的头发以生成3d头发模
型。个性化视频生成模块330可以使用该3d头发模型来渲染卷轴帧中的头发图像，使得头发跟随卷轴中用户的头部和面部的运动。
58.图6示出了根据一些示例实施例的mma 160的用户界面600的示例屏幕。用户界面600可以包括聊天窗口610和包含视频640的部分。视频640可以包括具有面部部分650而不是面部的卷轴。预渲染的视频可以包括预告视频，其旨在向用户展示个性化视频可能看起来如何的示例表示。面部部分650可以以白椭圆的形式示出。在一些实施例中，视频640可以包括几个面部部分650以使得能够创建多人视频(即，具有多个人的面部的视频)。用户可以轻击任何视频640以选择视频640中的一个用于修改并发送到聊天窗口610。修改可以包括从用户接收自拍图片(即，通过pcd的前置摄像头拍摄的用户面部图像)，从自拍图片中获取源面部，以及通过使用源面部来修改选择的视频640来创建个性化视频，在此也称为“卷轴”。因此，如本文所使用的，卷轴是通过将视频模板(没有用户面部的视频)修改为插入了用户面部的视频而产生的个性化视频。因此，可以以用户面部为特征的视听媒体(例如，视频、动画或任何其他类型的媒体)的形式生成个性化视频。所修改的视频可以被发送到聊天窗口610。用户界面600还可以具有按钮630，当点击该按钮时，可以将用户从消息应用转换到根据本公开的用于提供个性化视频的系统并使用系统的功能。
59.图7示出了根据一些示例实施例的mma的用户界面710和720的示例屏幕。用户界面710和720示出了自拍捕获模式，其中用户可以拍摄用户面部的图像，然后将其用作源面部。当用户想要捕捉自拍图像时，用户界面710显示pcd的相机的实时取景。实时取景可以显示用户面部705。用户界面710可以显示自拍椭圆730和相机按钮740。在示例实施例中，相机按钮740可以在自拍捕获模式中从屏幕底部向上滑动。用户可能需要改变相机的位置以便将用户面部705定位在自拍椭圆730的边界内。当用户面部705不在自拍椭圆730的中心时，自拍椭圆730可以是虚线形式的样式，并且相机按钮740是半透明的并且不可动作以指示相机按钮740未激活。为了通知用户用户面部未居中，可以在自拍椭圆730下方显示文本760。文本760可以包括针对用户的指令，例如“居中你的面部”、“到好的照明”等等。
60.在用户改变相机的位置以捕捉自拍图像并且用户面部705在自拍椭圆730中居中之后，用户界面720显示pcd 105的相机的实时取景。特别地，当用户面部705在自拍椭圆730中居中时，自拍椭圆730变为粗实线并且相机按钮740变得不透明并且可操作以指示相机按钮740现在是激活的。为了通知用户，可以在自拍椭圆730下方显示文本760。文本760可以指示用户制作自拍图片，例如“自拍”、“尽量不要笑”等等。在一些实施例中，用户可以通过按下相机胶卷按钮750从图片库中选择现有的自拍图片。
61.图8示出了根据一些示例实施例的mma160的用户界面810和820的示例屏幕。在用户自拍照片之后，用户界面810和820被显示在屏幕上。用户界面810可以显示背景800、当前正在创建的卷轴的示意图805和文本815。文本815可以包括例如“正在创建我的卷轴”。用户界面820可以显示创建的卷轴825和文本部分830和835。该卷轴825可以以全屏模式显示。文本830可以包括例如“您的卷轴已准备好”。可以在卷轴825后面的上方提供深渐变，因此文本830是可见的。文本部分835可以显示例如“使用这个自拍在聊天中发送卷轴或者重新拍摄以重试”以通知用户用户可以使用用户已拍摄的自拍照片或者拍摄另一张自拍照片。此外，可以在用户界面820上显示两个按钮。按钮840可以被显示为具有蓝和填充背景，并且可以指示用户“使用这个自拍”。当用户轻击按钮840时，可以启用两人卷轴屏幕。按钮845
可以显示为具有白、轮廓和透明背景，并且可以指示用户“重新自拍”。当用户轻击按钮845时，图7所示的用户界面710将被激活，并且可以启动如参考图7所描述的卷轴创建步骤。用户界面820还可在按钮840和845下方显示子文本850。子文本850可以告知用户可以如何删除卷轴，例如“您可以在设置中删除您的卷轴自拍”。
62.图9示出了根据一些示例实施例的mma 160的用户界面900的示例屏幕。用户界面900可以在用户选择并确认用户的自拍图片后显示。用户界面900可以显示聊天窗口610和带有个性化视频910的卷轴部分。在示例实施例中，个性化视频910可以显示在垂直滚动的拼贴列表中，每行有四个个性化视频910拼贴。所有个性化视频910可以自动播放(自动回放)和循环(连续回放)。无论pcd的声音设置或用户轻击音量按钮如何，所有个性化视频910中的声音都可以关闭。
63.图10是示出根据一些示例实施例的用于自定义mma中的能够修改的视频中的发型的方法1000的流程图。方法1000可以在pcd 105中执行。
64.方法1000可以在框1005开始，通过mma接收能够修改的视频和用户的图像。用户的图像可以包括面部图像和头发图像。可调整的视频可以与类别和文本消息相关联。该类别可以基于通过mma共享能够修改的视频的时间，以及用户通过mma共享能够修改的视频的次数。
65.在框1010中，方法1000可以包括分析头发图像以确定头发图像是能够修改的。确定头发图像是能够修改的可以包括估计发量并确定发量超过第一阈值。确定头发图像是能够修改的可以包括估计头发长度并确定头发长度超过第二阈值。
66.在框1015中，方法1000可以包括响应于确定头发图像是能够修改的，修改头发图像并生成用户的另一图像。用户的另一图像可以包括所修改的头发图像和面部图像。头发图像的修改可以包括将头发图像与用户图像分离。可以通过将ann或掩膜应用于分离的头发图像来执行头发图像的修改。可以修改头发图像以改变头发的质地、头发的长度、头发的颜和发量。修改头发图像可以基于与能够修改的视频相关联的类别和文本消息。
67.在框1015中，方法1000可以包括基于用户的另一图像和能够修改的视频生成个性化视频。个性化视频可以包括用户的另一图像的一部分和能够修改的视频的一部分。可以修改另一图像中的面部图像以采用一系列面部表情。该系列面部表情可以由能够修改的视频的元数据中的一组面部参数来定义。
68.方法1000还可以包括在框1020中生成用户的另一图像的列表。另一图像中的每一个包括头发的另一图像和面部图像。头发的另一图像可以是根据发型列表中的发型修改的头发图像。可以通过mma提示用户从另一图像的列表中选择另一图像。方法1000还可以包括由mma存储用户的另一图像的列表。方法1000可以包括接收另一能够修改的视频。方法1000可以包括从用户的另一图像的列表中选择另一图像。该选择可以基于与另一能够修改的视频相关联的类别或文本消息。
69.图11是示出根据一些示例实施例的用于自定义mma中的能够修改的视频中的配乐的方法1100的流程图。方法1100可以在pcd 105中执行。方法1100可以可以在框1105开始，通过mma并基于通信聊天中的用户消息来确定消息的上下文。消息的上下文可以通过ann确定。
70.在框1110中，方法1100可以包括经由mma并基于上下文来提供配乐列表。可以从用
户的配乐库中选择配乐列表。配乐的选择可以基于指示用户偏好的历史数据。
71.在框1115中，方法1100可以包括通过mma提示用户从配乐列表中选择配乐。
72.在框1120中，方法1100可以包括通过mma确定用户已从配乐列表中选择了配乐。配乐列表、所选配乐和上下文可以存储在统计日志中。统计日志还可用于确定用户偏好的历史数据，并训练用于从用户的库中选择配乐的算法。
73.在框1125中，方法1100可以包括将配乐添加到个性化视频。生成个性化视频的过程在图11中描述。在添加配乐之前，可以基于用户的声音样本来修改配乐。
74.图12示出了可用于实现本文描述的方法的示例计算系统1200。计算系统1100可以在诸如pcd 105和110、mss 130、mma 160和用于自定义mma中的能够修改的视频中的配乐和发型的系统300的上下文中实现。
75.如图12所示，计算系统的硬件组件1200可以包括一个或多个处理器1210和存储器1220。存储器1220部分地存储供处理器1210执行的指令和数据。当系统1200运行时，存储器1220可以存储能够执行的代码。系统1200还可包括可选的大容量存储设备1230、可选的便携式存储介质驱动器1240、一个或多个可选的输出设备1250、一个或多个可选的输入设备1260、可选的网络接口1270和一个或多个可选的外围设备1280。计算系统1200还可以包括一个或多个软件组件1295(例如，可以实现用于提供如本文所述的个性化视频的方法的那些)。
76.图12中所示的组件被描绘为通过单个总线1290连接。组件可以通过一个或多个数据传输装置或数据网络连接。处理器1210和存储器1220可以通过本地微处理器总线连接，并且大容量存储设备1230、外围设备1280、便携式存储设备1240和网络接口1270可以通过一个或多个输入/输出(i/o)总线连接。
77.可以实现为磁盘驱动器、固态磁盘驱动器或光盘驱动器的大容量存储设备1230是用于存储供处理器1210使用的数据和指令的非易失性存储设备。大容量存储设备1230可以存储系统软件(例如，软件组件1295)以用于实现本文描述的实施例。
78.便携式存储介质驱动器1240与诸如压缩盘(cd)或数字视频盘(dvd)之类的便携式非易失性存储介质一起操作，以将数据和代码输入和输出计算系统1200。用于实现本文描述的实施例的系统软件(例如，软件组件1295)可以存储在这样的便携式介质上并且通过便携式存储介质驱动器1240输入到计算系统1100。
79.可选的输入设备1260提供用户界面的一部分。输入设备1260可以包括用于输入字母数字和其他信息的诸如键盘的字母数字键盘，或诸如鼠标、轨迹球、输入笔或光标方向键的定点设备。输入设备1260还可以包括照相机或扫描仪。此外，图12中所示的系统1200包括可选的输出设备1250。合适的输出设备包括扬声器、打印机、网络接口和监视器。
80.网络接口1270可用于通过一个或多个通信网络(例如一个或多个有线、无线或光网络，包括例如互联网、内联网、lan、wan、蜂窝电话网络、蓝牙无线电和基于ieee 802.11的射频网络等)与外部设备、外部计算设备、服务器和联网系统通信。网络接口1270可以是网络接口卡，例如以太网卡，光收发器、射频收发器或任何其他类型的可以发送和接收信息的设备。可选外围设备1280可以包括向计算机系统添加附加功能的任何类型的计算机支持设备。
81.包含在计算系统1200中的组件旨在代表广泛类别的计算机组件。因此，计算系统
1200可以是服务器、个人计算机、手持计算设备、电话、移动计算设备、工作站、小型计算机、大型计算机、网络节点或任何其他计算设备。计算系统1100还可以包括不同的总线配置、网络平台、多处理器平台等等。可以使用各种操作系统(os)，包括unix、linux、windows、macintosh os、palm os和其他合适的操作系统。
82.一些上述功能可以由存储在存储介质(例如，计算机可读介质或处理器可读介质)上的指令组成。指令可以由处理器检索和执行。存储介质的一些示例是存储设备、磁带、磁盘等。这些指令在由处理器执行时是可操作的以指导处理器按照本发明操作。本领域技术人员熟悉这些指令、处理器和存储介质。
83.值得注意的是，适于执行本文所述处理的任何硬件平台都适用于本发明。如本文所用，术语“计算机可读存储媒介”和“计算机可读存储介质”是指参与向处理器提供指令以供执行的任何一种或多种媒介或介质。这种介质可以采取多种形式，包括但不限于非易失介质、易失性介质和传输介质。非易失性介质包括例如光盘或磁盘，例如固定硬盘。易失性介质包括动态存储器，例如系统随机存取存储器(ram)。传输介质包括同轴电缆、铜线和光纤等，尤其包括包括总线的一个实施例的导线。传输介质还可以采用声波或光波的形式，例如在射频(rf)和红外(ir)数据通信期间产生的那些。计算机可读介质的常见形式包括，例如，软盘、可折叠磁盘、硬盘、磁带、任何其他磁介质、cd只读存储器(rom)盘、dvd、任何其他光学介质、具有标记或孔图案的任何其他物理介质、ram、prom、eprom、eeprom、任何其他存储芯片或盒、载波或计算机可以从中读取的任何其他介质。
84.在将一个或多个指令的一个或多个序列传送到处理器以供执行时可能涉及各种形式的计算机可读介质。总线将数据传送到系统ram，处理器从中检索并执行指令。系统处理器接收的指令可以可选地在处理器执行之前或之后存储在固定硬盘上。
85.因此，描述了用于自定义mma中的能够修改的视频中的配乐和发型的方法和系统。尽管已参考特定示例实施例描述了实施例，但是显然可以对这些示例实施例进行各种修改和改变而不背离本技术的更广泛的精神和范围。因此，说明书和附图被认为是说明性的而不是限制性的。

技术特征：

1.一种用于自定义能够修改的视频中的配乐和发型的系统，所述系统包括至少一个处理器和存储有处理器能够执行的代码的存储器，其中，至少一个所述处理器被配置为在执行所述处理器能够执行的代码时实现以下操作：经由多媒体消息应用(mma)接收能够修改的视频和用户图像，所述用户图像包括面部图像和头发图像；分析所述用户图像以确定所述头发图像是能够修改的；响应于确定，修改所述头发图像并生成用户的另一图像，其中，所述用户的另一图像包括所修改的头发图像和面部图像；基于所述用户的另一图像和所述能够修改的视频生成个性化视频，其中，所述个性化视频包括所述用户的另一图像的一部分和所述能够修改的视频的一部分。2.根据权利要求1所述的系统，还包括：基于所述用户在通信聊天中的消息确定所述消息的上下文；基于所述上下文提供配乐列表；提示所述用户从所述配乐列表中选择配乐；确定所述用户已从所述配乐列表中选择所述配乐；以及基于确定，选择性地将所述配乐添加到所述个性化视频。3.根据权利要求2所述的系统，还包括，在添加所述配乐之前，利用所述用户的声音样本修改所述配乐。4.根据权利要求1所述的系统，其中，确定所述头发图像是能够修改的包括：估计发量；以及确定所述发量超过阈值。5.根据权利要求1所述的系统，其中，修改所述头发图像包括改变以下中的一项或多项：头发的质地、头发的长度、头发的颜和发量。6.根据权利要求1所述的系统，其中，修改所述头发图像包括：将所述头发图像与所述用户图像分离；以及将人工神经网络应用于所分离的头发图像。7.根据权利要求1所述的系统，其中，修改所述头发图像包括：将所述头发图像与所述用户图像分离；以及将掩膜应用于所分离的头发图像。8.根据权利要求1所述的系统，其中，修改所述头发图像基于与所述能够修改的视频相关联的类别和文本消息。9.根据权利要求1所述的系统，还包括，在确定所述头发图像是能够修改的之后：生成所述用户的另一图像的列表，其中，所述另一图像包括头发的另一图像和面部图像，头发的另一图像是根据来自发型列表中的发型修改的头发图像；并且经由所述mma提示所述用户从所述另一图像的列表中选择所述另一图像。10.根据权利要求1所述的系统，还包括：通过所述mma将所述用户的另一图像的列表存储在所述存储器中；以及在接收另一能够修改的视频时，从所述用户的另一图像的列表中选择所述另一图像，其中，选择基于与所述另一能够修改的视频相关联的类别或文本消息中的一个。
11.一种用于自定义多媒体消息应用(mma)中的能够修改的视频中的配乐和发型的方法，所述方法包括：经由mma接收能够修改的视频和用户图像，所述用户图像包括面部图像和头发图像；分析所述用户图像以确定所述头发图像是能够修改的；响应于确定，修改所述头发图像并生成用户的另一图像，其中，所述用户的另一图像包括所修改的头发图像和面部图像；并且基于所述用户的另一图像和所述能够修改的视频生成个性化视频，其中，所述个性化视频包括所述用户的另一图像的一部分和所述能够修改的视频的一部分。12.根据权利要求11所述的方法，还包括：基于所述用户在通信聊天中的消息确定所述消息的上下文；基于所述上下文提供配乐列表；经由所述mma提示所述用户从所述配乐列表中选择配乐；确定所述用户已从所述配乐列表中选择所述配乐；以及基于确定，选择性地将所述配乐添加到所述个性化视频。13.根据权利要求12所述的方法，还包括，在添加所述配乐之前，利用所述用户的声音样本修改所述配乐。14.根据权利要求11所述的方法，其中，确定所述头发图像是能够修改的包括：估计发量；以及确定所述发量超过阈值。15.根据权利要求11所述的方法，其中，修改所述头发图像包括改变以下中的一项或多项：头发的质地、头发的长度、头发的颜和发量。16.根据权利要求11所述的方法，其中，修改所述头发图像包括：将所述头发图像与所述用户图像分离；以及将人工神经网络应用于所分离的头发图像。17.根据权利要求11所述的方法，其中，修改所述头发图像包括：将所述头发图像与所述用户图像分离；以及将掩膜应用于所分离的头发图像。18.根据权利要求11所述的方法，其中，修改所述头发图像基于与所述能够修改的视频相关联的类别和文本消息。19.根据权利要求11所述的方法，还包括，在确定所述头发图像是能够修改的之后：生成所述用户的另一图像的列表，其中，所述另一图像包括头发的另一图像和面部图像，头发的另一图像是根据从发型列表中选择的发型修改的头发图像；并且经由所述mma提示所述用户从所述另一图像的列表中选择所述另一图像。20.一种其上存储有指令的非暂时性处理器可读介质，当由一个或多个处理器执行时，所述指令使得所述一个或多个处理器实施用于提供个性化视频的方法，所述方法包括：经由多媒体消息应用(mma)接收能够修改的视频和用户图像，所述用户图像包括面部图像和头发图像；分析所述用户图像以确定所述头发图像是能够修改的；响应于确定，修改所述头发图像并生成用户的另一图像，其中，所述用户的另一图像包
括所修改的头发图像和面部图像；基于所述用户的另一图像和所述能够修改的视频生成个性化视频，其中，所述个性化视频包括所述用户的另一图像的一部分和所述能够修改的视频的一部分。

技术总结

提供了一种用于自定义多媒体消息应用(MMA)的能够修改的视频中的配乐和发型的系统。在一个示例实施例中，该系统包括处理器和存储处理器能够执行的代码的存储器，其中，该处理器被配置为经由MMA接收能够修改的视频和用户图像，用户图像包括面部图像和头发图像；确定该头发图像是能够修改的；修改头发图像并生成另一图像，包括所修改的头发图像和面部图像；基于另一图像和能够修改的视频生成个性化视频，其中，个性化视频包括用户的另一图像的一部分和能够修改的视频的一部分，并基于预定标准将配乐添加到个性化视频。标准将配乐添加到个性化视频。标准将配乐添加到个性化视频。