(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202210726563.3
(22)申请日 2022.06.24
(71)申请人 北京华录新媒信息技术有限公司厕所除臭机
地址 100043 北京市石景山区阜石路165号
院1号楼14层1410
(72)发明人 王浩 张雄飞 吴蕾 刘海军
张仲广
(74)专利代理机构 北京力量专利代理事务所
(特殊普通合伙) 11504
专利代理师 毛雨田
(51)Int.Cl.
G06T 11/60(2006.01)
G06F 16/51(2019.01)
G06F 16/532(2019.01)
G06F 40/268(2020.01)
G06F 40/289(2020.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称自主创作型的数字艺术的生成方法、系统、存储介质及电子设备(57)摘要本发明提供自主创作的数字艺术的生成方法、系统、存储介质和电子设备，包括如下步骤：获取艺术作品和对应的设计说明一并存储至系统；提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集；对特征子集进行语义解析后生成语义描述和艺术特征模型；通过艺术特征模型检索图片艺术素材；对图片艺术素材执行编辑后，根据预设评测标准生成多个方案；选择符合需求的方案进行发布。本发明配合人工智能的创作与检索的能力，通过向成熟数字艺术作品的学习，使得最终呈现出既具有用户思想，又符合艺术特征的完整 的艺术作品。权利要求书4页 说明书10页 附图3页CN 115115745 A 2022.09.27
C N 115115745
A
1.自主创作型的数字艺术生成方法，其特征在于，包括用户制作和CPArtist创编；
所述用户制作包括如下步骤：
获取来自用户由本地上传的图片数据、音乐数据以及两者对应的设计说明存储至系统，或者
在线提供包括画笔、橡皮擦和颜绘画因子的在线绘制和绘画因子控制，将用户在线绘制后产生的艺术作品和对应的设计说明一并存储至系统；
所述CPArtist创编包括如下步骤：
提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集；
对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型；
通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材；
对图片艺术素材执行编辑后，根据预设评测标准生成多个方案；
选择符合需求的方案进行发布。
2.根据权利要求1所述的自主创作型的数字艺术生成方法，其特征在于，所述绘画因子控制具体包括：
生成基于设计文字说明的图片样本特征；
预处理图片样本特征以减少计算量；
收集关于图片样本特征的图像数据，建立对应的数据库和图像索引；
通过卷积神经网络对数据库进行训练后，从图像索引中检索预定数量的预选图片；
构建基于生成对抗网络的外边界生成算法，基于keras框架利用深度卷积对抗网络CGAN算法对MNIST数据集实现图像生成，根据外边界图形稀疏性得到特征修改损失函数；
Maix(x,y)＝minGmaXDΞx，y[logD(x，y)]，Gx(x,y)＝Ξx[log1‑D(x，G(x))]
LcGAN(x，y)＝Maix(x,y)+Gx(x,y)
其中x是条件y是映射之后的图片，G表示生成器，D表示辨别器，G(x)表示生成器基于条件x生成样本，D(x,y)表示判别器样本(x,y)为真实样本概率，E表示K‑means分布,Maix表示最大最小优化值，Gx表示噪点数据期望值；
根据外边界图形稀疏性，修改损失函数公式为：
其中，m是条件，n是映射之后的输出边界概括图，M为输出样本总数，λ为比率超参，LcGAN表示根据条件mi生成的样本nj的标准生成对抗网络损失。损失函数的第一项为平均值让生成对抗网络平等对待所有的目标图形；第二项为最小值则让生成对抗网络趋向于生成效果最好的图片并防止图片的模糊；
生成绘画辅助图形。
3.根据权利要求2所述的自主创作型的数字艺术生成方法，其特征在于，提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集，具体为：
对文字素材进行预处理：若音乐素材有歌词先将歌词提取出来，并和相对应的设计说明文字一起进行分词处理，提取关键词信息，使得每张素材图片都包含几个相对应的标签；
把给定的文本T按照完整句子进行分割，即:T＝[S 1,S 2,...,S n ]；
对于每个句子，进行分词和词性标注处理，并过滤掉停用词；
构建候选关键词图模型G＝(V ,E)，将文本分割后的若干词汇单元，添加到图模型中，构成节点；
通过确定文本中词语位置、词性和领域特征的权重分配，利用词性、词语长度、TFIDF值等关键词特征，通过多特征融合得出综合权重并初始化各节点的权重；
通过下述公式迭代计算各节点的权重，直至收敛；
式中，d为阻尼因子(0≤d≤1)，通常取值为0.85，表示图中任意一个节点跳转到其他节点的概率值；In(V i )表示指向节点V i 的所有节点的集合；Out(V j )表示节点V j 指向的所有节点的集合；
离子接地棒对节点权重进行倒序排序，从而得到最重要的n个单词，作为候选标签；若形成相邻词组，则组合成多词标签；
对音乐素材进行预处理：对剩余纯音乐的素材进行视觉语言转换，将音乐分成五个部分，包括音、
节奏、旋律、和声和调式，将音乐元素分别定义为彩、点线面、视觉元素的高低变化和图形符号，捕捉音乐元素与视觉语言关素之间的关联，将音乐元素转换为图片元素；
基于CLIP提取音频元素，采用对比损失进行特征提取，添加多层感知作为投影层；交叉投影损失函数如下：
CLoss＝L(f(Image),Audio)+L(Image ,g(Audio)))
其中，△f/g：投影函数，L：对比损失函数
对图片素材进行预处理：对图片通过双边滤波算法去除噪声信号，进行特征提取；
对调与彩搭配的提取：计算输入的图片中所有像素点的像素均值；将颜空间划分为多个颜区域，根据每个像素点的像素值，分别确定每个像素点所属的颜空间中的颜区域；
对图像特征的提取：对亮度、边缘、纹理等进行提取，通过变换处理模块，对形状、直方图以及主成份等进行提取；
将图像划分为PXQ个分区(partition)，对子图像区域进行描绘函数，得到这些区域的n 个特征向量；
对子图像区域进行直方图统计特征，通过描述图像中像素灰度级的分布，有力地描述出纹理的固有特征，得到相应的特征向量；
对子图像区域进行灰度共现矩阵，通过描述具有空间位置关系的两个像素的联合分布，得到相应的特征向量；
通过线性组合变换将n个特征向量组合成一个新的特征子集。
4.根据权利要求3所述的自主创作型的数字艺术生成方法，其特征在于，对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型，具体为：
将新的特征子集作为图像的全局信息输送到解析处理模型，通过对图像语义解析，将用户的潜在意图文字化处理，结合图像特征，形成更全面的艺术特征模型；解析处理模型采用双层全卷织神经网络；
接收信息后，分别进行独立和线性叠加两个环节的结果预测，生成语义描述；
将语义描述与提取的特征子集按权重占比进行组合，得到多个艺术特征模型。
5.根据权利要求4所述的自主创作型的数字艺术生成方法，其特征在于，通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材，具体为：
使用艺术特征模型从图片艺术素材库中检索匹配最高的预设数量的参考图片；
根据所述预设数量的参考图片，获取艺术特征模型的评测指标；
在所述艺术特征模型的评测指标满足预设条件的情况下，选择所述艺术特征模型作为搜索模型；
在所述艺术特征模型的评测不满足预设条件的情况下，使用深度学习模型从图片艺术素材库中检索匹配度最高的预设数量的参考图片，若匹配度仍低于70％，则检索中止，进入人工处理此模型；
检索出匹配度高度70％的预设数量的图片艺术素材后执行下一步骤。
6.根据权利要求5所述的自主创作型的数字艺术生成方法，其特征在于，所述对图片艺术素材执行编辑后，根据预设评测标准生成多个方案，具体为：
新建与原素材同等大小的画布，上传原素材图与数据库中匹配图，并进行像素坐标定位点；液压冷却系统
通过艺术特征模型，对原始素材层进行智能优化模型；
编辑至少四个动作预设，包括大小动作、裁剪动作、遮挡动作、矫正动作；
编辑至少三个系统模块，包括光效、彩及细节、识别亮度、对比度、高光和暗部的阀值，并进行智
能调节；
制作奖章为图片添加锐化动作、添加质感动作，即可完成图片优化；
根据预设评测标准输出不同权重的图片结果，综合评测至少三个方案，提供给用户端。
超高压电容7.根据权利要求6所述的自主创作型的数字艺术生成方法，其特征在于，选择符合方案进行发布时，用户执行编辑发布，编辑过程包括添加文字、边框、贴纸及编码。
8.一种自主创作型的数字艺术生成系统，其特征在于，包括：
用户制作模块；
所述用户制作模块包括本地上传子模块和在线制作子模块；
所述本地上传子模块获取来自用户由本地上传的图片数据、音乐数据以及两者对应的设计说明存储至系统；
所述在线制作子模块提供包括画笔、橡皮擦和颜绘画因子的在线绘制和绘画因子控
制，将用户在线绘制后产生的艺术作品和对应的设计说明一并存储至系统；
音箱的制作
CPArtist模块；
所述CPArtist模块包括特征提取模块、表达意图探索模块、公共领域素材获取模块、可行性创作模块和用户决策推送模块；
所述特征提取模块提取在所述制作过程中存储的艺术作品和设计说明的文字、音频及图像特征，组合为特征子集；
所述表达意图探索模块用于对特征子集进行语义解析后生成语义描述，将语义描述与特征自己按照权重占比组合后，得到多个艺术特征模型；
所述公共领域素材获取模块通过艺术特征模型检索匹配度最高的预设数量的参考图片，生成评测指标，根据评测指标选择一个所述艺术特征模型作为搜索模型，通过所述搜索模型检索匹配度高于预设值的图片艺术素材；
所述可行性创作模块用于对图片艺术素材执行编辑后，根据预设评测标准生成多个方案；
所述用户决策推送模块用于根据评测标准及自身喜好选择方案后进行发布。
9.一种计算机存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1‑7任一所述的自主创作型的数字艺术生成方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器用于执行上述权利要求1‑7任一所述的自主创作型的数字艺术生成方法。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议