AI语音识别和人脸识别技术在电视台媒体资产管理中的应用

行业聚焦
AI倍邑1R棚师八釅iR棚預HI
1關〇膈i m舆r_s[p B n iB i用
1^自动润滑系统
南京广播电视集团程昆
随着南京广电集团新闻网的高清化改造,原有的媒体资产 管理系统已经远远不能满足现有的生产需要。新建的媒资系统 需集视音频素材、节目、稿件、串联单于一体的新闻及生产资 料管理系统。项目建设的生产媒资系统可实现对新闻制作领域 的串联单、节目及视音频素材进行归档/回迁;可对归档/回迁进行详细的统计、计费;支持B/S方式进行资源管理,为新 闻生产、制作节目提供有力的支持,实现资源最大限度的共享,最高效率的利用。
那么对于如何把新的A I智能技术利用到媒资系统中来,提 高媒资编目的效率和审核的正确率,我们做了深入的探索实践。
一、项目背景
AI(Artificial Intel丨igence,人工智能)是研究、开发用于 模拟、延仲和扩展人的智能的理论、方法、技术及应用系统的 _门新的技术科学。A I人工智能技术的诞生,根本目的是为了 取代部分人类的工作,从而达到更好的作业效果,包括:改善 操作者作业环境,减轻工作强度;提高作业质量和工作效率;解决一些危险场合或重点施工应用;环保、节能;提高机器的 自动化程度及智能化水平;提高设备的可靠性,降低维护成本;故障诊断实现智能化等。在广电行业,智能技术的应用目的,同样离不开以上范畴。但目前行业应用还未形成规模,尚处于 起步阶段。
节目审查是广电新闻节目制作播出前的一环,作为节目内 容安全保障的最后一环,在整个节目制作播出中有及其重要的 作用。国家近年反腐力度加大,各级落马官员甚多,仅靠人工 识别敏感人物,审查难度在不断加大。本项目的构建目的就是 希望利用A I人工智能进行智能生产和管理,解决节目审查完 全依靠人力对内容进行逐帧审核、工作量巨大、且有可能遗漏 造成播出事故的业务痛点。
本文重点阐述的就是将A丨语音识别和人脸识别技术应用 于南京电视台媒体资产管理。基于与智能库关键字和图像对比,对入库音视频资料自动记录,对出库音视频资料智能审核。帮 助审查人员定位敏感人物,减少漏报、错报的情况,提高审片 效率,减少审片工作人员的工作量及工作压力。是A I人工智 能在广电行业的新探索,对媒资资产智能化管理具有借鉴意义。
二、A I语音识别和人脸识别技术
在传统广电媒体资产管理中,智能技术的应用还未形成规 模,尚处于起步阶段。南京台的媒资系统创新性地采用了 AI 智能识别技术。通过语音识别技术和人脸识别技术,提取素材 的音频和视频与智能库里的关键字和图像进行对比,识别结果 作为素材入库的编目信息以及出库的审核参考。
语音识别技术是对素材节目进行语音识别,S动将语音转 变成文字元数据,供后续检索,方便用户使用。香皂包装
本项目语音识别技术可对收录内容进行语咅识别提取成文 字,供检索使用。可对媒资系统里汇聚的多源化内容进行智能 提取。采用模型自学习技术,适应多种地区的用户口音。支持 普通话、粵语等多种语言。采用PLP/C M N/HLDA/VTLN/高 斯化等特征提取和处理技术,具备高识别准确率。
药草香人脸识别技术是针对新闻类节目中出现的人物进行识别,可应用于人物出场时间定位、敏感政治人物识别等。本系统的 人脸库可以通过图片文件批量添加人脸数据,也可以通过网络 搜索功能方便快捷的丰富人脸库信息,及时更新人脸库数据,保持人脸库数据的实时性,如图1所示。
本项目人脸识别技术可自动识别视频画面中所有人脸的位 置。针对视频画面中的人脸抽取特征后,用人脸特征模型进行身 份的确认。在检索系统里可直接浏览所有视频人像信息,直接点 击人像定位关键帧位置。提供的人脸特征库支持1000个人像库。
行业聚焦
光碟机图1人脸库的配置界面多功能制水机
5460a三、应用场景
电视台传统的媒资系统的入库和出库的审核都采用纯人工 的方式。对于每个素材中的大量音视频的敏感信息筛查,纯人 工的方式难免会有疏漏和差错,同时由于人力成本的问题导致 大量内容处理存在局限。针对这一问题,南京台的媒资系统创 新性地采用智能化的A I语音识别和人脸识别技术,集合媒体 资产管理场景筛分应用,探索出了适合本台实际需求的媒资入 库、出库流程。
素材入库的时候,会走正常的入库主流程,包括提交、编 目、归档。同时,笔者增加一个媒资入库旁路流程,来完成AI 智能识别功能。语音识别和人脸识别的结果会作为编目信息自 动记录到素材编目元数据中去。整个旁路流程不会影响主流程 的进行,如图2所示。
图2基于A I智能识别技术的媒资入库流程
通过语音识别技术和人脸识别技术,自动提取资料的音频 和视频与智能库里的关键字和图像进行对比。实际应用到媒资 业务界面上看,素材入库后,智能识别的结果可以作为编目信 息自动记录,入库内容自动标注了语音信息和关键人物信息,如图4所示;素材出库时,智能识别的结果罗列出来,
并可以 直接点击识别结果定位关键帧位置,直观的作为审核参考,如 图4。也可以根据实际需要选择再次进行A I语音识别和人脸 识别处理,如图5所示。极大地方便了媒资入库的管理工作,提高了媒资编目和出库审核的正确率和效率,保障了媒体发布 的意识形态安全。
*:-.♦访团
图4基于A I智能识别的媒体资产管理业务界面
媒资出库的时候,如果素材较新、人脸库没有做过更新,出库一审人员可以手动选择不启用A I智能识别出库流程,直接根 据入库的识别信息快速的实现出库;如果素材比较老旧、期间人 脸库又有更新,出库一审人员可以手动选择对素材进行再次智能 识别,更新原有的识别信息,然后走常规的媒资出库审核流程对 素材进行出库。审核期间,若发现存在敏感素材,可打回素材出 库申请,并通知媒资管理员修改素材密级,如图3所示。
图3基于A I智能识别技术的媒资出库流程
图5媒资出库可以按需选择是否再进行A I智能识别
四、结尾与展望
南京台媒体资产管理系统创新性地采用了A I语音识别 技术和人脸识别技术,基于与智能库关键字和图像对比,对入库音视频资料自动记录,对出库音视频资料智能审核。
极大地方便了媒资入库的管理工作,提高了媒资编目和出库审核的正确率和效率,保障了媒体发布的意识形态安全。
对于广电媒体资产智能化管理具有借鉴意义。但是,现有 的基于A丨智能识别的媒体资产管理系统还存在识别准确度 不高以及识别效率较低等问题,将是今后笔者继续研究和优化的方向。_
51老视工歿
TELEVISION ENGINEERING

本文发布于:2024-09-22 17:33:56,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/1/308639.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:识别   技术   媒资   智能   素材
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议