(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010788063.3
(22)申请日 2020.08.07
(71)申请人 杭州国芯科技股份有限公司
地址 310012 浙江省杭州市文三路90号东
部软件园创新大厦A座5-6层
(72)发明人 刘述琨 江增强 赵波凯
(74)专利代理机构 杭州君度专利代理事务所
(特殊普通合伙) 33240
代理人 朱亚冠
(51)Int.Cl.
H04L 29/08(2006.01)
G10L 25/78(2013.01)
(54)发明名称
(57)摘要
本发明公开了人工智能语音算法自动化测
试方法。现有测试方法需要多次搭建测试环境，
测试场地的需求大，测试周期比较长。本发明首
先录制在各种场景下带有唤醒词的音频文件作
所有的测试用例，创建测试项目配置。提交待测
试项目时，首先在服务器上下载对应的测试项目
配置，将待测试项目的软件和测试项目配置提交
给服务器，测试主机实时查询服务器，如果有新
待测试项目，则将服务器存储的测试项目的软件
和测试项目配置下载到本地，进行测试，实时生
成测试报告并上传至服务器，算法开发人员访问
服务器得到测试报告。本发明场地需求小、测试
周期短，算法开发人员可以自主共享目录提交测
试，
查看测试报告。权利要求书1页 说明书4页CN 111953764 A 2020.11.17
C N 111953764
A
1.人工智能语音算法自动化测试方法，其特征在于：
步骤(1).对于一个新的待测试项目，按照测试标准的规定，录制在各种场景下带有唤醒词的音频文件作为该待测试项目的测试用例，存储在服务器；服务器中保存历史所有待测试项目的测试用例；所述的场景包括环境噪声、声源距离、声源角度；
步骤(2).对所有的测试用例，创建每个测试项目配置；所述的测试项目配置为调用对应测试项目的测试用例在服务器上的路径；
步骤(3).算法开发人员提交待测试项目时，首先在服务器上下载对应的测试项目配置，选择一种或多种需要测试的场景，将待测试项目的软件、选择的场景对应的试项目配置提交给服务器；
步骤(4).测试主机实时查询服务器有无新提交的待测试项目，如果有新待测试项目，则将服务器存储的测试项目的软件、选择的场景对应的测试项目配置下载到本地，进行测试；
步骤(5).测试主机在对新待测试项目进行测试过程中，实时生成测试报告并上传至服务器，直到测试结束；
步骤(6).算法开发人员访问服务器，得到测试报告。
2.如权利要求1所述的人工智能语音算法自动化测试方法，其特征在于，步骤(4)中测试具体方法是：首先将测试项目软件装载到测试主机所连接的被测设备上，然后测试主机根据测试项目配置下载对应的测试用例，将测试用例传入被测设备，音频文件对测试项目软件进行实时测试。
3.如权利要求2所述的人工智能语音算法自动化测试方法，其特征在于：测试主机根据对一个测试项目配置下不同的测试用例，将不同的测试用例分配到不同的被测设备，不同的被测设备同时进行测试。
4.如权利要求3所述的人工智能语音算法自动化测试方法，其特征在于：所述的测试主机通过ADB和串口与多台被测设备连接，同步测试。
5.如权利要求1所述的人工智能语音算法自动化测试方法，其特征在于，所述的服务器通过FTP开放共享目录，算法开发人员和测试主机管理人员能够访问该共享目录。
6.如权利要求5所述的人工智能语音算法自动化测试方法，其特征在于，步骤(4)中测试主机通过FTP实时检测远程共享目录是否有新提交的待测试项目。
7.如权利要求5所述的人工智能语音算法自动化测试方法，其特征在于，步骤(5)中测试主机通过FTP将实时生成测试报告并上传至服务器。
权 利 要 求 书1/1页CN 111953764 A
人工智能语音算法自动化测试方法
技术领域
[0001]本发明属于人工智能技术领域，涉及一种人工智能语音算法自动化测试方法。
背景技术
[0002]AI人工智能技术作为科技发展的前沿，令全球科技界趋之若鹜，如谷歌、苹果、微软、英特尔、及中国的大厂等都将人工智能视为下一个技术引爆点，各式各样的人工智能算法及技术不断涌现。
[0003]在各种人工智能算法中其语音识别算法成了很多设备的标配，但是技术日新月异，升级更新迭代都非常之快，可用于的产品也各式各样，故此对算法的好坏、是否达到商用标准的需求、算法迭代调优、是否有缺陷漏洞都需要算法测试，对其测试需求巨大。但是传统的测试方式有如下问题：
[0004](1).项目运用形态多样，比如车载语音设备，家居智能音箱设备，智能玩具，智能蓝牙耳机设备，各种智能语音的物联网设备等等，这就对测试环境搭建，测试场地，提出更高的要求，每次搭建测试环境都要占用测试人员大量的时间。 [0005](2).每次测试环境的搭建，都会造成测试环境的一定误差，难保证测试环境完全的一致性，比如上次环境和这次环境，在音量调节校准误差，外部噪声的传入，测试房间温度及密封性都会引来环境的改变，这样用于调试软件的时候，很难复现第一次的环境。[0006](3).算法测试场景众多，测试时间长，但是算法迭代快，调优需求大，会造成项目的进度全压在测试这边。
[0007](4).每个项目都会占用一个测试场地，由于是语音算法，不能在同一个测试场地放多个不同的产品。如此多项目多的公司，对测试场地的需求大，投入也加大。
[0008](5).每个算法不是一次测试就结束，后期还需要大量的调试，要大量的测试工作。[0009](6).有些产品测试对经济投入，环境污染及对测试人员的身体影响都较大，比如语音设备，测试人员处于各种恶劣噪声环境下，再比如，车载语音设备，每次测试都要在车内搭建测试环境，开启车载发动机，不利于节能减排，减小经济投入。
[0010](7).测试受限，测试人员工作时间地点，场地占用，测试人员投入等等影响不利于公司产品的研发效率。
发明内容
[0011]本发明的目的就是针对现有技术的不足，提供一种人工智能语音算法自动化测试方法。
[0012]本发明方法具体是：
[0013]步骤(1).对于一个新的待测试项目，按照测试标准的规定，录制在各种场景下带有唤醒词的音频文件作为该待测试项目的测试用例，存储在服务器；服务器中保存历史所有待测试项目的测试用例；所述的场景包括环境噪声、声源距离、声源角度；
[0014]步骤(2).对所有的测试用例，创建每个测试项目配置；所述的测试项目配置为调
用对应测试项目的测试用例在服务器上的路径；
[0015]步骤(3).算法开发人员提交待测试项目时，首先在服务器上下载对应的测试项目配置，选择一种或多种需要测试的场景，将待测试项目的软件、选择的场景对应的试项目配置提交给服务器；
[0016]步骤(4).测试主机实时查询服务器有无新提交的待测试项目，如果有新待测试项目，则将服务器存储的测试项目的软件、选择的场景对应的测试项目配置下载到本地，进行测试；
[0017]步骤(5).测试主机在对新待测试项目进行测试过程中，实时生成测试报告并上传至服务器，直到测试结束；
[0018]步骤(6).算法开发人员访问服务器，得到测试报告。
[0019]进一步，步骤(4)中测试具体方法是：首先将测试项目软件装载到测试主机所连接的被测设备上，然后测试主机根据测试项目配置下载对应的测试用例，将测试用例传入被测设备，音频文件对测试项目软件进行实时测试。
[0020]更进一步，测试主机根据对一个测试项目配置下不同的测试用例，将不同的测试用例分配到不同的被测设备，不同的被测设备同时进行测试。所述的测试主机通过ADB (android debug brige)和串口(Serial Interface)与多台被测设备连接，同步测试，压缩测试时间，提高测试效率。
[0021]进一步，所述的服务器通过FTP(File Transfer Protocol，文件传输协议)开放共享目录，算法开
发人员和测试主机管理人员能够访问该共享目录。
[0022]更进一步，步骤(4)中测试主机通过FTP(File Transfer Protocol，文件传输协议)实时检测远程共享目录是否有新提交的待测试项目，步骤(5)中测试主机通过FTP将实时生成测试报告并上传至服务器。
[0023]虽然测试项目及场景多样，但是本发明采用将测试用例＂喂入＂(feed)算法的方式进行测试，所以测试人员只要新项目开始时，用测试设备按照测试标准，转录测试用例音频文件，上传服务器，添加测试配置，后期不需要重复搭建环境，至此测试人员参与该项目基本结束。
[0024]由于测试用例是转录下来的，后期测试用的都同一个测试用例，保证了每次测试的环境一致，剔除环境改变的影响，只需软件及算法的调整，保证了调试方向的正确。[0025]由于算法测试场景多，传统测试方法耗时长，本发明方法可以连接多台被测设备，实现测试用例分配，多进程同时测试。传统方法需要几天测的测试周期，本发明方法可以压缩为十几分钟，极大提高测试效率。全部过程，开发人员自主共享目录提交测试，查看测试报告，无需测试人员参与，也解决测试人员的工作量大，场地不足的问题。
[0026]使用本发明方法，一个新项目的到来，测试人员只参与前期测试用例音频的录制，故此环境搭建也只有一次，把原来多次的环境搭建压缩到一次。减少测试人员在高噪声、潮湿车库(车载项目)、密
闭静音室等环境下待的时间，保护测试人员的身心健康，及减小测试人员投入、经济投入(车载项目油耗)、测试场地投入，提高测试效率都有极大帮助。还起到了节能减排(车载项目)的效果。
[0027]本发明方法可24小时运行，不受测试人员工作时间，测试地点影响，基本剥离测试人员工作。算法开发、软件开发、提测人员，可以任意时间、任意地点、自主远程提交算法测
试，远程查看测试状态及测试报告，具有测试响应快，测试速度快，报告实时上传等优点，不受测试人员，测试场地，工作时间的影响。
具体实施方式
[0028]以下结合实施例对本发明技术方案做进一步的说明。
[0029]一种人工智能语音算法自动化测试方法，具体是：
[0030]步骤(1).对于一个新的待测试项目，按照测试标准的规定，录制在各种场景下带有唤醒词的音频文件作为该待测试项目的测试用例，存储在服务器；服务器中保存历史所有待测试项目的测试用例；所述的场景包括环境噪声、声源距离、声源角度；
[0031]步骤(2).对所有的测试用例，创建每个测试项目配置；所述的测试项目配置为调用对应测试项目的测试用例在服务器上的路径；
[0032]步骤(3).算法开发人员提交待测试项目时，首先在服务器上下载对应的测试项目配置，选择一种或多种需要测试的场景，将待测试项目的软件、选择的场景对应的试项目配置提交给服务器；服务器通过FTP开放共享目录，算法开发人员和测试主机管理人员能够访问该共享目录；
[0033]步骤(4).测试主机通过FTP实时查询服务器有无新提交的待测试项目，如果有新待测试项目，则将服务器存储的测试项目的软件、选择的场景对应的测试项目配置下载到本地，进行测试；测试具体方法是：首先将测试项目软件装载到测试主机所连接的被测设备上，然后测试主机根据测试项目配置下载对应的测试用例，将测试用例传入被测设备，音频文件对测试项目软件进行实时测试；
[0034]测试主机通过ADB和串口与多台被测设备连接，测试主机根据对一个测试项目配置下不同的测试用例，将不同的测试用例分配到不同的被测设备，不同的被测设备同步测试；
[0035]步骤(5).测试主机在对新待测试项目进行测试过程中，通过FTP实时生成测试报告并上传至服务器，直到测试结束；
[0036]步骤(6).算法开发人员访问服务器，得到测试报告。
[0037]由此，该方法可以实现自动测试，自动生成测试报告，24小时运行，多进程同步测试。主要由三个部分组成，即算法开发人员部分、服务器部分、测试主机部分。
[0038]算法开发人员部分，主要是面向算法软件开发者的一个角，服务器通过FTP开放共享目录，算法开发人员和测试主机管理人员能够访问该共享目录。在其中下载服务器放置的测试项目配置，该文件和需要测试的算法软件一起放置一个文件夹中，打包该文件夹，上传至共享目录指定的路径下就可以触发测试。实现自主远程提交测试，无需通知测试人员参与。
[0039]服务器部分，主要开放一个共享目录存放提交带算法软件测试包、历史提交测试包、当前实时上传的测试日志及测试报告、历史测试日志及测试报告、测试配置文件。内部还存放只有测试主机管理人员才有权限访问测试用例文件。主要流程是：算法开发人员在新项目开启之前，用被测设备转录带测试标准下各个场景带有唤醒词的测试用例音频文件，测试用例存放在服务器的指定位置，并且更新测试配置，至此测试人员工作结束，一个新项目支持完成。测试人员结束后，算法开发人员从共享目录下载最新配置，提交测试。测
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议