信息处理装置以及信息处理方法与流程

1.本公开涉及一种信息处理装置以及信息处理方法。

背景技术：

2.以往，存在下述系统，即：为了向用户进行显示而将音频文件(audio file)的多媒体演示(multimedia presentation)分发给计算设备(computing device)，进而用户可对照多媒体演示来演奏乐器(例如参照专利文献1)。而且，存在下述音乐播放器，即：从选自内容类别列表中的内容的链接目的地，下载可扩展标记语言(extensible markup language，xml)文件，此xml文件记载有与音效器(effector)执行的处理有关的控制信息和其执行时刻的信息，当乐曲数据的播放位置成为执行时刻时，由音效器执行所指定的音效处理(例如参照专利文献2)。
3.现有技术文献
4.专利文献
5.专利文献1：日本专利特表2005-510763号公报
6.专利文献2：日本专利特开2008-191546号公报

技术实现要素：

7.发明所要解决的问题
8.本公开的目的在于提供一种信息处理装置以及信息处理方法，可设定从乐曲的播放时间的所需时刻起以所需音进行播放的信息。
9.解决问题的技术手段
10.本公开的一实施例为一种信息处理装置，包括：控制部，受理表示乐曲的播放时间中的一个或两个以上的时刻的信息的输入，且生成包含与从所述一个或两个以上的时刻各自起进行的音控制有关的信息的文件；以及发送部，针对输出所述乐曲的播放音与乐器的演奏音的合成音的装置，发送所述乐曲的声音信号、和所述文件中的与所述音控制有关的信息。
11.本公开的一实施例也可包含：具有与信息处理装置同样的特征的信息处理方法、程序、记录有程序的记录介质、及包含信息处理装置和装置(音控制装置)的信息处理系统等。
附图说明
12.[图1]图1表示信息处理系统的结构例。
[0013]
[图2]图2表示有声视频的播放画面的画面显示例。
[0014]
[图3]图3表示标记(marker)的编辑画面的画面显示例。
[0015]
[图4]图4表示合奏文件(session file)的数据结构例。
[0016]
[图5]图5表示信息处理装置的结构例。
[0017]
[图6]图6为表示信息处理装置的处理器进行的处理例的流程图。
[0018]
[图7]图7为表示信息处理装置的处理器进行的处理例的流程图。
[0019]
[图8]图8表示音控制装置的外观结构。
[0020]
[图9]图9表示音控制装置的电路结构。
[0021]
[图10]图10为信息处理装置和音控制装置的动作说明图。
[0022]
[图11]图11为信息处理装置和音控制装置的动作说明图。
[0023]
[图12]图12为信息处理装置和音控制装置的动作说明图。
[0024]
[图13]图13为表示变形例的信息处理装置的处理器进行的处理例的流程图。
[0025]
[图14]图14为表示变形例的信息处理装置的处理器进行的处理例的流程图。
[0026]
[图15]图15为表示变形例的信息处理装置的处理器进行的处理例的流程图。
具体实施方式
[0027]
实施方式中，对包含以下部分的信息处理装置进行说明。
[0028]
(1)控制部，受理表示乐曲的播放时间中的一个或两个以上的时刻的信息的输入，且生成包含与从一个或两个以上的时刻各自起进行的音控制有关的信息的文件。
[0029]
(2)发送部，针对输出乐曲的播放音与乐器的演奏音的合成音的装置，发送乐曲的声音信号、和文件中的与音控制有关的信息。
[0030]
根据信息处理装置，受理乐曲的播放时间中的一个或两个以上的时刻的输入、及与各时刻对应的和音控制有关的信息。因此，信息处理装置的用户可进行下述设定，即：关于自身所需的各时刻，进行所需的音控制。另外，乐曲的声音信号、和与声音控制有关的信息，被发送至输出乐曲的播放音与乐器的演奏音的合成音的装置。由此，装置中，可对乐曲的播放音与乐器的演奏音中的至少一者实施声音控制。“声音控制”包括通过声音信号的加工使音波的波形变化，包含对声音信号的音效(effect)的赋予、及将电吉他(electric guitar)的演奏音的声音信号加工成连接于规定的吉他放大器(guitar amplifier)时的模拟音。音控制和音效包含颤音(vibrato)、震音(tremolo)、混音(reverb)、合声(chorus)、延迟(delay)、过载(overdrive)/失真(distortion)等。
[0031]
〔实施方式〕
[0032]
以下，参照附图对实施方式的信息处理装置及信息处理方法以及程序进行说明。实施方式的结构为例示，不限定于实施方式的结构。
[0033]
＜信息处理系统＞
[0034]
图1表示包含信息处理装置的信息处理系统的结构例。信息处理系统用于由信息处理系统的用户将乐曲的播放音作为伴奏来练习乐器的演奏。
[0035]
信息处理系统包含信息处理装置20、可与信息处理装置20通信的音控制装置10、以及经由网络1与信息处理装置20连接的第一服务器2和第二服务器3。音控制装置10为输出乐曲的播放音与乐器的演奏音的合成音的装置的一例。
[0036]
网络1为国际互联网(internet)、长期演进(long term evolution，lte)、第五代移动通信技术(5th generation mobile communication technology，5g)等公网(广域网(wide area network，wan))、或内联网(intranet)等。网络1也可包含无线区间。第一服务器2可管理与乐器练习用的乐曲有关的信息，并供给于信息处理装置20。
[0037]
第二服务器3可管理向用户7提供的练习用的乐曲的数据，并供给于信息处理装置20。信息处理装置20将基于乐曲的数据的声音信号、和与从乐曲的播放时间中的所需时机(时刻)起进行的音控制有关的信息发送至音控制装置10。
[0038]
作为乐器的一例的电吉他6及头戴式耳机(headphone)5，被连接于音控制装置10。头戴式耳机5由用户7佩戴，电吉他6由用户7演奏。此外，乐器也可为电吉他6以外的乐器(贝斯等弦乐器、钢琴等键盘乐器、鼓等打击乐器、萨克斯(saxophone)等吹奏乐器)。乐器可为电子乐器也可为原声乐器(acoustic)，只要成为将与通过演奏所产生的演奏音对应的电信号输入至音控制装置10的结构即可。
[0039]
音控制装置10为可将合成音输出至头戴式耳机5的装置，所述合成音是将乐曲的播放音与乐器(电吉他6)的演奏音合成而得。用户7可通过听取来自头戴式耳机5的声音，从而进行自身演奏的电吉他6、与乐曲的播放音(其他乐器的演奏音)的合奏的练习。
[0040]
当输出合成音时，音控制装置10接收从信息处理装置发送的乐曲的声音信号、及与各时刻对应的和音控制有关的信息，基于与音控制有关的信息，对乐曲的播放音与乐器的演奏音中的至少一者进行音控制，即对声音信号进行加工。
[0041]
信息处理装置20为具有通信功能的信息终端，为包含个人计算机(personal computer)、智能手机(smartphone)及平板终端等的专用或通用的计算机(计算设备(computing device))。信息处理装置20可为固定终端也可为移动终端。本实施方式中，设想信息处理装置20为智能手机。
[0042]
在信息处理装置20，安装有利用信息处理系统的、乐器练习用的应用程序(application program)(以下称为练习用应用(app))。通过执行练习用应用，信息处理装置20生成用户7称为合奏文件的文件所含的信息，向用户7提供在第一服务器2注册合奏文件的环境。
[0043]
信息处理装置20从第一服务器2接收多个练习用的乐曲的列表。列表中，包含：作为表示各乐曲的文件(乐曲文件)的保存位置的信息的统一资源定位器(uniform resource locator，url)。信息处理装置20根据用户7的乐曲的选择结果，使用所选择的乐曲的url访问第二服务器3，获取保管于第二服务器3的乐曲数据。
[0044]
第二服务器3为油管(youtube，注册商标)等提供视频供给服务或视频分发服务的服务器。乐曲数据的文件形式并无限制。本实施方式中，乐曲数据以有声视频文件的形式提供。有声视频文件的文件形式例如为“.快时间(quicktime)封装格式(mov)”、“动态图像专家组4(moving pictures experts group 4，mpeg4)”、“.使用mpeg-4的多媒体档案格式(mpeg-4part 14，mp4)”、“.音频视频交错(audio video interleaved，avi)”、“.窗口媒体视频(windows media video，wmv)”等。但是，文件形式不限制于所述例示。而且，乐曲数据的文件无需为有声视频文件，乐曲的文件也可为声音文件。
[0045]
从第二服务器3将视频流和音频流作为基于有声视频文件的视频数据和乐曲数据，而输入至信息处理装置20。信息处理装置20可将基于视频流的视频信号送至显示器25(“显示装置”的一例)，将基于视频流的图像(视频)显示于显示器25。另一方面，信息处理装置20将基于音频流的声音信号(音频信号)发送至音控制装置10。
[0046]
此外，所述示例中，说明了有声视频文件的流式播放，但也可为下载播放。而且，也可采用下述结构而省略第二服务器3，即：将乐曲数据的文件预先存储于信息处理装置20可
访问的存储装置，从所述存储装置获取乐曲数据。此时，代替url，而将存储器的地址等用作表示乐曲数据的保存位置的信息。
[0047]
乐曲(有声视频)的播放、暂停、倒退、快进等播放控制，可通过用户7操作由信息处理装置20提供的用户接口(ui)而进行。
[0048]
而且，信息处理装置20也可在用户7操作了音控制装置10所具有的操作件(按钮、开关、凸钮等)的情况下，从音控制装置10受理自音控制装置10发送至信息处理装置20的播放控制的信息，进行乐曲的播放控制。
[0049]
在显示器25，显示包含有声视频的播放画面25a、和标记的编辑画面25b的各种画面。图2表示有声视频的播放画面25a的画面显示例，图3表示标记的编辑画面25b的画面显示例。播放画面25a和编辑画面25b通过执行练习用应用而显示。但是，播放画面25a和编辑画面25b也可由安装于信息处理装置20的网页(web)浏览器提供。
[0050]
在播放画面25a的上段，显示选自乐曲列表中的乐曲的名称(图2中为“摇滚曲1(song rock 1)”)251，在其下方设有视频的显示区域251。在视频的显示区域251，显示使用乐曲的url从第二服务器3获取的有声视频的初始画面，通过输入播放指示而开始播放。作为播放的视频，例如也可显示表示电吉他的按弦方法的、课程用的影像。但是，视频的内容并无限制，也可为静止图像。而且，在乐曲的文件为声音文件的情况下，在显示区域251中不进行任何显示，或显示预先准备的图像。
[0051]
在视频的显示区域251的下方，显示表示有声视频(乐曲)的播放时间的拖动条(seek bar)252，在拖动条252的左侧(周边)，显示播放时间的当前时刻(播放时刻)。
[0052]
在拖动条252的下方，显示用于进行有声视频的播放、暂停、倒退、快进的操作(播放控制)的ui 253。图2所示的ui 253从右向左依次包含表示快进、播放、倒退、倒退到乐曲开头的符号(symbol)，各符号作为对应操作的按钮发挥功能。若在有声视频的初始画面显示于显示区域251的状态下按下表示播放的符号(播放按钮)，则开始播放有声视频。此时，显示从表示播放的符号切换为表示暂停(pause)的符号，若按下暂停的符号，则暂停播放有声视频。此时，暂停符号的显示再次切换为播放符号的显示。这样，交替显示播放按钮和暂停按钮。
[0053]
在ui 253的下方，显示对乐曲所设定的标记的列表255。标记表示乐曲的音控制的开始点。图2所示的示例中，对乐曲设定有三个标记，示出每个标记的记录。
[0054]
第一个(第一)标记是名称为“前奏(intro)”的标记，设定了有声视频的播放时间中的时刻“00：00”和存储器编号。存储器编号为指定用于将声音信号加工成规定的(用户7所需的)音的参数(音参数)的集合(set)的信息，为“与音控制有关的信息”的一例。音参数的集合的信息存储于音控制装置10所具有的存储器(存储装置102)的存储区域，存储器编号表示音参数的集合的数据的保存位置(地址)，并且作为音参数的集合的标识符发挥作用。例如，与时刻“00：00”对应的存储器编号“01”，表示适用于从时刻“00：00”起的音控制的音参数的集合。此外，音参数的集合也有时称为“补丁(patch)”。
[0055]
第二个(第二)标记是名称为“伴奏和弦(backing chord)”的标记。对于第二标记，设定了有声视频的播放时间中的时刻“00：10”、和与时刻“00：10”对应的存储器编号“02”。
[0056]
第三个(第三)标记是名称为“独奏(solo crunch)”的标记。对于第三标记，设定了有声视频的播放时间中的时刻“00：33”、和与时刻“00：33”对应的存储器编号“08”。
[0057]
在标记的列表255中，标记的记录分别以时刻、名称、存储器编号的顺序显示，在右端显示表示向编辑画面25b(图3)的切换的符号259。若按下符号259，则将编辑对应标记的编辑画面25b显示于显示器25。
[0058]
图3中，标记的编辑画面25b的上段与播放画面25a同样，为进行有声视频(乐曲)的阅览和播放控制的画面。在编辑画面25b的下段，显示用于编辑从播放画面25a中的标记的列表255中选择的标记的记录的画面。即，显示了时刻(time)的输入栏261、标记名(marker name)的输入栏262、存储器编号(memory number)的输入栏263、输入事项的确定按钮(“确定(ok)”按钮)264和取消(cancel)按钮265。
[0059]
若按下确定(ok)按钮，则显示切换为播放画面25a，使用输入栏261～263所设定的时刻、标记名、存储器编号的确定内容，显示于标记的列表255。
[0060]
而且，在拖动条252，显示标记的符号254。标记的符号254表示拖动条252所示的乐曲的播放时间中的时刻的相对位置。标记的符号254中，与因播放时刻经过而使用结束(切换为其他)的存储器编号对应的标记的符号254、和与当前使用中的存储器编号对应的标记的符号254以不同形态显示。图2所示的示例中，存储器编号的使用结束的符号254由未涂满的椭圆表示，与使用中的存储器编号对应的符号254由涂满的椭圆表示。
[0061]
播放画面25a中，在标记的列表255的下方，设有存储器编号的编辑按钮256。若按下编辑按钮256，则存储器编号的编辑画面(“音控制内容的编辑画面”的一例)显示于显示器25。用户7可使用编辑画面来编辑与时刻对应(对时刻分配)的存储器编号(音参数的集合)。此时，用户7可使用显示于编辑画面的ui与音控制装置10包括的操作件中的一者，编辑存储器编号。即，信息处理装置20可将音控制内容的编辑画面显示于显示器25，受理从音控制装置10发送至信息处理装置20的表示音控制的内容的信息。信息处理装置20与音控制装置10进行通信，信息处理装置20中的ui的操作状态、与音控制装置10的操作件的操作状态取得同步。
[0062]
而且，若按下位于标记的列表255的下方的按钮257，则显示预先制作的存储器编号的列表，用户7也可从存储器编号的列表中确认对时刻分配的存储器编号。
[0063]
通过对乐曲设定一个或两个以上的标记，信息处理装置20生成包含标记的设定结果的文件(称为合奏文件)。图4表示合奏文件的数据结构例。合奏文件是针对每个乐曲生成，即针对每个包含乐曲的有声视频文件生成。合奏文件包含乐曲或乐曲文件的名称、作为表示乐曲文件的保存位置的信息的url、和表示对乐曲设定有一个或两个以上的标记的信息。
[0064]
作为标记的信息，存储有标记名、表示乐曲的播放时间中的时刻(由用户7任意设定)的信息、和存储器编号，所述存储器编号即下述信息：作为表示从所述时刻起适用的音控制的信息的、表示音参数的集合的信息。图4所示的示例中，例示对一个乐曲设定有三个标记的情况。本实施方式中，对一个乐曲设定有一个url，乐曲文件由url唯一地决定。
[0065]
而且，信息处理装置20通过执行练习用应用，从而提供下述环境，即：使用由用户7在第一服务器2注册的合奏文件所含的信息、从第二服务器3提供的乐曲数据、和音控制装置10，进行利用乐曲的播放音的带伴奏的电吉他6的练习。
[0066]
例如，若在显示有标记的设定已完成的播放画面25a，且有声视频文件的播放待机的状态下，用户7按下音控制装置10所包括的播放按钮，则有声视频文件的播放指示被发
送至信息处理装置20。信息处理装置20若接收播放指示，则开始播放有声视频文件，进行在播放画面25a的显示区域251显示播放图像的处理、和向音控制装置10发送基于乐曲数据的声音信号的处理。
[0067]
信息处理装置20根据声音信号的发送，在对乐曲设定的一个或两个以上的标记各自的时刻到来之前，将与时刻对应的存储器编号的信息(音参数的集合)发送至音控制装置10。音控制装置10具有：存储了存储器编号的信息的存储器，音参数的集合的信息被存储于合奏文件中设定的存储器编号所示的存储区域。
[0068]
若对标记所设定的时刻到来，则音控制装置10使用与所述时刻对应的存储器编号的音参数的集合进行声音控制，即进行声音信号的加工。例如，音控制装置10进行电吉他6的演奏音的加工，将使经加工的电吉他6的演奏音与乐曲的播放音合成(混合)而得的乐音信号连接于头戴式耳机5。由此，用户7可听取以所需时机变更了音的电吉他6的演奏音。此外，基于存储器编号的音参数的集合的声音信号的加工，也可对乐曲的播放音、或电吉他6的演奏音与乐曲的播放音的合成音进行。
[0069]
＜信息处理装置＞
[0070]
图5表示信息处理装置20的结构例。图5中，信息处理装置20包含：连接于总线(bus)26的处理器(processor)21、存储装置22、通信接口(通信if)23、输入装置24、显示器25和无线通信if 27。处理器21为控制部(控制装置、控制器)的一例，通信if 23和无线通信if 27分别为发送部(发送装置、发送机)的一例。
[0071]
存储装置22为只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、硬盘驱动器(hard disc drive，hdd)、固态驱动器(solid state drive，ssd)、快闪存储器(flash memory)和电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)等。存储装置22用作数据和程序的存储区域、处理器21的作业区域、通信数据的缓冲区域等。
[0072]
通信if 23例如为网络接口卡(network interface card，nic)，用于经由网络1的数据收发。输入装置24为键、按钮、点击设备(pointing device，鼠标等)、触摸屏、凸钮和开关等，用于信息和数据的输入。显示器25例如为液晶显示器(liquid crystal display，lcd)，用于信息的显示。无线通信if 27为按照规定的无线通信标准的无线通信电路。本实施方式中，无线通信if 27支持蓝牙(bluetooth)和蓝牙低功耗(bluetooth low energy，ble)，用于与音控制装置10的无线通信。此外，信息处理装置20可经由通用串行总线(universal serial bus，usb)与音控制装置10收发数据。
[0073]
处理器21例如为中央处理器(central processing unit，cpu)，执行包含操作系统(operating system，os)及练习用应用的各种程序。处理器21通过执行练习用应用，从而进行下述处理，即：提供生成和保存合奏文件的环境的处理、及按照合奏文件将声音信号和存储器编号的信息供给于音控制装置10的处理。
[0074]
图6及图7为表示信息处理装置20的处理器21进行的处理例的流程图，对处理器21执行所述练习用应用的情况的动作进行说明。处理器21若启动练习用应用，则访问第一服务器2，从第一服务器2获取乐曲列表(步骤s001)。即，处理器21向第一服务器2生成请求提供乐曲列表的消息。通信if 23发送消息，作为消息的响应而从第一服务器2接收乐曲列表。处理器21获得通信if 23所接收的乐曲列表。
[0075]
步骤s002中，处理器21将乐曲列表的画面显示于显示器25，受理用户7使用输入装置24进行的乐曲的选择结果的输入。
[0076]
步骤s003中，处理器21从第一服务器2获取所选择的乐曲的合奏文件。即，处理器21生成请求提供合奏文件的消息，所述请求提供合奏文件的消息包含：乐曲的选择结果、和作为用户7的识别信息的用户id。通信if 23将请求提供的消息发送至第一服务器2。第一服务器2从存储装置读出与消息所含的用户id和乐曲对应的合奏文件，并发送至信息处理装置20。处理器21经由通信if 23获取合奏文件。关于此时接收的合奏文件，在用户7未进行对乐曲的标记设定的情况下，合奏文件包含乐曲名和url，但与标记有关的信息(时刻、标记名、存储器编号)为未编辑的状态。
[0077]
步骤s004中，处理器21使用合奏文件中的url访问第二服务器3，接受乐曲的有声视频文件的提供。此时，有声视频文件的播放方法可为流式播放，也可为下载播放。在存储装置22中存在以往下载的有声视频文件的情况下，也可跳过对第二服务器3的访问。
[0078]
步骤s005中，处理器21将乐曲、即有声视频的播放画面25a(图2)显示于显示器。播放画面25中，在显示区域251显示的视频为视频共享服务(例如油管(youtube，注册商标))的嵌入视频，视频的播放控制(即，视频的播放、暂停、倒退、快进等播放控制)的信息使用视频共享服务的应用程序编程接口(application programming interface，api)传递至从第二服务器3供给的视频播放软件，由视频播放软件进行播放控制。显示区域251中，以使播放指示待机的状态显示有声视频的初始画面。
[0079]
步骤s006中，处理器21判定是否需要进行针对乐曲的、标记与存储器编号中的至少一者的编辑(设定)。是否需要编辑例如根据有无按下编辑按钮256来判定。此处，在判定为需要编辑的情况下，处理进入步骤s007，在并非如此的情况下，处理进入步骤s009。
[0080]
步骤s007中，处理器21将标记的编辑画面25b显示于显示器25，让用户7进行标记的编辑。用户7可使用ui 253或音控制装置10的操作件来播放有声视频，可从连接于音控制装置10的头戴式耳机5听取乐曲，决定要设定标记的所需时刻，进行标记的编辑。此时，视需要也可进行存储器编号的编辑、或现有的存储器编号的选择。通过编辑而决定针对乐曲的一个或两个以上的标记(时刻、标记名、存储器编号)。
[0081]
步骤s008中，处理器21进行合奏文件的更新，使所决定的标记的信息包含于合奏文件。而且，处理器21进行经更新的合奏文件的注册处理。例如，处理器21生成请求注册合奏文件的消息，经由通信if 23发送至第一服务器2。第一服务器2基于注册请求，将合奏文件与用户id关联地存储(注册)于第一服务器2管理的存储装置。由此，将合奏文件保存于第一服务器2(云端)。此外，合奏文件也可存储(保存)于存储装置22、或连接于信息处理装置20的usb存储器等。若步骤s008结束，则处理回到步骤s005，显示播放画面25a。
[0082]
步骤s009中，处理器21判定有无输入播放指示。有无输入播放指示例如根据有无按下ui 253中的播放按钮、或音控制装置10的操作件(播放按钮)来判定。在判定为有输入播放指示的情况下，处理进入步骤s010，在并非如此的情况下，处理回到步骤s005。如此，成为下述状态，即：在显示有播放画面25a的状态下，等待编辑按钮256或播放按钮被按下。
[0083]
步骤s010中，处理器接收播放指示，将与最初的(第一)标记对应的存储器编号的信息发送至音控制装置10。其原因在于，有时如图2所示的第一标记那样，时刻与播放开始同时到来。音控制装置10中，分配有存储器编号的音参数的集合的信息，被存储于与
存储器编号对应的存储区域，用于从对标记所设定的时刻起适用的声音的加工。
[0084]
步骤s010结束后，处理器21例如等待规定的计时器(timer)到时，音控制装置10中，等待成为下述状态，即：可使用与第一标记对应的存储器编号的音参数的集合进行音处理(声音信号的加工)。步骤s011中，处理器21向视频播放的软件供给播放指示，进行有声视频播放。由此，在显示区域251中显示视频，并且向音控制装置10发送声音信号。
[0085]
步骤s012中，处理器21判定最近的标记的时刻是否到来。在判定为时刻到来的情况下，处理进入步骤s013，在并非如此的情况下，处理回到步骤s011。
[0086]
步骤s013中，处理器21将合奏文件中的与下一标记对应的存储器编号的信息，发送至音控制装置10。音控制装置10中，与下一标记对应的存储器编号的信息被存储于对应的存储器编号的存储区域，若对下一标记设定的时刻到来，则以立刻切换音的方式进行对数字信号处理器(digital signal processor，dsp)的设定。
[0087]
步骤s014中，处理器21判定有声视频的播放是否结束。在判定为播放结束的情况下，处理进入步骤s015，在并非如此的情况下，处理回到步骤s011。步骤s015中，进行练习用应用的结束判定。在判定为结束练习用应用的情况下，图6和图7的处理结束，在并非如此的情况下，处理回到步骤s005。
[0088]
此外，在步骤s011的播放处理中，通过用户的操作进行了有声视频文件的暂停、快进、倒退的操作的情况下，对视频播放用的软件给予这些指示，进行暂停、快进、倒退的处理。此外，本实施方式中，也可进行规定时间(10秒钟)的倒退等操作。与此操作有关的处理将在下文描述。此外，图7的处理例中，步骤s010的处理以输入播放指示为契机而进行，但步骤s010的处理也能以选择乐曲(确定选择)为契机而执行。
[0089]
＜音控制装置＞
[0090]
图8表示音控制装置的外观结构，图9表示音控制装置的电路结构。图8中表示音控制装置10的正面，在正面的上侧，配置有用于设定与声音控制有关的信息(存储器编号)的第一操作件10a和显示器11，在下侧配置有第二操作件10b，此第二操作件10b用于操作乐曲、即有声视频文件的播放控制。
[0091]
用于设定存储器编号的第一操作件10a包含：凸钮12、13a、13b、13c和按钮14a、14b、14c。显示器11为显示存储器编号的七段(seven segment)方式的显示器。凸钮12为用于变更显示器11的显示内容的旋钮。凸钮13a、13b、13c为用于设定音(select)的旋钮，用于设定增益(gain)、电平(level)和混音(reverb)的值。但是，凸钮13a、13b、13c也可通过按下作为选择(sel)按钮的按钮14a，从而切换为设定过载(od)/失真(ds)、转调(mod)、延迟(delay)的值的凸钮。按钮14b用于与信息处理装置20的蓝牙/ble的配对。
[0092]
用于播放控制的第二操作件10b包含：播放/暂停按钮(play/pause)15、倒退(快退)按钮(rew)16、和快进按钮(ff)17。例如，若将倒退按钮16快按两次，则进行一定时间(10)秒的倒退，若较规定时间更长地按下，则进行通常的倒退。此外，在音控制装置10的侧面，设有音量(volumn)的旋钮18。
[0093]
图9中，音控制装置10包含：cpu 101、存储装置102、无线装置(无线通信电路)103、数字信号处理器(digital signal processor，dsp)104、数字模拟转换器(d/a)和模拟数字转换器(a/d)。存储装置102包含rom和ram，具有与存储装置22同样的功能。
[0094]
cpu 101输入通过第一操作件10a的操作(设定)而输入的与音控制有关的信息、
和通过第二操作件10b的操作而输入的与播放控制有关的信息、及来自音量的旋钮18的值。信息由开关的状态、可变电阻器的值、旋转编码器的值等表示。而且，cpu 101在显示器11显示存储器编号。
[0095]
无线装置103经由通用异步收发传输器(universal asynchronous receiver/transmitter，uart)与cpu 101连接。无线装置103为支持规定的无线标准(蓝牙和ble)的通信电路，通过蓝牙和ble的无线回线与信息处理装置20的无线通信if 27连接，用于表示第一操作件10a和第二操作件10b的操作内容的信息的发送，乐曲的声音信号和存储器编号的信息、存储器编号的接收等。此外，使用无线装置103与信息处理装置20收授的信息也可使用usb 110来收发。
[0096]
音控制装置10具有：供来自电吉他6的线缆(cable)的插塞(plug)插入的插孔(端子)6a、aux端子6b、和头戴式耳机5的端子5a。从端子6a输入的电吉他6的演奏音的模拟声音信号由a/d 106转换为数字信号，输入至dsp 104。另一方面，无线装置103通过无线回线接收的乐曲的声音信号(数字信号)由无线装置103所具有的d/a 103a转换为模拟信号。此模拟信号由设于aux端子6b与a/d 106之间的加法器105相加，输入至a/d106并转换为数字信号，输入至dsp 104。
[0097]
dsp 104为下述电路，即：在cpu 101的控制下，对电吉他6的演奏音的声音信号与乐曲的播放音的声音信号中的至少一者，实施基于存储器编号的音参数的集合的音控制(声音信号的加工)。由无线装置103接收的存储器编号的信息，经由uart 111而给予cpu 101，cpu 101在设于存储装置102的与存储器编号对应的存储区域中，存储音参数的集合的信息。音参数的集合的信息被用于dsp 104中的声音信号加工用的电路形成，从适用存储器编号的时刻起用于声音加工(音控制)。dsp 104进行演奏音与播放音的合成(混合)，将合成音的数字声音信号输入至d/a 107。d/a 107将合成音的数字声音信号转换为模拟声音信号。模拟声音信号经由头戴式耳机5的端子5a连接于头戴式耳机5，合成音从头戴式耳机5的扬声器输出。
[0098]
图10为信息处理装置20与音控制装置10的收授的说明图。信息处理装置20通过处理器21执行程序，从而作为包括os 21a及练习用应用21b的装置运行。从第二服务器3提供的有声视频文件(流式有声视频)是作为练习用应用21b的画面中的嵌入视频而提供。
[0099]
有声视频的播放控制是通过操作音控制装置10的第二操作件10b中的播放按钮15、倒退按钮16和快进按钮17而进行。通过操作按钮进行的播放控制的信息、例如因按下播放按钮15而cpu 101发行的播放指示，经由无线装置103向信息处理装置20发送。
[0100]
与播放控制有关的信息是使用蓝牙(蓝牙4.2)支持的音频/视频远程控制规范(audio/video remote control profile，avrcp)而进行。avrcp为用于实现av机器的远程功能的协议。与播放控制有关的信息，经由练习用应用21b而给予视频播放用的软件(第二服务器)，第二服务器3进行视频播放的控制。
[0101]
而且，基于有声视频的乐曲的数字声音信号是使用蓝牙(蓝牙2.1和3.0)支持的高质量音频传输协议(advanced audio distribution profile，a2dp)，而供给于音控制装置10。a2dp为用于将声音传输至带接收器的头戴式耳机的协议。相对于此，与音控制的设定有关的信息是使用蓝牙4.0(ble)支持的蓝牙低功耗-乐器数字接口(musical instrument digital interface over bluetooth low energy，ble-midi)技术来收发。
[0102]
此处，使用图11对一定时间(例如10秒，但是可较10秒更长也可更短)的倒退动作进行说明。假设信息处理装置20中，在正进行有声视频的播放的状态下，使用倒退按钮16进行一定时间的倒退操作(图11的＜1＞)。于是，倒退指示经由练习用应用21b给予视频播放软件，进行有声视频的倒退。此时，视频播放软件输出经倒退的有声视频的当前时刻，os 21a将当前时刻转换为乐曲位置指针(song position pointer，ssp)，将ssp发送至音控制装置10(图11的＜2＞)。ssp经由无线装置103给予cpu 101。
[0103]
cpu 101若获取ssp(图11的＜3＞)，则判定ssp的值是否回溯至预定时间(10秒前的时刻)为止(图11的＜4＞)。此时，在判定为回溯至预定时间为止的情况下，cpu 101结束处理，在并非如此的情况下，发送再一次的倒退指示(图11的＜1＞)
[0104]
图12为两个以上的存储器编号的切换处理的说明图。如上文所述，设想对乐曲设定有第一标记～第三标记的情况。此时，练习用应用21b(处理器21)在第一标记的时刻到来前，例如以选择了乐曲为契机，将与第一标记对应的存储器编号“01”(第一存储器编号)送至音控制装置10。音控制装置10中，cpu 101将存储于存储器编号“01”的存储区域的、第一标记的音参数的集合的信息设定于dsp 104，由此在dsp 104生成第一标记对应的音效器电路。对于第一标记对应的音效器电路，从第一时刻起输入电吉他6的演奏音的声音信号，进行音效的赋予(音控制)，输出音效赋予后的声音信号。
[0105]
然后，若第一标记的时刻到来，则练习用应用21b(处理器21)以第一标记的时刻到来为契机，将与第二标记对应的存储器编号“02”(第二存储器编号)送至音控制装置10。音控制装置10中，cpu 101将存储于存储器编号“02”的存储区域的、第二标记的音参数的集合的信息设定于dsp 104，由此在dsp 104生成第二标记对应的音效器电路。此时，电吉他6的声音信号输入至两个音效器电路，开关(sw)在第二标记的时刻到来之前，输出来自第一标记对应的音效器的信号，若第二标记的时刻到来，则将输出切换为来自第二标记对应的音效器的信号。由此，可从利用第一标记的音控制向利用第二标记的音控制进行无缝切换。
[0106]
在第二标记的时刻到来的情况下，从信息处理装置20向音控制装置10发送与第三标记对应的存储器编号的信息，在dsp 104生成与第三标记对应的音效器，从第三标记的时刻起，适用针对第三标记的音效器。
[0107]
＜实施方式的作用效果＞
[0108]
实施方式的信息处理系统中，信息处理装置20的处理器21(控制部)受理表示乐曲的播放时间中的一个或两个以上的时刻的信息的输入，生成合奏文件，此合奏文件包含与从一个或两个以上的时刻各自起进行的音控制有关的信息。而且，信息处理装置20的无线通信if27(发送部)针对输出乐曲的播放音与乐器的演奏音的合成音的音控制装置10(装置)，发送乐曲的声音信号、和文件中的与音控制有关的信息。由此，可在用户7的所需时刻，对电吉他6(乐器)的演奏音与乐曲的播放音中的至少一者(实施方式中为电吉他6的演奏音)实施利用所需的存储器编号的音控制。
[0109]
根据实施方式的信息处理装置20，处理器21(控制部)可将显示表示乐曲的播放时间的信息的、时刻及与音控制有关的信息的设定用画面(播放画面25a、编辑画面25b)，显示于显示器25(显示装置)。由此，可向用户7提供标记的设定环境。
[0110]
根据实施方式的信息处理装置20，处理器21(控制部)可基于乐曲的url(表示乐曲
的数据的保存位置的信息)，从经由网络1与信息处理装置20连接的第二服务器3(分发乐曲的数据的分发装置)获取乐曲的数据。实施方式中，采用乐曲由url唯一地决定的结构。由此，乐曲的管理变得简单。而且，实施方式中，乐曲的数据为所述有声视频文件中的声音数据，但也可为声音文件。
[0111]
根据实施方式的信息处理装置20，处理器21(控制部)从经由网络1与信息处理装置20连接的第一服务器2(文件的管理装置)获取url。而且，处理器21请求第一服务器2保存合奏文件，此合奏文件包含表示时刻的信息及与音控制有关的信息、和url。如此，可以使第一服务器2管理乐曲及合奏文件。
[0112]
此外，处理器21也可将合奏文件存储于信息处理装置20所具有的存储装置22，所述合奏文件包含：表示时刻的信息及与音控制有关的信息、和url。存储装置也可为安装于信息处理装置20的usb存储器等的存储装置。
[0113]
而且，信息处理装置20中，无线通信if 27(发送部)在时刻包含第一时刻(00：00)和第二时刻(00：10)的情况下，以选择乐曲为契机，在第一时刻到来前，向音控制装置10发送与第一时刻对应的和音控制有关的信息，并且，以乐曲播放中第一时刻到来为契机，向音控制装置10发送与第二时刻对应的和音控制有关的信息。由此，可进行音控制的无缝切换。
[0114]
而且，信息处理装置20中，处理器21将音控制内容的编辑画面显示于显示器25，而受理从音控制装置10发送至信息处理装置20的、表示音控制的内容的信息(与音控制的设定有关的信息)。由此，可通过操作音控制装置10来进行存储器编号的设定。
[0115]
信息处理装置20可使用蓝牙(蓝牙2.1或3.0)和ble(蓝牙4.0)与音控制装置10通信，处理器21从音控制装置10受理使用avrcp的与所述乐曲的播放有关的控制信息(播放控制的信息)，从音控制装置10受理使用ble-midi的音的编辑用的信息。如此，与音控制的设定有关的信息可使用ble发送。
[0116]
此外，处理器21或cpu 101进行的处理可由多个cpu(处理器)进行，也可由多核结构的cpu进行。而且，处理器21进行的处理也可由cpu以外的处理器(dsp或图形处理器(graphic processing unit，gpu)等)、处理器以外的集成电路(特殊应用集成电路(application-specific integrated circuit，asic)或现场可编程门阵列(field programmable gate array，fpga)等)、或者处理器与集成电路的组合(微处理器(microprocessor unit，mpu)、片上系统(system on chip，soc)等)执行。
[0117]
＜变形例＞
[0118]
图13～图15为表示变形例的信息处理装置20的处理例的流程图。作为图13所示的处理的前提，假定在合奏文件中存储有编辑完毕的多个标记(多个时刻和与多个时刻各自对应的存储器编号)。
[0119]
作为一例，如图4所示，合奏文件具有标记(1)、(2)和(3)，包含与标记(1)、(2)和(3)各自对应的多个时刻，即时刻“00：00：00”(第一时刻)、时刻“00：10：00”(第二时刻)和时刻“00：33：00”(第三时刻)。按第一时刻～第三时刻中到来时刻从早到晚的顺序，将意指与最初的时刻和第二个时刻对应的第一时刻和第二时刻属于第一的设定信息，存储于存储装置22。而且，将意指作为第二时刻的下一时刻的第三时刻属于第二的设定信息，存储于存储装置22。
[0120]
图13所示的处理中，步骤s001～s005的处理与实施方式中的处理(图6)相同。但是，变形例中，在步骤s003与步骤s004之间设有步骤s003a的方面，与实施方式不同。而且，图14中的步骤s009、s011、s014和s015与图7所示的处理相同。但是，图14所示的变形例中，不存在步骤s010且代替步骤s012和s013而设有步骤s012a和s013a的方面，与实施方式不同。
[0121]
而且，如图15所示，变形例的合奏文件的编辑处理为：以按下编辑按钮256那样，产生编辑事件为契机而执行的中断处理，而执行与图6所示的步骤s007和s008相同的处理，若处理结束，则处理回到步骤s001(图13)。
[0122]
步骤s003a中，将与步骤s003中获取的合奏文件中的多个时刻中属于第一的规定数的时刻、即第一时刻和第二时刻各自对应的存储器编号(与音控制有关的信息)发送至音控制装置10。音控制装置10中，cpu 101进行下述控制，即：在dsp 104并列构建基于与标记(1)的存储器编号“01”对应的存储区域中所存储的音参数的集合的电路、和基于与标记(2)的存储器编号“02”对应的存储区域中所存储的音参数的集合的电路。此外，步骤s003a的处理可在步骤s004或步骤s005之后执行，也可与步骤s004并列执行。
[0123]
然后，若步骤s009中判定为输入了播放指示，则处理器21进行有声视频的播放。若所述有声视频的播放时间中，在当前时刻，作为第一中的最后的时刻的第二时刻到来(步骤s012a的是(yes))，则处理器21将下一标记(3)的存储器编号“08”所属的第二的存储器编号发送至音控制装置10(步骤s013)。此外，变形例中，属于第二的存储器编号仅为存储器编号“08”，因而发送一个存储器编号“08”。
[0124]
但是，关于属于第一和第二各自的标记数、即时刻数，可设定一个或两个以上的适当的数。因此，在合奏文件例如包含两个标记(第一时刻和第二时刻)的情况下，以选择乐曲为契机而发送与第一时刻对应的存储器编号(步骤s003a)，并以第一时刻到来为契机(步骤s012a的是(yes))，发送与第二时刻对应的存储器编号(步骤s013a)。
[0125]
根据所述变形例，无线通信if 27(发送部)在对乐曲的播放时间中的多个时刻各自设定有存储器编号(与音控制有关的信息)的情况下，以选择乐曲为契机，发送与多个时刻中以到来从早到晚的顺序选择的规定数的时刻(例如第一时刻和第二时刻)对应的存储器编号。另外，可在乐曲的播放中，以规定数的时刻中最后的时刻(第二时刻)到来为契机，发送与最后的时刻之后到来的、多个时刻中的时刻(第三时刻)对应的和音控制有关的信息。
[0126]
符号的说明
[0127]
10：音控制装置
[0128]
20：信息处理装置
[0129]
21：处理器
[0130]
22：存储装置
[0131]
101：cpu
[0132]
102：存储装置

技术特征：

1.一种信息处理装置，其特征在于，包括：控制部，受理表示乐曲的播放时间中的一个或两个以上的时刻的信息的输入，且生成包含与从所述一个或两个以上的时刻各自起进行的音控制有关的信息的文件；以及发送部，针对输出所述乐曲的播放音与乐器的演奏音的合成音的装置，发送所述乐曲的声音信号、和所述文件中的与所述音控制有关的信息。2.根据权利要求1所述的信息处理装置，其特征在于，所述控制部将显示表示所述乐曲的播放时间的信息的所述时刻及与所述音控制有关的信息的设定用画面，显示于显示装置。3.根据权利要求1或2所述的信息处理装置，其特征在于，所述控制部基于表示所述乐曲的数据的保存位置的信息，从经由网络与所述信息处理装置连接且分发所述乐曲的数据的分发装置，获取所述乐曲的数据。4.根据权利要求1至3中任一项所述的信息处理装置，其特征在于，所述乐曲由表示所述乐曲的数据的保存位置的信息唯一地决定。5.根据权利要求1至4中任一项所述的信息处理装置，其特征在于，所述乐曲的数据为有声视频文件中的声音数据。6.根据权利要求3至5中任一项所述的信息处理装置，其特征在于，所述控制部从经由网络与所述信息处理装置连接的文件的管理装置，获取表示所述乐曲的数据的保存位置的信息。7.根据权利要求6所述的信息处理装置，其特征在于，所述控制部请求所述文件的管理装置保存所述文件，所述文件包含表示所述时刻的信息及与所述音控制有关的信息、和表示所述乐曲的保存位置的信息。8.根据权利要求3至7中任一项所述的信息处理装置，其特征在于，所述控制部将所述文件存储于所述信息处理装置所具有的存储装置、及安装于所述信息处理装置的存储装置中的至少一者，所述文件包含表示所述时刻的信息及与所述音控制有关的信息、和表示所述乐曲的保存位置的信息。9.根据权利要求1至8中任一项所述的信息处理装置，其特征在于，所述发送部在对所述乐曲的播放时间中的多个时刻各自设定有与音控制有关的信息的情况下，以选择所述乐曲为契机，发送与所述多个时刻中以到来从早到晚的顺序选择的规定数的时刻对应的和音控制有关的信息，在所述乐曲的播放中，以所述规定数的时刻中最后的时刻到来为契机，发送与所述最后的时刻之后到来的所述多个时刻中的时刻对应的和音控制有关的信息。10.根据权利要求9所述的信息处理装置，其特征在于，在所述多个时刻包含第一时刻及第二时刻的情况下，以选择所述乐曲为契机，向所述装置发送与所述第一时刻对应的和音控制有关的信息，以所述乐曲的播放中所述第一时刻到来为契机，向所述装置发送与所述第二时刻对应的和音控制有关的信息。11.根据权利要求9所述的信息处理装置，其特征在于，在所述多个时刻包含第一时刻、第二时刻及第三时刻的情况下，以选择所述乐曲为契机，向所述装置发送与所述第一时刻和所述第二时刻对应的和音控制有关的信息，以所述乐曲的播放中所述第二时刻到来为契机，向所述装置发送与所述第三时刻对应的和音
控制有关的信息。12.根据权利要求1至9中任一项所述的信息处理装置，其特征在于，所述控制部将音控制内容的编辑画面显示于显示装置，受理从所述装置发送至所述信息处理装置的表示所述音控制的内容的信息。13.根据权利要求10所述的信息处理装置，其特征在于，所述信息处理装置能够使用蓝牙及蓝牙低功耗与所述装置通信，所述控制部从所述装置受理使用音频/视频远程控制规范的与所述乐曲的播放有关的控制信息，从所述装置受理使用蓝牙低功耗-乐器数字接口的音的编辑用的信息。14.一种信息处理方法，其特征在于，包括：通过信息处理装置，受理表示乐曲的播放时间中的一个或两个以上的时刻的信息的输入；生成包含与从所述一个或两个以上的时刻各自起进行的音控制有关的信息的文件；以及针对输出所述乐曲的播放音与乐器的演奏音的合成音的装置，发送所述乐曲的声音信号、和所述文件中的与所述音控制有关的信息。15.一种程序，其特征在于，使信息处理装置的计算机执行：受理表示乐曲的播放时间中的一个或两个以上的时刻的信息的输入；生成包含与从所述一个或两个以上的时刻各自起进行的音控制有关的信息的文件；以及针对输出所述乐曲的播放音与乐器的演奏音的合成音的装置，发送所述乐曲的声音信号、和所述文件中的与所述音控制有关的信息。

技术总结

信息处理装置包括：控制部，受理表示乐曲的播放时间中的一个或两个以上的时刻的信息的输入，且生成包含与从一个或两个以上的时刻各自起进行的音控制有关的信息的文件；以及发送部，针对输出乐曲的播放音与乐器的演奏音的合成音的装置，发送乐曲的声音信号、和文件中的与音控制有关的信息。中的与音控制有关的信息。中的与音控制有关的信息。