信息处理装置、情绪估计方法和情绪估计程序与流程

1.本发明涉及信息处理装置、情绪估计方法和情绪估计程序。

背景技术：

2.能够根据活体信息、语音信息、图像、视线数据等确定用户的举动。此外，能够根据表示用户的举动的信息来估计使用设备的用户的情绪。这里，已提出估计情绪的技术(参照专利文献1)。专利文献1的信息处理装置根据拍摄者的视线数据和拍摄者的传感器数据来估计拍摄者的情绪。
3.设备进行与估计出的情绪对应的响应或处理。例如，确定存在于电梯前的用户的情绪。在用户焦急的情况下，设备进行用于减少焦急的处理。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2019-47234号公报

技术实现要素：

7.发明要解决的课题
8.但是，考虑根据用户关注时的状态来估计用户的情绪的方法。但是，用户关注时的情绪不同。例如，用户关注存在于被摄体的背景中的步行者时的情绪和用户关注作为拍摄对象的被摄体时的情绪不同。这样，估计为用户关注时的情绪始终相同是错误的。
9.本发明的目的在于，提高情绪的估计精度。
10.用于解决课题的手段
11.提供本发明的一个方式的信息处理装置。信息处理装置具有：取得部，其取得与某个状况下的用户有关的信息即输入信息；确定部，其根据所述输入信息确定所述用户关注的物体和所述用户关注所述物体时的样态；以及情绪估计部，其根据表示确定出的所述物体的物体信息、表示确定出的样态的样态信息和预先设定的估计情绪的方法估计所述用户的情绪。
12.发明效果
13.根据本发明，能够提高情绪的估计精度。
附图说明
14.图1是示出实施方式1的信息处理装置具有的功能块的图。
15.图2是示出实施方式1的信息处理装置具有的硬件的结构的图。
16.图3是示出实施方式1的信息处理装置执行的处理的例子的流程图。
17.图4是示出实施方式1的关注关联信息的例子的图。
18.图5是示出实施方式1的方法表的例子的图。
19.图6是示出实施方式2的信息处理装置具有的功能块的图。
20.图7是示出实施方式2的信息处理装置执行的处理的例子的流程图。
21.图8是示出实施方式3的信息处理装置具有的功能块的图。
22.图9是示出实施方式3的信息处理装置执行的处理的例子的流程图。
23.图10是示出实施方式3的方法表的例子的图。
24.图11是示出实施方式4的信息处理装置具有的功能块的图。
25.图12是示出实施方式4的信息处理装置执行的处理的例子的流程图。
26.图13是示出实施方式4的方法表的例子的图。
具体实施方式
27.下面，参照附图对实施方式进行说明。以下的实施方式只不过是例子，能够在本发明的范围内进行各种变更。
28.实施方式1
29.图1是示出实施方式1的信息处理装置具有的功能块的图。信息处理装置100是执行情绪估计方法的装置。信息处理装置100也可以称作情绪估计装置。
30.这里，对信息处理装置100具有的硬件进行说明。
31.图2是示出实施方式1的信息处理装置具有的硬件的结构的图。信息处理装置100具有处理器101、易失性存储装置102、非易失性存储装置103、输入接口104和输出接口105。
32.处理器101对信息处理装置100整体进行控制。例如，处理器101是cpu(central processing unit：中央处理单元)、fpga(field programmable gate array：现场可编程门阵列)等。处理器101也可以是多处理器。信息处理装置100也可以代替处理器101而具有处理电路。处理电路也可以是单一电路或复合电路。
33.易失性存储装置102是信息处理装置100的主存储装置。例如，易失性存储装置102是ram(random access memory：随机存取存储器)。非易失性存储装置103是信息处理装置100的辅助存储装置。例如，非易失性存储装置103是hdd(hard disk drive：硬盘驱动器)或ssd(solid state drive：固态驱动器)。
34.输入接口104从外部取得输入信息。输入信息在后面进行说明。输出接口105向能够与信息处理装置100连接的外部装置输出信息。
35.返回图1，对信息处理装置100的功能进行说明。
36.信息处理装置100具有存储部110、取得部120、物体识别处理执行部130、确定部140、方法选择部150和情绪估计部160。
37.存储部110也可以作为易失性存储装置102或非易失性存储装置103中确保的存储区域来实现。
38.取得部120、物体识别处理执行部130、确定部140、方法选择部150和情绪估计部160的一部分或全部也可以通过处理电路实现。取得部120、物体识别处理执行部130、确定部140、方法选择部150和情绪估计部160的一部分或全部也可以作为处理器101执行的程序的模块来实现。例如，处理器101执行的程序也称作情绪估计程序。例如，情绪估计程序记录于记录介质。
39.存储部110也可以存储方法表。在方法表中登记有多个方法。多个方法分别是估计情绪的方法。这里，方法表也称作方法信息。
40.取得部120取得输入信息x1。输入信息x1是与某个状况下的用户有关的信息。输入信息x1也可以是与某个时点的某个状况下的用户有关的信息。例如，某个状况是用户等待电梯的状况、用户驾驶车的状况等。此外，输入信息x1也可以表现为与用户的举动有关的信息。具体而言，输入信息x1包含图像x2、表示用户的语音的语音信息、用户的活体信息、视线数据、运动信息等。另外，输入信息x1也可以至少包含图像x2。另外，输入信息x1也可以称作传感器信息。
41.输入信息x1中包含的活体信息能够使用非接触传感器或接触传感器而取得。例如，非接触传感器是摄像头、热成像摄像头或呼气传感器。在非接触传感器是摄像头的情况下，根据从摄像头得到的图像中包含的面部表面的血流信息得到心跳、脉搏等活体信息。在非接触传感器是热成像摄像头的情况下，根据热成像得到表示体温的活体信息。在非接触传感器是呼气传感器的情况下，从呼气传感器得到作为与呼气有关的信息的活体信息。此外，例如，接触传感器是智能手表等可穿戴设备。从可穿戴设备得到心跳、脉搏、出汗等活体信息。此外，在方向盘或安全带中嵌入有接触传感器的情况下，从接触传感器得到心跳和脉搏作为活体信息。
42.输入信息x1中包含的视线数据是表示图像x2内的用户的关注位置的数据。例如，从眼睛跟踪传感器得到视线数据。
43.输入信息x1中包含的运动信息是表示用户的动作的信息。通过运动捕捉而得到运动信息。此外，从微软(注册商标)的kinect(注册商标)得到运动信息。
44.物体识别处理执行部130执行识别图像x2中包含的物体的处理。
45.确定部140根据输入信息x1确定用户关注的物体和用户关注物体时的样态。此外，确定部140也可以根据通过该处理而得到的信息和输入信息x1确定用户关注的物体。
46.方法选择部150根据表示确定出的物体的物体信息、表示确定出的样态的样态信息和方法表，从多个方法中选择与物体信息和样态信息对应的方法。
47.情绪估计部160根据选择出的方法、物体信息和样态信息估计用户的情绪。
48.接着，使用流程图对信息处理装置100执行的处理进行说明。
49.图3是示出实施方式1的信息处理装置执行的处理的例子的流程图。
50.(步骤s11)取得部120取得输入信息x1。
51.(步骤s12)物体识别处理执行部130取得输入信息x1中包含的图像x2。图像x2是拍摄用户的周边而得到的图像。另外，如后所述，图像x2包含用户关注的物体即可。因此，图像x2也可以不包含用户。由此，周边也可以认为是与用户分离的场所或包含用户的范围。
52.物体识别处理执行部130执行识别图像x2中包含的物体的处理。例如，在该处理中，使用一般物体识别或特定物体识别。通过执行该处理，得到处理结果x3。即，处理结果x3是通过该处理而得到的信息。
53.例如，处理结果x3表示用户操作的设备的部位。例如，在电梯的情况下，该部位是呼梯按钮、电梯门、层数显示或地面。此外，在车的情况下，该部位是导航画面或窗户。此外，例如，处理结果x3表示用户的身体部位。例如，身体部位是脚。此外，例如，处理结果x3是用户戴在身上的物品、用户持有的物品等。例如，用户戴在身上的物品是钟表。例如，用户持有的物品是智能手机。
54.此外，也可以将id(identifier：标识符)与处理结果x3所示的物体(详细地讲为物
体的名称)对应起来。此外，也可以将表示图像x2内的位置的信息与处理结果x3所示的物体对应起来。另外，表示位置的信息用坐标表示。此外，处理结果x3也可以包含表示图像x2内的确定出的物体范围的区域信息。
55.此外，物体识别处理执行部130也可以取得多个图像。例如，该多个图像是在30秒内以1秒单位拍摄存在于电梯间的用户而得到的图像。物体识别处理执行部130执行识别多个图像中分别包含的物体的处理。即，物体识别处理执行部130按照每个图像执行识别物体的处理。由此，得到连续的处理结果。例如，得到基于30张图像的连续的30个处理结果。
56.(步骤s13)确定部140确定用户关注的物体。对确定处理进行详细说明。
57.确定部140根据处理结果x3和包含用户的图像x2确定用户关注的物体。详细地讲，确定部140根据图像x2确定用户的面部的朝向、用户的身体方向、用户关注物体时的特有动作、用户的姿势等。另外，确定部140能够使用公知的技术确定用户的面部的朝向、用户的身体方向、该特有动作、用户的姿势等。确定部140根据确定出的信息和处理结果x3确定用户关注的物体。下面，对确定处理进行具体说明。
58.在确定出用户的面部的朝向的情况下，确定部140根据处理结果x3确定存在于用户的面部的朝向上的物体作为用户关注的物体。
59.对确定出该特有动作的情况进行说明。例如，该特有动作是看手表的动作、看智能手机的动作等。在确定出看手表的动作的情况下，确定部140根据处理结果x3确定用户关注的手表。
60.例如，在确定出用户的姿势的情况下，确定部140根据用户的姿势所示的头的倾斜和胳膊的位置以及处理结果x3确定用户关注的物体。详细地讲，在用户的姿势表示“抬起胳膊使头朝向斜侧方”的情况下，确定部140从处理结果x3中确定手表。
61.在输入信息x1包含视线数据的情况下，确定部140根据视线数据和处理结果x3确定用户关注的物体。详细地讲，在将表示图像x2内的位置的信息与处理结果x3所示的物体对应起来的情况下，确定部140根据处理结果x3所示的物体的位置和视线数据所示的用户的关注位置确定用户关注的物体。
62.在输入信息x1包含语音信息的情况下，确定部140根据语音信息确定用户关注的物体。详细地讲，确定部140对语音信息所示的用户的讲话内容进行分析，根据分析的结果确定用户关注的物体。
63.例如，在输入信息x1包含运动信息的情况下，确定部140根据运动信息所示的用户的头方向或身体方向和处理结果x3确定用户关注的物体。
64.(步骤s14)确定部140根据输入信息x1确定用户关注物体时的样态。换言之，确定部140根据输入信息x1确定用户关注物体时的状态。这里，表示该样态的样态信息也可以称作关注行动信息。关注行动信息的“行动”可以认为是能够从外部客观地观察的人或动物的静态或动态的状态或反应。此外，该反应还包含视线的运动、心跳等生理现象。
65.例如，样态信息是表示用户关注物体的频度即关注频度的信息、表示用户关注物体时的姿势的信息、用户关注物体时的活体信息、基于用户关注物体时的语音信息的特征量等。
66.接着，对关注频度进行说明。例如，在用户关注的物体是层数显示的情况下，确定部140根据包含用户的多个图像x2计算在预先设定的时间内用户关注层数显示的时间或关
注次数，根据计算的结果确定关注频度。
67.对姿势进行说明。确定部140使用包含用户的图像x2确定用户关注物体时的姿势。详细地讲，确定部140根据包含用户的图像x2和用于确定姿势的图像确定用户关注物体时的姿势。例如，在图像x2表示存在于电梯间的用户一边抱着胳膊一边关注层数显示的状态的情况下，确定部140对图像x2和表示抱着胳膊的图像进行模板匹配，由此确定抱着胳膊。在输入信息x1包含从姿势检测传感器得到的姿势信息的情况下，确定部140根据表示用户的姿势的姿势信息确定姿势。在输入信息x1包含用户的骨骼信息的情况下，确定部140根据骨骼信息确定姿势。在输入信息x1包含运动信息的情况下，确定部140根据运动信息确定姿势。
68.对活体信息进行说明。活体信息是输入信息x1中包含的活体信息。例如，活体信息是心跳数、出汗程度等。
69.对基于语音信息的特征量进行说明。例如，基于语音信息的特征量是音调、功率、谱等。此外，例如，基于语音信息的特征量也可以是用户的讲话内容。
70.这样，确定部140确定用户关注的物体和用户关注时的样态。表示确定出的该物体的物体信息和表示确定出的该样态的样态信息称作关注关联信息x4。这里，例示关注关联信息x4。
71.图4是示出实施方式1的关注关联信息的例子的图。图4的关注关联信息x4所示的“关注对象”表示用户关注的物体。此外，图4的关注关联信息x4所示的“关注频度”、“姿势”、“心跳数”表示用户关注时的样态。如图4所示，也可以将表示用户关注时的样态的多个信息与“关注对象”对应起来。
72.此外，也可以将帧编号与“关注对象”和该多个信息对应起来。帧编号是1个帧的编号或将多个帧设为1个帧时的编号。例如，将多个帧设为1个帧时的“关注频度”、“姿势”和“心跳数”表示预先设定的时间内的“关注频度”、“姿势”和“心跳数”。预先设定的时间内的“关注频度”和“心跳数”也可以是预先设定的时间内的值的平均值、最大值、最小值或代表值。
73.另外，步骤s14也可以在步骤s13之前执行。此外，步骤s14也可以与步骤s13并行地执行。
74.(步骤s15)取得部120取得方法表。在方法表存储于存储部110的情况下，取得部120从存储部110取得方法表。此外，方法表也可以存储于能够与信息处理装置100连接的外部装置。在方法表存储于外部装置的情况下，取得部120从外部装置取得方法表。
75.方法选择部150根据关注关联信息x4和方法表选择估计情绪时使用的方法。如上所述，在方法表中登记有多个方法。对多个方法进行具体说明。
76.例如，在方法表中登记有使用式子估计情绪的方法。
77.此外，例如，在方法表中登记有使用判定情绪时使用的特征量和阈值估计情绪的方法。此外，也可以在方法表中登记在关注频度为0.8以上的情况下估计为焦急的方法。此外，也可以在方法表中登记在心跳数小于60的情况下估计为平常的方法。
78.此外，例如，在方法表中登记有对判定情绪时使用的特征量或表示情绪的数值进行加权来估计情绪的方法。另外，表示情绪的数值也可以表现为情绪的重要度。
79.此外，例如，在方法表中登记有对样态信息所示的信息的重要度进行加权来估计
情绪的方法。具体而言，在方法表中登记有对样态信息所示的“关注频度”进行加权来估计情绪的方法。
80.此外，例如，在方法表中登记有根据预先设定的规则估计情绪的方法。此外，例如，在方法表中登记有使用学习完毕模型估计情绪的方法、或使用svm(support vector machine：支持向量机)、神经网络等识别器估计情绪的方法。这里，示出方法表的具体例。
81.图5是示出实施方式1的方法表的例子的图。例如，方法表111存储于存储部110。方法表111具有方法id、关注对象、条件和方法的项目。在方法id的项目中登记标识符。在关注对象的项目中登记作为关注对象的物体。在条件的项目中登记条件。在图5中，例示出3个条件的项目。条件的项目的数量也可以是1个。即，条件的项目的数量不限于3个。在方法的项目中登记方法。在图5的方法的项目中登记有对判定情绪时使用的特征量或表示情绪的数值进行加权来估计情绪的方法。
82.例如，方法选择部150从方法表111中检索符合关注关联信息x4中包含的“层数显示”(关注对象)、“0.8”(关注频度)、“抱着胳膊”(姿势)和“80”(心跳数)的条件的记录。方法选择部150选择将“焦急：1.5”作为权重进行加权来估计情绪的方法。
83.此外，在相同的情绪且检索到多个权重的情况下，方法选择部150也可以将对多个权重进行相乘、相加或平均后的值设为权重。此外，方法选择部150也可以将该多个权重的最大值或最小值设为权重。
84.表示选择出的方法的信息称作方法信息x5。此外，方法信息x5也可以是表示选择出的方法的方法id。进而，方法信息x5也可以是组合关注对象和选择出的方法而成的信息。例如，方法信息x5也可以是“层数显示：焦急：1.5”这样的信息。
85.(步骤s16)情绪估计部160根据关注关联信息x4和方法信息x5估计用户的情绪。此外，在方法信息x5包含方法id的情况下，情绪估计部160参照方法表111确定与该方法id对应的方法。情绪估计部160根据确定出的方法和关注关联信息x4估计用户的情绪。
86.例如，在方法信息x5所示的方法中使用的权重为“焦急：1.5”且根据关注关联信息x4估计出的情绪为“焦急”的情况下，情绪估计部160对表示“焦急”的值加权“1.5”。
87.此外，例如，在方法信息x5表示使用某个值估计情绪值的方法的情况下，情绪估计部160使用关注关联信息x4和该值估计情绪值。
88.此外，例如，在方法信息x5表示在关注频度为0.8以上的情况下估计为焦急的方法的情况下，情绪估计部160对关注关联信息x4所示的关注频度和“0.8”进行比较来估计情绪。
89.此外，例如，情绪估计部160使用方法信息x5所示的方法中使用的规则、式子、学习完毕模型或识别器来估计情绪。
90.情绪估计部160也可以对方法信息x5所示的方法中使用的权重或阈值进行变更，使用变更后的值来估计情绪。
91.估计出的结果称作结果信息x6。结果信息x6表示喜怒哀乐、疲劳、紧张、用户的内心等。此外，结果信息x6也可以用数值表示喜怒哀乐等情绪。例如，表示情绪的数值为“喜：0.5”。情绪估计部160输出结果信息x6。例如，情绪估计部160将结果信息x6输出到显示器。
92.此外，情绪估计部160按照每个帧编号估计情绪。情绪估计部160输出多个结果信息x6。在多个结果信息x6表示数值的情况下，情绪估计部160也可以输出最大值。此外，在多
个结果信息x6表示数值的情况下，情绪估计部160也可以输出特定的帧编号的数值作为代表值。
93.根据实施方式1，信息处理装置100根据关注关联信息x4估计情绪。详细地讲，信息处理装置100根据用户关注的物体和用户关注时的样态估计情绪。因此，信息处理装置100能够提高情绪的估计精度。
94.此外，信息处理装置100根据关注关联信息x4，从方法表111中选择估计情绪时使用的方法。即，信息处理装置100使用关注关联信息x4所示的信息选择在估计情绪时最适当的方法。然后，信息处理装置100利用选择出的方法估计情绪。因此，信息处理装置100能够使用高精度的估计。
95.以上说明了情绪估计部160使用选择出的方法估计情绪的情况。情绪估计部160也可以根据物体信息、样态信息和预先设定的估计情绪的方法估计用户的情绪。例如，预先设定的该方法是使用阈值估计情绪的方法、对判定情绪时使用的特征量或表示情绪的数值进行加权来估计情绪的方法。此外，例如，预先设定的该方法是使用规则、式子、学习完毕模型、svm等识别器来估计情绪的方法。
96.实施方式2
97.接着，对实施方式2进行说明。在实施方式2中，主要说明与实施方式1不同的事项。而且，在实施方式2中，省略与实施方式1相通的事项的说明。在实施方式2的说明中，参照图1～5。
98.图6是示出实施方式2的信息处理装置具有的功能块的图。与图1所示的结构相同的图6的结构标注与图1所示的标号相同的标号。
99.信息处理装置100a具有情绪估计部160a。
100.取得部120取得输入信息x1。输入信息x1是与某个状况下预先设定的时间内的用户有关的信息。具体而言，输入信息x1包含在预先设定的时间内进行拍摄而得到的多个图像x2、表示预先设定的时间内的用户的语音的语音信息、预先设定的时间内的用户的活体信息、预先设定的时间内的视线数据、预先设定的时间内的运动信息等。换言之，输入信息x1是表示图像x2、语音信息、活体信息、视线数据、运动信息等特征量的时间序列数据。
101.情绪估计部160a的功能在后面进行说明。
102.接着，使用流程图对信息处理装置100a执行的处理进行说明。
103.图7是示出实施方式2的信息处理装置执行的处理的例子的流程图。在图7的处理中，执行步骤s16a这点与图3的处理不同。因此，在图7中，对步骤s16a进行说明。关于图7中的其他步骤，标注与图3的步骤编号相同的编号，由此省略处理的说明。
104.(步骤s16a)情绪估计部160a根据输入信息x1和方法信息x5估计用户的情绪。例如，在方法信息x5表示使用特征量和预先设定的阈值估计情绪的方法的情况下，情绪估计部160a根据输入信息x1所示的特征量和该阈值估计情绪。此外，例如，情绪估计部160a使用方法信息x5所示的方法中使用的规则、式子、学习完毕模型或识别器来估计情绪。
105.估计出的结果称作结果信息x6。结果信息x6表示喜怒哀乐、疲劳、紧张、用户的内心等。此外，结果信息x6也可以用数值表示喜怒哀乐等情绪。情绪估计部160a输出结果信息x6。
106.这里，在实施方式1中，是使用关注关联信息x4估计情绪。即，在实施方式1中，是使
用用户关注的时点的信息估计情绪。根据实施方式2，信息处理装置100a使用输入信息x1估计情绪。因此，信息处理装置100a能够估计预先设定的时间内的用户的情绪。
107.实施方式3
108.接着，对实施方式3进行说明。在实施方式3中，主要说明与实施方式2不同的事项。而且，在实施方式3中，省略与实施方式2相通的事项的说明。在实施方式3的说明中，参照图6、7。
109.图8是示出实施方式3的信息处理装置具有的功能块的图。与图6所示的结构相同的图8的结构标注与图6所示的标号相同的标号。
110.信息处理装置100b具有取得部120b、方法选择部150b和等待时间确定部170。等待时间确定部170的一部分或全部也可以通过处理电路实现。等待时间确定部170的一部分或全部也可以作为处理器101执行的程序的模块来实现。
111.取得部120b取得输入信息x1和设备信息x7。输入信息x1是实施方式2中说明的输入信息x1。设备信息x7是与用户使用的设备有关的信息。例如，设备信息x7是电梯的呼梯按钮被按下的时刻信息、电梯的层数显示信息、表示电梯轿厢的当前位置的信息等。此外，例如，设备信息x7是表示车具有的导航设备的按钮被按下的信息、导航设备中显示的画面的信息、导航设备输出的语音引导的信息等。
112.方法选择部150b和等待时间确定部170的功能在后面进行说明。
113.接着，使用流程图对信息处理装置100b执行的处理进行说明。
114.图9是示出实施方式3的信息处理装置执行的处理的例子的流程图。在图9的处理中，执行步骤s11a、11b、15a这点与图7的处理不同。因此，在图9中，对步骤s11a、11b、15a进行说明。关于图9中的其他步骤，标注与图7的步骤编号相同的编号，由此省略处理的说明。
115.(步骤s11a)取得部120b取得输入信息x1和设备信息x7。
116.(步骤s11b)等待时间确定部170根据设备信息x7确定从用户操作设备到返回针对该操作的响应为止的时间作为等待时间。对等待时间的确定方法进行具体说明。
117.例如，设设备信息x7包含用户按下电梯的呼梯按钮的时刻即按下时刻、以及电梯轿厢到达而将门打开的时刻。等待时间确定部170根据按下时刻和门打开的时刻确定等待时间。此外，在设备信息x7不包含门打开的时刻的情况下，等待时间确定部170也可以根据按下时刻和执行步骤s11b的时刻(即当前时刻)确定等待时间。
118.此外，例如，设设备信息x7包含操作导航设备的时刻即操作时刻和执行针对该操作的响应的时刻即执行时刻。等待时间确定部170根据操作时刻和执行时刻确定等待时间。
119.此外，例如，设设备信息x7包含用户说出的语音的语音信息被输入到导航设备的时刻即输入时刻和执行针对该语音的响应的时刻即执行时刻。等待时间确定部170根据输入时刻和执行时刻确定等待时间。
120.表示确定出的等待时间的信息称作等待时间信息x8。此外，等待时间信息x8也可以用时间的长度来表示。例如，时间的长度是“长”或“短”。
121.另外，步骤s11b在执行步骤s15a之前即可，可以在任意时刻执行。
122.(步骤s15a)取得部120b取得方法表111。方法选择部150b根据关注关联信息x4、等待时间信息x8和方法表1择估计情绪时使用的方法。详细地讲，方法选择部150b根据等待时间信息x8所示的等待时间、物体信息、样态信息和方法表111，从方法表111所示的多个
方法中选择与等待时间、物体信息和样态信息对应的方法。这里，例示方法表111。
123.图10是示出实施方式3的方法表的例子的图。图10示出方法表111具有条件“等待时间”的项目。
124.例如，方法选择部150b从方法表111中检索符合关注关联信息x4中包含的“层数显示”(关注对象)、“0.8”(关注频度)、“抱着胳膊”(姿势)和“80”(心跳数)以及等待时间信息x8中包含的“150秒”(等待时间)的条件的记录。方法选择部150b选择将“焦急：1.5”作为权重进行加权来估计情绪的方法。
125.表示选择出的方法的信息称作方法信息x5。此外，方法信息x5也可以是表示选择出的方法的方法id。进而，方法信息x5也可以是组合关注对象和选择出的方法而成的信息。例如，方法信息x5也可以是“层数显示：焦急：1.5”这样的信息。
126.根据实施方式3，信息处理装置100b根据关注关联信息x4和等待时间信息x8，从方法表111中选择估计情绪时使用的方法。即，信息处理装置100b选择考虑到等待时间的方法。然后，信息处理装置100b利用选择出的方法估计情绪。因此，信息处理装置100b能够实现高精度的估计。
127.实施方式3的变形例
128.在实施方式3中，情绪估计部160a利用方法选择部150b选择出的方法估计情绪。在实施方式3的变形例中，情绪估计部160利用方法选择部150b选择出的方法估计情绪。即，在实施方式3的变形例中，在步骤s15a之后执行步骤s16。
129.根据实施方式3的变形例，信息处理装置100b根据关注关联信息x4估计情绪。详细地讲，信息处理装置100b根据用户关注的物体和用户关注时的样态估计情绪。因此，信息处理装置100b能够提高情绪的估计精度。
130.此外，信息处理装置100b根据关注关联信息x4和等待时间信息x8，从方法表111中选择估计情绪时使用的方法。即，信息处理装置100b选择考虑到等待时间的方法。然后，信息处理装置100b利用选择出的方法估计情绪。因此，信息处理装置100b能够实现高精度的估计。
131.实施方式4
132.接着，对实施方式4进行说明。在实施方式4中，主要说明与实施方式2不同的事项。而且，在实施方式4中，省略与实施方式2相通的事项的说明。在实施方式4的说明中，参照图6、7。
133.图11是示出实施方式4的信息处理装置具有的功能块的图。与图6所示的结构相同的图11的结构标注与图6所示的标号相同的标号。
134.信息处理装置100c具有方法选择部150c和识别部180。识别部180的一部分或全部也可以通过处理电路实现。识别部180的一部分或全部也可以作为处理器101执行的程序的模块来实现。
135.存储部110也可以存储多个方法表。多个方法表在后面进行说明。
136.方法选择部150c的功能在后面进行说明。
137.识别部180根据输入信息x1识别用户和用户的类型中的至少一方。
138.接着，使用流程图对信息处理装置100c执行的处理进行说明。
139.图12是示出实施方式4的信息处理装置执行的处理的例子的流程图。在图12的处
理中，执行步骤s11c、15b这点与图7的处理不同。因此，在图12中，对步骤s11c、15b进行说明。关于图12中的其他步骤，标注与图7的步骤编号相同的编号，由此省略处理的说明。
140.(步骤s11c)识别部180根据输入信息x1识别用户和用户的类型中的至少一方。
141.对识别用户的方法进行具体说明。例如，在输入信息x1包含有包含用户的图像x2的情况下，识别部180使用图像x2识别用户。详细地讲，识别部180根据图像x2和公知技术识别用户。例如，公知技术是一般物体识别或特定物体识别。此外，例如，在输入信息x1包含有运动信息的情况下，识别部180根据基于运动信息确定的用户的习惯识别用户。详细地讲，识别部180根据运动信息所示的特征性动作和表示能够确定个人的动作习惯的信息识别用户。另外，该表示习惯的信息也可以存储于存储部110。此外，例如，在输入信息x1包含有语音信息的情况下，识别部180使用基于语音信息的特征量识别用户。此外，例如，在输入信息x1包含有心跳、虹膜、指纹等活体信息的情况下，识别部180使用活体信息识别用户。详细地讲，识别部180根据活体信息和公知技术识别用户。
142.接着，对识别类型的方法进行具体说明。例如，在输入信息x1包含有1个以上的图像x2的情况下，识别部180根据图像x2所示的用户的表情或基于多个图像x2确定的用户的表情变化识别用户的类型。例如，识别出的类型是易怒的类型、温和的类型等。此外，例如，在输入信息x1包含有运动信息的情况下，识别部180根据运动信息所示的特征性动作识别用户的类型。此外，例如，在输入信息x1包含有语音信息的情况下，识别部180根据基于语音信息确定的说话方式识别用户的类型。此外，例如，在输入信息x1包含有活体信息的情况下，识别部180使用活体信息识别用户的类型。详细地讲，识别部180根据活体信息所示的特征量识别用户的类型。例如，识别出的类型是容易出汗的类型等。
143.此外，在表示用户与类型之间的对应关系的信息即用户类型信息存储于存储部110或外部装置且识别到用户的情况下，识别部180也可以根据识别到的用户和用户类型信息确定用户的类型。
144.在输入信息x1包含有表示用户和用户的类型中的至少一方的信息的情况下，识别部180根据该信息识别用户和用户的类型中的至少一方。
145.识别到的信息称作识别信息x9。识别信息x9是表示用户的姓名和类型中的至少一方的信息。此外，识别信息x9也可以是表示识别到的用户的id和识别到的类型的id中的至少一方的信息。
146.另外，步骤s11c在执行步骤s15b之前即可，可以在任意时刻执行。
147.(步骤s15b)取得部120取得与识别信息x9所示的用户或类型对应的方法表。取得的方法表存储于存储部110或外部装置。
148.这里，对取得的方法表存储于存储部110的情况进行说明。例如，存储部110存储与个人对应的方法表111a1～111a3和与类型对应的方法表111b1～111b3。
149.例如，取得部120从存储部110取得与识别信息x9所示的用户u1对应的方法表111a1。这里，在方法表111a1的方法的项目中登记有适合于估计用户u1的情绪的方法。这样，在方法表111a1～111a3中分别登记有适合于估计识别信息x9所示的用户情绪的方法。
150.此外，例如，取得部120从存储部110取得与识别信息x9所示的类型ty1对应的方法表111b1。这里，在方法表111b1的方法的项目中登记有适合于估计类型ty1的用户的情绪的方法。这样，在方法表111b1～111b3中分别登记有适合于估计识别信息x9所示的类型的用
户情绪的方法。
151.方法选择部150c根据关注关联信息x4和取得的方法表选择估计情绪时使用的方法。该选择的处理与实施方式1的步骤s15相同。因此，省略该选择的处理的说明。
152.此外，在识别信息x9是表示用户和类型的信息的情况下，进行以下的处理。取得部120取得方法表111。方法选择部150c根据关注关联信息x4、识别信息x9和方法表1择估计情绪时使用的方法。这里，例示方法表111。
153.图13是示出实施方式4的方法表的例子的图。图13示出方法表111具有条件“用户”的项目和条件“类型”的项目。
154.例如，方法选择部150c从方法表111中检索符合关注关联信息x4中包含的“层数显示”(关注对象)、“0.8”(关注频度)、“抱着胳膊”(姿势)和“80”(心跳数)以及识别信息x9中包含的“usr
1”(用户)和“易怒”(类型)的条件的记录。方法选择部150c选择将“焦急：1.5”作为权重进行加权来估计情绪的方法。
155.表示选择出的方法的信息称作方法信息x5。此外，方法信息x5也可以是表示选择出的方法的方法id。进而，方法信息x5也可以是组合关注对象和选择出的方法而成的信息。例如，方法信息x5也可以是“层数显示：焦急：1.5”这样的信息。
156.根据实施方式4，信息处理装置100c取得与识别信息x9所示的用户对应的方法表，由此选择适合于估计该用户的情绪的方法。然后，信息处理装置100c利用选择出的方法估计情绪。因此，信息处理装置100c能够实现高精度的估计。此外，信息处理装置100c取得与识别信息x9所示的类型对应的方法表，由此选择适合于估计该类型的用户情绪的方法。然后，信息处理装置100c利用选择出的方法估计情绪。因此，信息处理装置100c能够实现高精度的估计。
157.实施方式4的变形例
158.在实施方式4中，情绪估计部160a利用方法选择部150c选择出的方法估计情绪。在实施方式4的变形例中，情绪估计部160利用方法选择部150c选择出的方法估计情绪。即，在实施方式4的变形例中，在步骤s15b之后执行步骤s16。
159.根据实施方式4的变形例，信息处理装置100c根据关注关联信息x4估计情绪。详细地讲，信息处理装置100c根据用户关注的物体和用户关注时的样态估计情绪。因此，信息处理装置100c能够提高情绪的估计精度。
160.此外，信息处理装置100c取得与识别信息x9所示的用户对应的方法表，由此选择适合于估计该用户的情绪的方法。然后，信息处理装置100c利用选择出的方法估计情绪。因此，信息处理装置100c能够实现高精度的估计。此外，信息处理装置100c取得与识别信息x9所示的类型对应的方法表，由此选择适合于估计该类型的用户情绪的方法。然后，信息处理装置100c利用选择出的方法估计情绪。因此，信息处理装置100c能够实现高精度的估计。
161.以上说明的各实施方式中的特征能够彼此适当地组合。
162.标号说明
163.100、100a、100b、100c：信息处理装置；101：处理器；102：易失性存储装置；103：非易失性存储装置；104：输入接口；105：输出接口；110：存储部；111、111a1～111a3、111b1～111b3：方法表；120、120b：取得部；130：物体识别处理执行部；140：确定部；150、150b、150c：方法选择部；160、160a：情绪估计部；170：等待时间确定部；180：识别部。

技术特征：

1.一种信息处理装置，该信息处理装置具有：取得部，其取得与某个状况下的用户有关的信息即输入信息；确定部，其根据所述输入信息确定所述用户关注的物体和所述用户关注所述物体时的样态；以及情绪估计部，其根据表示确定出的所述物体的物体信息、表示确定出的样态的样态信息和预先设定的估计情绪的方法估计所述用户的情绪。2.根据权利要求1所述的信息处理装置，其中，所述信息处理装置还具有物体识别处理执行部，所述输入信息包含有拍摄所述用户的周边而得到的图像，所述物体识别处理执行部执行识别所述图像中包含的物体的处理，所述确定部根据通过所述处理而得到的信息和所述输入信息确定所述用户关注的物体。3.根据权利要求2所述的信息处理装置，其中，所述确定部根据通过所述处理而得到的信息和包含所述用户的所述图像确定所述用户关注的物体。4.根据权利要求2所述的信息处理装置，其中，所述输入信息包含有表示所述图像内的所述用户的关注位置的视线数据，所述确定部根据通过所述处理而得到的信息和所述视线数据确定所述用户关注的物体。5.根据权利要求2所述的信息处理装置，其中，所述输入信息包含有表示所述用户的动作的运动信息，所述确定部根据通过所述处理而得到的信息和所述运动信息确定所述用户关注的物体。6.根据权利要求1所述的信息处理装置，其中，所述输入信息包含有表示所述用户的语音的语音信息，所述确定部根据所述语音信息确定所述用户关注的物体。7.根据权利要求1～6中的任意一项所述的信息处理装置，其中，所述输入信息包含有包含所述用户的多个图像，所述确定部根据所述多个图像确定所述用户关注所述物体的频度即关注频度，将所述关注频度确定为所述样态。8.根据权利要求1～6中的任意一项所述的信息处理装置，其中，所述输入信息包含有包含所述用户的图像，所述确定部使用所述图像确定所述用户关注所述物体时的姿势，将所述姿势确定为所述样态。9.根据权利要求1～6中的任意一项所述的信息处理装置，其中，所述输入信息包含有表示所述用户的姿势的姿势信息或所述用户的骨骼信息，所述确定部将所述姿势信息所示的姿势或基于所述骨骼信息确定的姿势确定为所述样态。10.根据权利要求1～6中的任意一项所述的信息处理装置，其中，
所述输入信息包含有所述用户关注所述物体时的活体信息，所述样态信息是所述活体信息。11.根据权利要求1～6中的任意一项所述的信息处理装置，其中，所述输入信息包含有表示所述用户的语音的语音信息，所述样态信息是基于所述语音信息的特征量。12.根据权利要求1～11中的任意一项所述的信息处理装置，其中，所述信息处理装置还具有方法选择部，所述取得部取得表示多个方法的方法信息，所述多个方法是估计情绪的方法，所述方法选择部根据所述物体信息、所述样态信息和所述方法信息，从所述多个方法中选择与所述物体信息和所述样态信息对应的方法，所述情绪估计部根据选择出的方法、所述物体信息和所述样态信息估计所述用户的情绪。13.根据权利要求12所述的信息处理装置，其中，所述信息处理装置还具有等待时间确定部，所述取得部取得与所述用户使用的设备有关的信息即设备信息，所述等待时间确定部根据所述设备信息确定从所述用户操作所述设备到返回针对所述操作的响应为止的时间作为等待时间，所述方法选择部根据所述等待时间、所述物体信息、所述样态信息和所述方法信息，从所述多个方法中选择与所述等待时间、所述物体信息和所述样态信息对应的方法。14.根据权利要求12或13所述的信息处理装置，其中，所述信息处理装置还具有识别部，所述识别部根据所述输入信息识别所述用户，所述取得部取得与所述用户对应的所述方法信息。15.根据权利要求14所述的信息处理装置，其中，所述输入信息包含有包含所述用户的图像，所述识别部使用所述图像识别所述用户。16.根据权利要求14所述的信息处理装置，其中，所述输入信息包含有表示所述用户的动作的运动信息，所述识别部根据基于所述运动信息确定的所述用户的习惯识别所述用户。17.根据权利要求14所述的信息处理装置，其中，所述输入信息包含有表示所述用户的语音的语音信息，所述识别部使用基于所述语音信息的特征量识别所述用户。18.根据权利要求14所述的信息处理装置，其中，所述输入信息包含有所述用户的活体信息，所述识别部使用所述活体信息识别所述用户。19.根据权利要求12或13所述的信息处理装置，其中，所述信息处理装置还具有识别部，所述识别部根据所述输入信息识别所述用户的类型，所述取得部取得与所述类型对应的所述方法信息。20.根据权利要求19所述的信息处理装置，其中，
所述输入信息包含有包含所述用户的1个以上的图像，所述识别部根据所述图像所示的所述用户的表情或所述用户的表情的变化识别所述类型。21.根据权利要求19所述的信息处理装置，其中，所述输入信息包含有表示所述用户的动作的运动信息，所述识别部根据所述运动信息所示的特征性动作识别所述类型。22.根据权利要求19所述的信息处理装置，其中，所述输入信息包含有表示所述用户的语音的语音信息，所述识别部根据基于所述语音信息确定的说话方式识别所述类型。23.根据权利要求19所述的信息处理装置，其中，所述输入信息包含有所述用户的活体信息，所述识别部使用所述活体信息识别所述类型。24.一种信息处理装置，该信息处理装置具有：取得部，其取得与某个状况下预先设定的时间内的用户有关的信息即输入信息和表示多个方法的方法信息，所述多个方法是估计情绪的方法；确定部，其根据所述输入信息确定所述用户关注的物体和所述用户关注所述物体时的样态；方法选择部，其根据表示确定出的所述物体的物体信息、表示确定出的样态的样态信息和所述方法信息，从所述多个方法中选择与所述物体信息和所述样态信息对应的方法；以及情绪估计部，其根据选择出的方法和所述输入信息估计所述用户的情绪。25.根据权利要求24所述的信息处理装置，其中，所述信息处理装置还具有等待时间确定部，所述取得部取得与所述用户使用的设备有关的信息即设备信息，所述等待时间确定部根据所述设备信息确定从所述用户操作所述设备到返回针对所述操作的响应为止的时间作为等待时间，所述方法选择部根据所述等待时间、所述物体信息、所述样态信息和所述方法信息，从所述多个方法中选择与所述等待时间、所述物体信息和所述样态信息对应的方法。26.根据权利要求24所述的信息处理装置，其中，所述信息处理装置还具有识别部，所述识别部根据所述输入信息识别所述用户，所述取得部取得与所述用户对应的所述方法信息。27.根据权利要求24所述的信息处理装置，其中，所述信息处理装置还具有识别部，所述识别部根据所述输入信息识别所述用户的类型，所述取得部取得与所述类型对应的所述方法信息。28.一种情绪估计方法，其中，信息处理装置取得与某个状况下的用户有关的信息即输入信息，所述信息处理装置根据所述输入信息确定所述用户关注的物体和所述用户关注所述物体时的样态，
所述信息处理装置根据表示确定出的所述物体的物体信息、表示确定出的样态的样态信息和预先设定的估计情绪的方法估计所述用户的情绪。29.一种情绪估计方法，其中，信息处理装置取得与某个状况下预先设定的时间内的用户有关的信息即输入信息和表示多个方法的方法信息，所述多个方法是估计情绪的方法，所述信息处理装置根据所述输入信息确定所述用户关注的物体和所述用户关注所述物体时的样态，所述信息处理装置根据表示确定出的所述物体的物体信息、表示确定出的样态的样态信息和所述方法信息，从所述多个方法中选择与所述物体信息和所述样态信息对应的方法，所述信息处理装置根据选择出的方法和所述输入信息估计所述用户的情绪。30.一种情绪估计程序，该情绪估计程序使信息处理装置执行以下处理：取得与某个状况下的用户有关的信息即输入信息；根据所述输入信息确定所述用户关注的物体和所述用户关注所述物体时的样态；以及根据表示确定出的所述物体的物体信息、表示确定出的样态的样态信息和预先设定的估计情绪的方法估计所述用户的情绪。31.一种情绪估计程序，该情绪估计程序使信息处理装置执行以下处理：取得与某个状况下预先设定的时间内的用户有关的信息即输入信息和表示多个方法的方法信息，所述多个方法是估计情绪的方法；根据所述输入信息确定所述用户关注的物体和所述用户关注所述物体时的样态；根据表示确定出的所述物体的物体信息、表示确定出的样态的样态信息和所述方法信息，从所述多个方法中选择与所述物体信息和所述样态信息对应的方法；以及根据选择出的方法和所述输入信息估计所述用户的情绪。

技术总结

信息处理装置(100)具有取得部(120)、确定部(140)和情绪估计部(160)。取得部(120)取得与某个状况下的用户有关的信息即输入信息。确定部(140)根据输入信息确定用户关注的物体和用户关注物体时的样态。情绪估计部(160)根据表示确定出的物体的物体信息、表示确定出的样态的样态信息和预先设定的估计情绪的方法估计用户的情绪。计用户的情绪。计用户的情绪。