混合人机学习系统的制作方法

混合人机学习系统
1.交叉引用
2.以下申请通过引用以其整体在此并入：于2020年3月6日提交的美国临时专利申请序列号62/986,525。
3.引言
4.专家系统是被编程为通过解释人类专家的编码知识来模拟推理任务的计算机系统。现有的专家系统是静态的离线系统，其被设计成利用专家知识一次地或定期地更新。这些专家系统通常利用所记录的专家知识的静态数据库来在诸如医疗诊断、股票交易、艺术、音乐或电影的评估的领域和/或其他主观或客观领域推荐决策和提供建议。
5.现有的专家系统的一些示例尝试将非结构化或不相合的知识编码为机器可读格式，模拟人类情感和主观推理，并进一步尝试将该知识实时处理为可行的见解。利用现有的解决方案，从人类专家提取知识并将该知识编码为机器可读格式几乎不可能实时执行，这是由于现有的专家系统的复杂、冗长且耗时的性质。因此，现有的系统通常无法对任何主题提供准确的、最新的专家意见。

技术实现要素：

6.本公开内容提供了涉及专家学习系统的系统、装置和方法，并且解决了上述已知专家系统的一个或更多个缺点。
7.在一些实施方式中，用于为用户提供的任务提供解决方案的数据处理系统可以包括：存储器；一个或更多个处理器；以及存储在存储器中并且可由一个或更多个处理器执行以进行如下操作的多个指令：接收与所选任务相对应的任务相关数据，其中，用一个或更多个专业领域中的所选领域来标识任务；从多个专家中自动地选择与所选领域相关联的专家的第一子集以及与所选领域相关联的专家的第二子集；将任务相关数据传送到多个第一电子设备，其中，第一电子设备中的每个第一电子设备与第一子集的专家中的相应一个专家相关联；经由第一电子设备从第一子集的专家中的每个专家接收相应的任务解决方案和伴随的第一置信度得分；生成按照第一置信度得分排序的、基于从第一子集的专家接收到的任务解决方案的任务解决方案的第一集合；将任务相关数据和任务解决方案的第一集合传送到多个第二电子设备，其中，第二电子设备中的每个第二电子设备与第二子集的专家中的相应一个专家相关联；经由第二电子设备从第二子集的专家中的每个专家接收指示从任务解决方案的第一集合中选择的相应的所选解决方案的信息以及伴随的第二置信度得分；生成按照第二置信度得分排序的、基于指示所选解决方案的信息的任务解决方案的第二集合；基于任务解决方案的第二集合生成初步输出；以及将基于初步输出的最终输出传送到用户接口。
8.在一些实施方式中，用于为用户提供的任务提供解决方案的数据处理系统可以包括：存储器；一个或更多个处理器；存储在存储器中并且可由一个或更多个处理器执行以进行如下操作的多个指令：接收与所选任务相对应的任务相关数据，其中，用一个或更多个专业领域中的所选领域来标识任务；从多个专家中自动地选择第一子集的专家、一个或更多
个中间子集的专家以及最终子集的专家，其中，专家的各子集中的每个专家与所选领域相关联；将任务相关数据传送到多个第一电子设备，其中，第一电子设备中的每个第一电子设备与第一子集的专家中的相应一个专家相关联；经由第一电子设备从第一子集的专家中的每个专家接收相应的任务解决方案和伴随的第一置信度得分；生成按照第一置信度得分排序的、基于从第一子集的专家接收到的任务解决方案的任务解决方案的中间集合；对于一个或更多个中间子集中的每一个，连续地：将任务相关数据和任务解决方案的中间集合传送到多个电子设备，其中，电子设备中的每个电子设备与相应的中间子集的专家中的相应一个专家相关联；经由电子设备从相应的中间子集的专家中的每个专家接收指示从任务解决方案的中间集合中选择的相应的所选解决方案的信息以及伴随的中间置信度得分；以及更新按照中间置信度得分排序的、基于指示所选解决方案的信息的任务解决方案的中间集合；将中间任务相关数据传送到多个最终电子设备，其中，最终电子设备中的每个最终电子设备与最终子集的专家中的相应一个专家相关联；经由最终电子设备从最终子集的专家中的每个专家接收指示从任务解决方案的中间集合中选择的相应的所选解决方案的信息以及伴随的最终置信度得分；以及基于指示所选解决方案的信息向用户接口传送任务解决方案的最终集合。
9.特征、功能和优点可以在本公开内容的各种实施方式中独立地实现，或者可以在另外其他实施方式中进行组合，参照以下描述和附图可以看到其进一步的细节。
附图说明
10.图1是说明性神经网络模型的示意图。
11.图2是根据本公开内容的方面的说明性学习系统的示意图。
12.图3是进一步描绘了输入层、隐藏层和输出层的图2的学习系统的示意图。
13.图4是根据本公开内容的方面的图2的学习系统的节点的示意图。
14.图5是图2的学习系统的数据流的示意图。
15.图6是图3的输入层的示意图。
16.图7是图3的隐藏层的示意图。
17.图8是图3的输出层的示意图。
18.图9是描绘根据本公开内容的方面的任务服务器的操作的说明性方法的步骤的流程图。
19.图10是描绘根据本公开内容的方面的训练学习系统的说明性方法的步骤的流程图。
20.图11是根据本公开内容的方面的说明性数据处理系统的示意图。
21.图12是根据本公开内容的方面的说明性分布式数据处理系统的示意图。
具体实施方式
22.学习系统(或专家系统)的各个方面和示例在下面描述并在相关联的附图中示出。除非另有具体说明，否则根据本教导的学习系统和/或它们的各种组件可以包含本文所描述、示出和/或并入的结构、组件、功能和/或变化中的至少一个。此外，除非明确排除，否则本文结合本教导描述、示出和/或并入的工艺步骤、结构、组件、功能和/或变化可以被包括
在其他类似的设备和方法中，包括在所公开的实施方式之间可互换。各种示例的以下描述本质上仅是说明性的，并且决不旨在限制本公开内容、其应用或用途。另外，以下描述的示例和实施方式提供的优点本质上是说明性的，并且并非所有示例和实施方式都提供相同的优点或相同程度的优点。
23.该具体实施方式包括以下部分，紧随其后：(1)定义；(2)概述；(3)示例、组件和替选方案；(4)优点、特征和益处；以及(5)结论。示例、组件和替选方案部分进一步分为子部分a至f，每个子部分被相应地标记。
24.定义
25.除非另有指示，否则以下定义适用于本文。
[0026]“包含”、“包括”和“具有”(及其变化形式)可互换使用以表示包括但不一定限于，并且是不旨在排除附加的、未列举的要素或方法步骤的开放式术语。
[0027]
诸如“第一”、“第二”和“第三”的术语用于区分或标识组的各种成员等，并且不旨在示出序列或数字限制。
[0028]“aka”是指“也称为”，并且可以用于指示给定一个或多个要素的替选或对应术语。
[0029]“处理逻辑”描述了被配置成通过执行一个或更多个逻辑和/或算术运算(例如，执行编码指令)来处理数据的任何合适的设备或硬件。例如，处理逻辑可以包括一个或更多个处理器(例如，中央处理单元(cpu)和/或图形处理单元(gpu))、微处理器、处理核集、fpga(现场可编程门阵列)、人工智能(al)加速器、数字信号处理器(dsp)和/或逻辑硬件的任何其他合适组合。
[0030]“控制器”或“电子控制器”包括用指令编程的处理逻辑，以执行关于控制元件的控制功能。例如，电子控制器可以被配置成接收输入信号，将输入信号与所选控制值或设定值进行比较，并确定到控制元件(例如，马达或致动器)的输出信号，以基于比较提供校正动作。在另一示例中，电子控制器可以被配置成在主机设备(例如，台式计算机、大型机等)与外围设备(例如，存储器设备、输入/输出设备等)之间接口，以控制和/或监视去往和来自外围设备的输入信号和输出信号。
[0031]
在方法的上下文中，“提供”可以包括接收、获得、购买、制造、生成、处理、预处理等，使得所提供的对象或材料处于要执行的其他步骤的状态和配置下。
[0032]
在本公开内容中，可以通过引用并入一个或更多个出版物、专利和/或专利申请。然而，这样的材料仅在所并入的材料与本文阐述的陈述和附图之间不存在冲突的程度下被并入。在任何这样的冲突(包括术语上的任何冲突)的情况下，以本公开内容为准。
[0033]
概述
[0034]
一般而言，本公开内容的混合人机学习系统提供了架构框架以用于专家分析由用户提交的疑问和/或问题(例如，任务)。该系统使得能够从专家提供的多个响应中聚合主观和客观答案，同时在速度、准确度和成本(例如，时间、金钱等)方面提供改进的性能。例如，健康护理从业者可以利用系统通过医生网络接收针对罕见或复杂医疗状况的医疗诊断。
[0035]
本公开内容的学习系统利用在深度学习、递归神经网络之后建模的网络，并且利用专家来解决主观和挑战性问题。学习系统可以提供否则通过已知方法对于计算机不可能解决的解决方案。与标准神经网络一样，该系统也可以用于预测性建模。
[0036]
学习系统被配置成使一个或更多个熟练的专家能够为所提出的任务提供独特的
解决方案，同时伴随有置信度得分，并且作为响应，将这些解决方案提交给专家投票组。投票组中的每个专家根据他们的专家意见从所提供的解决方案中选择正确或最正确的选择，并为选择提供他们自己的置信度得分。可以利用其他层和/或层排序的各种示例，并且系统被配置成输出答案，例如以按置信度排序的解决方案列表的形式。
[0037]
本文公开了用于向用户提供的任务提供一个或更多个专家提供的解决方案的技术解决方案。具体地，所公开的系统和方法解决了与学习系统和其他神经网络技术相关并在机器学习领域中出现的技术问题。即，为主观任务——例如可能没有明确的客观解决方案的任务和/或缺乏明确定义的训练集的任务——提供有意义的解决方案的技术问题。换言之，本文描述的学习系统实现了具有将多个专家的意见和主观响应提取为对用户提供的问题或任务的明确答案的独特能力的实际解决方案。本文公开的基于计算机的系统和方法通过将主题专家的主观响应和置信度排名合并到被配置成自动识别最佳解决方案的网络中提供了对该技术问题的改进的解决方案。
[0038]
所公开的系统和方法提供了本文讨论的原理的集成的实际应用。具体地，本文所述的系统和方法是对已知学习系统的改进，因为它们生成了对可能没有客观答案的任务的一个或更多个主观解决方案。此外，所公开的系统和方法描述了依赖于专家提供的审查过程和递归评分系统来提供任务解决方案的特定方式。因此，所公开的系统和方法也以有意义地有限方式利用相关原理。
[0039]
学习系统的各方面可以体现为计算机方法、计算机系统或计算机程序产品。因此，学习系统的各方面可以采用完全硬件实施方式、完全软件实施方式(包括固件、驻留软件、微代码等)或组合软件方面和硬件方面的实施方式的形式，所有这些在本文中通常可以被称为“电路”、“模块”或“系统”。此外，学习系统的各方面可以采用包含在计算机可读介质(或多个介质)中的计算机程序产品的形式，该计算机可读介质(或多个介质)具有包含在其上的计算机可读程序代码/指令。
[0040]
可以使用计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质和/或计算机可读存储介质。计算机可读存储介质可以包括电子、磁性、光学、电磁、红外和/或半导体系统、装置或设备、或这些的任何合适的组合。计算机可读存储介质的更具体的示例可以包括以下：具有一条或更多条导线的电连接件、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪速存储器)、光纤、便携式压缩盘只读存储器(cd-rom)、光存储设备、磁存储设备和/或这些的任何合适的组合等。在本公开内容的上下文中，计算机可读存储介质可以包括任何合适的非暂态有形介质，所述非暂态有形介质可以包含或存储用于由指令执行系统、装置或设备使用或者结合指令执行系统、装置或设备一起使用的程序。
[0041]
计算机可读信号介质可以包括例如在基带中或作为载波的一部分的、其中包含有计算机可读程序代码的传播数据信号。这样的传播信号可以采用各种形式中的任何一种，包括但不限于电磁的、光学的和/或其任何合适的组合。计算机可读信号介质可以包括不是计算机可读存储介质的并且能够对由指令执行系统、装置或设备使用或者结合指令执行系统、装置或设备使用的程序进行传送、传播或传输的任何计算机可读介质。
[0042]
可以使用任何合适的介质，包括但不限于：无线、有线、光纤线缆、rf等和/或这些的任何合适的组合，来传送在计算机可读介质上包含的程序代码。
[0043]
用于执行学习系统的方面的操作的计算机程序代码可以用编程语言的一种或任意组合来编写，所述编程语言包括面向对象编程语言(诸如java、c++)、常规过程编程语言(诸如c)和功能编程语言(诸如haskell)。移动应用可以使用任何合适的语言来开发，包括前面提到的那些语言、以及objective-c、swift、c#、html5等。程序代码可以作为独立的软件包完全在用户计算机上执行，部分地在用户计算机上执行，部分地在用户计算机上并且部分地在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情形下，远程计算机可以通过包括局域网(lan)或广域网(wan)的任意类型的网络连接至用户计算机，以及/或者可以与外部计算机进行连接(例如，通过使用因特网服务提供商的因特网)。
[0044]
可以在下面参考方法、装置、系统和/或计算机程序产品的流程图图示和/或框图来描述学习系统的各方面。流程图和/或框图中的每个块和/或块的组合可以由计算机程序指令实现。计算机程序指令可以被编程到处理逻辑(例如，通用计算机、专用计算机、现场可编程门阵列(fpga)或其他可编程数据处理装置的处理器)中或者以其他方式提供给处理逻辑(例如，通用计算机、专用计算机、现场可编程门阵列(fpga)或其他可编程数据处理装置的处理器)以产生机器，使得经由处理逻辑执行的(例如，机器可读)指令创建用于实现在流程图和/或框图块中指定的功能/动作的装置。
[0045]
另外地或可替选地，这些计算机程序指令可以存储在计算机可读介质中，该计算机可读介质可以指导处理逻辑和/或任何其他合适的设备以特定方式起作用，使得存储在计算机可读介质中的指令产生包括实现在流程图和/或框图块中指定的功能/动作的指令的制品。
[0046]
计算机程序指令还可以被加载到处理逻辑和/或任何其他合适的设备上，以使得在设备上执行一系列操作步骤，从而产生计算机实现的过程，使得所执行的指令提供用于实现在流程图和/或框图块中指定的功能/动作的过程。
[0047]
附图中的任何流程图和/或框图旨在示出根据学习系统的各方面的系统、方法和计算机程序产品的可能实现方式的架构、功能和/或操作。在这方面，每个块可以表示模块、代码段或代码部分，所述模块、代码段或代码部分包括用于实现指定的逻辑功能的一个或更多个可执行指令。在一些实现方式中，块中提到的功能可以不以附图中提到的顺序出现。例如，根据所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者这两个块有时可以按相反的顺序执行。每个块和/或块的组合可以由执行指定功能或动作的基于专用硬件的系统(或专用硬件和计算机指令的组合)来实现。
[0048]
示例、组件和替选方案
[0049]
以下部分描述了说明性学习系统以及相关系统和/或方法的选定方面。这些部分中的示例旨在用于说明而不应被解释为限制本公开内容的范围。每个部分可以包括一个或更多个不同的实施方式或示例、以及/或者上下文或相关的信息、功能和/或结构。
[0050]
a.说明性混合人机学习系统
[0051]
如图1至图3所示，本部分描述了上述学习系统的示例的说明性混合人机学习系统100。
[0052]
学习系统100使用在构造和功能上类似于神经网络的框架来确认用户给定任务的有意义的解决方案。通常，神经网络是受例如在动物的脑中发现的生物神经网络启发并与之类似的计算系统。这样的系统考虑任务的示例，并且学习通过训练来解决这样的任务以
获得这些示例的已知解决方案，通常没有任务特定的规则。一些神经网络系统可以在没有示例的情况下以无监督的方式自主学习，例如，通过从复杂的和看似不相关的信息集中得出结论。
[0053]
关于图1，神经网络通常基于连接单元(通常称为节点或神经元)的集合，其可以松散地模拟生物脑的神经结构。每个连接，像生物脑中的突触一样，可以向其他节点传送信号。然后，接收信号的节点对其进行处理，并且可以向连接至其的节点发信号。
[0054]
例如，节点通常被布置或聚合成如下层：包括标记为i1至in的输入节点的输入层；包括第一隐藏层的一个或更多个隐藏层，所述第一隐藏层包括标记为h
11
至h
1n
的第一隐藏节点；以及包括标记为o1至on的输出节点的输出层。输入信号例如由用户提供给输入层的每个输入节点。信号在传播到第一隐藏层的节点中的每一个之前由输入层中的每个节点处理。该信号的传播和处理可以继续通过网络到达最终输出层。输出层包含一个或更多个节点，所述一个或更多个节点在处理信号之后输出一个或更多个信号作为最终输出。输出可以提供给用户。另外地或可替选地，输出可以再次被馈送到系统中，即作为输入。如果信号多次穿过各层(例如从输出回到输入)，则学习系统100可以被称为递归神经网络。另外，如果神经网络包含多个隐藏层，则它被称为“深度”，例如在术语上被称为深度学习。
[0055]
在典型的神经网络实现中，通过每个节点连接传播的信号是实数。每个节点例如利用非线性可微分函数(aka激活函数)对其输入的总和计算其输入的聚合。在一些示例中，激活函数是单调的和s形的。在许多神经网络实现中，每个节点具有相关联的权重。通常，每个权重值是实数。权重可以表示相应节点在网络中的有效影响或强度。例如，在处理期间，当计算输出时，节点可以将其实数输入乘以其相关联的权重。具有较高权重的节点可能比具有较低权重的节点更能影响网络的总体输出。虽然一些神经网络可以自主学习(例如，无监督学习)，但是其他神经网络必须被训练(例如，用标记的数据集)以更新权重或修改网络架构，以便创建输入到输出的最佳映射(例如，监督学习)。训练神经网络可以包括使用优化算法(例如，反向传播)来到最优或准最优的权重集。
[0056]
不需要对网络进行训练来使学习系统100起作用，因为专家被选择成基于先前经验执行任务。然而，使用具有已知结果的数据作为目标值的网络训练可以用来提高某些网络和任务(例如，需要研究和/或学习的那些网络和任务)的性能和/或准确度。在下面的部分c中更深入地描述了训练学习系统的更详细的描述。
[0057]
转到图2和图3，学习系统100利用具有神经网络架构的专家网络106，其中网络的每个节点包括专家(aka主题专家)和辅助设备(例如，移动设备)。通过每个节点连接传播的信号是由前一节点的专家提供的定性和/或定量分析。
[0058]
用户102经由任务服务器104与学习系统100通信。任务服务器104是数据处理系统(参见下面的部分d)的示例。任务服务器104包括具有数据库的存储器设备，该数据库具有任务数据120、专家数据122和网络数据124。存储在数据库中的所有信息可以被加密/混淆以确保最佳的安全实践。
[0059]
任务数据120可以包括与任务有关的任何数据，包括例如对任务的描述(例如，问题、描述、媒体图片、视频等、适合于任务的专业领域和/或与任务有关的任何其他附加信息)。在一些示例中，任务数据120包括最大任务时限。在一些示例中，任务时限可以具有5分钟的默认值。这对于时间敏感的任务(例如，医疗诊断)可能会有所帮助，因为特定层中的所
有专家可能需要在可以计算网络误差、调整权重和传播输出之前作出响应。
[0060]
在一些示例中，任务数据120包括奖励描述。除其他因素外，还可以基于准确度和/或响应性向专家支付奖励。根据奖励，如果任务没有及时完成，或者如果任务不包含某些信息(例如，如适当的参考资料)，或者由于各种其他原因，则专家可能会得到较少的奖励(或根本没有奖励)。另外地或可替选地，可以向个人专家或专家组提供奖励。另外地或可替选地，用户102可以请求奖励，从而允许专家付费以参与任务。
[0061]
专家数据122可以包括与专家有关的任何合适的数据，包括每个专家的唯一id、每个专家的专业知识的分类描述(例如，医学、音乐、法律等)以及/或者与每个专家可能已经提供的先前任务解决方案有关的历史数据。
[0062]
在一些示例中，专家数据122包括与每个专家相关联的权重值。在学习系统100中，权重可以表示过去结果/表现的速度和准确度。与上面的描述中一样，学习系统100中的权重表示专家网络106中的有效影响或强度。学习系统100可以利用专家的权重来放大或减弱输入并增加或减小信号在连接处的强度，从而为关于算法试图学习的任务的输入分配重要性。
[0063]
专家数据122可以另外包括与每个专家相关联的置信度水平。专家可以对他们自己的输出的置信度水平进行评级，例如，在-1至1、0至1、1至100之间的值或通过星级数或其他评级系统。如果置信度水平太低，则输出可能不会传播到网络中的其他节点(参见下面对激活阈值的描述)。另外，在一些实施方式中，专家对其他专家的输出进行评级。
[0064]
在一些示例中，任务服务器104利用专家数据122基于例如专业、人口统计、准确度、可用性、响应时间、成本等自动地对专家进行分类，使得可以确定网络配置并将其存储在网络数据124中。以这种方式，由学习系统100创建并维护注册的待命专家的网络。
[0065]
在一些示例中，网络数据124包括用于例如在训练过程期间自动地调整权重的学习率值。在一些示例中，学习率的默认值为0.25％。将网络误差乘以学习率，并且相应地调整权重。在一些实施方式中，学习系统100利用模拟退火，其中学习率随着训练数据集被处理而降低。
[0066]
在一些示例中，网络数据124包括最大重入值，该最大重入值表示网络可以将输出反馈到网络的输入中的最大次数(即，最大训练次数)。将输出反馈到输入中可以帮助网络形成共识(即，收敛)。在一些示例中，最大重入值的默认值可以为2个最大训练次数。
[0067]
在一些示例中，网络数据124包括最小注释值，该最小注释值描绘了在将专家的输出传播到下一层之前必须由每个专家键入到注解部分中的最小字符数。在一些示例中，最小注释值的默认值为20个字符。最小注释值可以鼓励专家为他们的输出和整体任务解决方案做出更多贡献。注释可以包含支持他们的输出的参考资料。
[0068]
在一些示例中，网络数据124包括激活阈值。如果专家将他们自己的置信度水平排在激活阈值以下，则他们的输出可能不会传播(例如，可能被阻止传播)到下一层的专家。激活阈值可以被设置为0％至100％之间的任何值，并且在一些示例中可以具有0.1％的默认值。如果没有来自位于同一层中的其他专家的其他输出可用于发送到下一层，则可以忽略激活阈值，并且可以将输出发送到下一层。
[0069]
在一些示例中，网络数据124包括替换率。提供错误输出或由于表现不佳而具有低权重的专家可以由学习系统100自动替换。替换率指定专家可以被替换的概率。在一些示例
中，替换率可以具有0.1％的默认值。网络中的所有专家的权重可以归一化在0和1之间，并且如果特定专家的权重小于替换率，则可以移除该专家并用另一专家(即，可以提供更准确的结果的专家)替换该专家。
[0070]
在专家网络106处理任务之前，每个专家可以被分组为输入层108、隐藏层110或输出层112。专家可以由任务服务器104自动/动态地选择和分组，以及/或者专家可以由用户指定。专家可以通过他们的权重来排序，所述权重可以从他们先前的输出的准确度得出。具有最高权重的专家可以较高(即，较早)被置于网络中，而具有较低权重的专家可以较低(即，较晚)被置于网络中。学习系统的某些层可以通过如下面更深入描述的特定于层的规则进行操作。在当前示例中，尽管学习系统100可以替选地利用具有更多或更少的隐藏层的专家网络，但是为简洁和简单起见，讨论了单个隐藏层。
[0071]
转到图4，用户102和专家网络106中的每个专家是网络的通用节点114的示例。每个节点114包括与人116(用户或专家)通信的设备118。在一些实施方式中，设备118是智能手机。在学习系统100的一些实施方式中，设备118包括台式计算机或膝上型计算机。设备118被配置成接收输入并向任务服务器104提供输出。人116与设备118之间的通信可以使用任何合适的人机接口(hmi)例如使用图形用户接口(gui)来实现。设备118可以具有存储在其上的用于操作的数据，诸如任务数据120、专家数据122和网络数据124。在一些示例中，某些节点的设备具有存储在其上的部分数据，例如，某些专家节点可以仅具有存储在他们的设备上的任务数据。
[0072]
学习系统100的一些实施方式利用安装在设备118上的应用119(即，软件应用)。应用119被配置成使人116能够注册为专家以参与解决任务。在一些示例中，应用119被配置成使人116能够注册为用户，例如以提交他们自己的任务。通过使用应用119，专家可以接收警报，推送通知、文本消息和/或提供参与的新任务的通知(例如，作为费用的回报)的类似消息。在一些示例中，应用119被配置成使用户102能够在设备118上捕获照片或视频，例如以提交新任务。
[0073]
人116可以可选地例如匿名地共享可用性和位置信息。默认情况下可以禁用该选项，并且如果由人116有意地启用该选项，则设备118可以记录由人116访问的位置以及相关联的时间戳。在一些示例中，该位置数据可以用于协助执法，例如在破案或寻失踪人员时。
[0074]
转到图5，用户102向任务服务器104提交任务103(以及上述相关联的任务数据120)。在任务服务器104接收到任务103之后，任务服务器估计完成任务的成本和时间。任务服务器104可以尝试联系每个专家的设备(例如通过推送通知、文本消息、等)，并确认当前可用于(或可能变得可用于)参与当前专家网络的特定专家。然后，任务服务器104可选地可以对任务103执行预处理操作105。否则，任务103被分派到专家网络106。
[0075]
预处理105在被利用时被配置成针对特定领域或专业领域定制学习系统100。在一个示例中，预处理105可以用来帮助音乐艺术家接收对他们音乐的反馈。在该示例中，预处理105可能需要在提交文件和任务之前压缩或拆分音频文件或者执行流派和风格分类、艺术家标识或者执行声学分析。在另一示例中，预处理105可以对股票或其他证券的新闻文章和分析师意见利用自然语言处理(nlp)模块。在该示例中，文本的部分可以被提交给学习系统100进行语义分析，以便接收股票价格应上涨还是下跌的共识。在又一示例中，预处理105
可以由健康护理专业人员使用以使患者健康护理数据能够由专家系统106接收以供分析，例如以提供医疗诊断。在该示例中，专家网络可以由健康护理专业人员组成，这些健康护理专业人员受过训练并了解特定医疗状况或所讨论的患者症状。这种配置可以用于急诊医学、协作医学研究等。
[0076]
如图5和图6所示，输入层108从任务服务器104接收任务103。如图6所示，输入层108中的每个专家(标记为输入节点1至n)经由对应的设备从任务服务器104接收任务103，并且被允许有如由任务时限指定的特定时间量来处理和提交解决方案。输入层108中的每个专家提供任务103的唯一且主观的解决方案以及相关联的置信度水平作为输出。例如，第一层中的专家可以提供表示为文本、图、照片、视频、记录、计算、预测、计算机文件和/或可以构成解决方案的任何其他信息的输出。
[0077]
来自输入层108中的每个专家的输出中的一些或全部被聚合成输入层的输出109。例如，来自输入层108中的每个专家的输出可以被编译成通过由每个专家提供的置信度水平排序的解决方案的列表。然后，输入层输出109和任务103被发送到隐藏层110。从一层到下一层的输出可以经由任务服务器104或可替选地直接传送到后续层中的专家。
[0078]
如图5和图7所示，隐藏层110接收输入层输出109和任务103。隐藏层110中的每个节点(标记为隐藏节点1至n)接收输入层输出109和任务103(即，在相关联的设备处)。在一些示例中，隐藏层中的节点可能不会从输入层108接收每个解决方案。例如，被分配有低于激活阈值的置信度水平的解决方案可以不被包括在输出109中。隐藏层110中的每个专家可以从输入层的输出109中提供的解决方案中进行选择，并且同样地分配与该选择相关联的置信度水平。该选择和相关联的置信度水平形成来自隐藏层中的每个节点的输出。在一些示例中，隐藏层110中的一个或更多个专家被允许或预期选择多个解决方案，并为每个选择提供伴随的置信度水平。
[0079]
来自隐藏层110中的每个节点的输出中的一些或全部被聚合成隐藏层的输出111。例如，来自隐藏层110中的每个节点的输出可以被编译成通过由每个隐藏层专家提供的置信度水平排序的所选解决方案的列表。隐藏层输出111被发送到输出层112。在具有多个隐藏层的示例中，第一隐藏层输出被发送到第二隐藏层以进行类似的处理。这可以继续，直到每个隐藏层都处理了任务103。
[0080]
如图5和图8所示，输出层112接收隐藏层输出111和任务103。输出层112中的每个节点(标记为输出节点1至n)经由相关联的设备接收隐藏层输出111和任务103。在一些示例中，输出层中的节点可能不会从隐藏层110接收所有解决方案。例如，被分配有低于激活阈值的置信度水平的解决方案可以不被包括在隐藏层输出111中。输出层110中的每个专家可以从隐藏层输出111中提供的解决方案中选择，并且同样地分配与其选择相关联的置信度水平。选择和相关联的置信度水平形成来自输出层中的每个节点的最终输出。在一些示例中，输出层112中的一个或更多个专家可以被允许或预期选择多个解决方案，并为每个选择提供伴随的置信度水平。
[0081]
来自输出层112中的每个节点的输出中的一些或全部被聚合成输出层的输出113。在一些示例中，置信度得分可以是聚合的。换言之，由每个专家针对给定解决方案提供的置信度得分可以是累积的、平均的和/或以其他方式组合的。
[0082]
在一些示例中，输出层输出113包括按置信度排序的单个解决方案的列表。在一些
示例中，输出层输出113包括按置信度排序的其他列出的结果。例如，隐藏层输出111可以与输出层输出113组合。
[0083]
返回到图5，可以在提供给用户102之前将后处理115应用于输出层输出113。后处理115在被利用时被配置成针对特定领域或专业领域定制专家系统104的输出。在一个示例中，后处理115可以帮助音乐艺术家确定歌曲的商业可行性。在另一示例中，后处理115可以帮助投资者买卖股票和/或其他证券以及/或者管理其头寸。在又一示例中，后处理115可以基于从专家网络104接收的诊断通知医生可用的选项。
[0084]
预处理105和后处理115使得专家能够在网络操作期间进一步处理或变换数据。例如，如果专家正在分析音乐，则专家可以运行一个或更多个提供的软件实用程序来分析或变换音频文件以完成任务。
[0085]
在网络是递归的示例中，输出层输出113与任务103一起被反馈至输入层108(参见上面的最大重入)中。如果网络是递归的，为了确定将最终输出发送回第一层是否合适，则可以分析输出的数量和结果的变化。
[0086]
在一些示例中，预期的最终输出的数量由max(1，输入层专家计数/网络中的总专家计数)*输入层专家计数来确定。如果输出的最终数量大于预期的数量，并且如果网络循环未超过最大重入设置，则网络重新处理输出。
[0087]
如果输出被反馈到输入层108，则由给定节点提供的原始解决方案可能不会被反馈到该节点，除非其他专家添加或修改了附加注解、注释、参考资料或其他数据以供重新考虑。
[0088]
如果专家未在任务时限之前作出响应，则网络可以在没有他们的响应的情况下继续。如果专家在稍后的时间提供响应，并且网络在该时间点仍在递归网络操作中运行，则输出可以在网络的下一次传递中传播。
[0089]
随着每次循环通过网络，权重被调整并可选地被保存。在一些示例中，节点被重新布置为竞争学习过程的一部分。例如，任务服务器104对网络布局的重新排序可以发生在网络的每个循环/最大训练次数之后。
[0090]
学习系统100中的误差可以根据学习系统100是否正在训练而以一种或更多种方式计算。对于训练期间的误差计算，参见下面的部分c。在一些示例中，学习系统100可以一致地和/或顺序地利用几个误差计算。
[0091]
在一些示例中，通过所有专家分配给输出的置信度排序来确认学习系统100中的误差。如果所有输出的所有置信度得分的平均值低于50％(即，如果最终解决方案的总体置信度是低的)，则从所有权重中减去差值。如果平均值高于50％，则将差值加到所有权重。(例如，(1-0.5)*学习率)。
[0092]
在一些示例中，通过将最终输出的数量与预期输出的数量进行比较来确认学习系统100中的误差。当输出的数量大于预期输出的数量时，网络不收敛。当网络不收敛时，可以从所有权重中减去补偿百分比。否则，可以将补偿百分比加到所有权重。
[0093]
在权重已经被更新并且网络已经被重新布置之后，如果低于指定的替换率，则学习系统100可以可选地移除并替换n％的最低权重专家。可以将替换率与所有当前权重的归一化(例如，0至1)值进行比较。另外，在权重已经被更新之后，可以在专家数据122中更新每个专家的权重(在一些示例中，可以为每个专家存储多个权重，每个唯一任务一个权重)。
[0094]
在一些示例中，最终网络配置被保存在网络数据124中。例如，可以保存设置中的一个或更多个(例如，专家id、准确度计数器值等)以便于在稍后的时间点再次加载和/或重构相同或类似的网络。
[0095]
在一些示例中，权重未被利用。改为，专家可以被完全移除和/或用提供更准确的结果的其他专家替换(例如，如果原始专家的输出是错误的)。
[0096]
如果权重未被使用，则可以利用学习率来确定替换专家的截止阈值。在一些示例中，专家的替换被确定为专家对整体网络误差的贡献。
[0097]
在一些示例中，未利用权重的网络利用所有专家分配给所有输出的置信度排序。例如，如果所有输出的所有置信度得分都低于50％的平均值，则从所有准确度计数器中减去差值。如果高于50％，则将差值加到所有准确度计数器：(1-0.5)*学习率。
[0098]
在一些示例中，未利用权重的网络将最终输出的数量与预期输出的数量进行比较。如果输出的数量大于预期输出的数量(即，如果网络未收敛)，则从所有准确度计数器中减去百分比，否则相加。
[0099]
在更新了准确度计数器之后，可以使用每个专家的准确度计数器来确定是否应当从网络中移除该专家。如果专家的准确度计数器低于替换率，则学习系统100可以可选地移除和替换n％的专家。将替换率与所有当前准确度计数器的归一化(例如，0至1)值进行比较。该过程在每次通过递归网络时被重复，从而允许学习系统100在进行中时学习和改进，或者在不使用权重的情况下自适应(例如使用无监督学习)。
[0100]
b.任务服务器的操作的说明性方法
[0101]
本部分描述了本公开内容的任务服务器(例如上述学习系统100的任务服务器104)的操作的说明性方法200的步骤；参见图9。可以在下面描述的方法步骤中使用上述学习系统的各方面。在适当的情况下，可以参考在执行每个步骤时可以使用的组件和系统。这些参考是为了说明，并不旨在限制执行方法的任何特定步骤的可能方式。
[0102]
图10是示出在说明性方法中执行的步骤的流程图，并且可以不叙述方法的完整过程或所有步骤。虽然方法200的各个步骤在下面描述并在图10中描绘，但是这些步骤不一定需要全部执行，并且在一些情况下可以同时执行或以与所示顺序不同的顺序执行。结合上述学习系统，下面提供的方法使得用户能够提交任务并通过将专家提供的数据传播通过学习系统的层的方式来接收一个或更多个经审查的候选解决方案。
[0103]
方法200的步骤202包括在本公开内容的学习系统处接收用户提交的任务。任务可以采用任何形式，然而，预期大多数任务将是需要研究和/或人的意见来回答的复杂的主观问题。任务也可以是首先需要协作研究的行动。例如，可能要求专家执行对失踪人员或物品的搜索，以及/或者可能要求专家拍摄人员、地点或物品的照片或视频，并将该照片或视频传送给用户。
[0104]
任务应当具有明确的说明，并且如果需要任何支持的电子文件，则它们应当是小的并且易于传送，并且应当被扫描病毒(这也可以通过学习系统100的服务器自动进行)。可以在此时进行可选的预处理。
[0105]
任务可以由多个元素或组件构成，并且学习系统100被配置成以有效的方式分发任务。例如，如果任务由16个问题或目标组成，并且如果输入层具有8个专家节点，则可以向输入层中的每个专家发送两个项目。
[0106]
一旦任务和支持文件(如果有的话)被提交给学习系统100，专家小组(其可以包括所选网络的专家)就可以可选地查看任务，并在适当的情况下提供改变任务的建议。
[0107]
方法200的步骤204包括为学习系统选择专家组。这可以在分析任务标准之后由学习系统100自动执行，或者它可以手动执行并由用户自行决定，用户可以指定选择标准例如年龄、性别、位置、教育、收入、经验、能力测试结果、先前任务表现、准确度、执行任务的成本等。
[0108]
作为专家选择过程的一部分，除了估计的任务持续时间、任务的完整描述以及任何强加的时限或其他相关信息之外，还向专家提供完成任务的报价(如果指定或需要)。专家可以决定是否参与任务。例如，每个专家可以接受、拒绝或还价。还价可以提供替选的开始时间、持续时间或报价。用户或软件可以做出接受或拒绝任何还价的决定。在选定数量的专家已经接受邀请之后，或者在用户已经确定足够的专家已经接受邀请之后，可以开始处理。可以向用户通知进度开始、估计的持续时间等，并且用户可以连续地接收对任务的更新。
[0109]
可以选择不合格(基于用户标准)的一个或更多个专家参与者并将其添加到网络作为控制样本的形式，以帮助确保输出是可靠的。当专家确认他们的兴趣和可用性时，学习系统100可以提供测试问题，从而专家可以确认他们有效地参与任务的兴趣和能力。学习系统100可以提供测试问题或者用户可以提供测试问题。
[0110]
如果没有足够的合格的和感兴趣的专家可用于执行任务，则学习系统100可以例如基于由注册的专家设置的可用性和勿扰时间或者通过基于过去的可用性预测专家的可用性来建议尝试重新运行任务的替选和最佳时间。用户还可以修改选择标准以到其他专家，或者可以在稍后的时间再次尝试任务。
[0111]
一旦专家已经被确认并致力于任务，并且任务开始时间已知，就可以向用户显示或传送指示估计的开始时间、成本、完成时间和关于任务的其他信息的消息。
[0112]
方法200的步骤206包括加载所选专家的专家设置。专家设置被加载到将管理任务的学习系统(其可以驻留在服务器和/或由专家或用户拥有的计算机或设备上)中，包括专家权重和各种其他设置，其可以被加载到网络布局中。在一些示例中，可以完全加载先前保存的网络，包括专家id、每个专家的权重、置信度水平、布局和各种其他设置，以便于再次加载或重构相同或类似的网络。在这样的示例中，可以跳过步骤208。
[0113]
方法200的步骤208包括确定学习系统的布局。学习系统100可以自动确定最佳布局(层数和每层的专家数量)。在一些示例中，用户可以指定网络布局。网络布局取决于任务复杂性、包括目标的任务要素、是否将进行训练课程——并且如果进行训练课程，则取决于训练课程任务和输出的类型和数量——以及其他因素。
[0114]
方法200的步骤210包括使用学习系统处理任务(例如，在用户最终批准之后)。对于该操作的更详细的描述，参见上文。
[0115]
方法200的步骤212包括向用户通知结果。这可以包括来自专家的一个或更多个输出以及任何附带的文件、媒体、数据等。
[0116]
c.用于训练混合人机学习系统的说明性方法
[0117]
本部分描述了根据本公开内容的各方面的用于训练混合人机学习系统的说明性方法300的步骤；参见图10。可以在下面描述的方法步骤中使用上述学习系统的各方面。在
适当的情况下，可以参考在执行每个步骤时可以使用的组件和系统。这些参考是为了说明，并不旨在限制执行方法的任何特定步骤的可能方式。
[0118]
通常，训练神经网络包括使用优化算法来到最佳的权重集。在网络可以被训练之前，对其进行初始化，这可能需要创建初始的网络布局、加载先前保存的节点权重以及修改各种设置和参数。
[0119]
存在不同的算法来训练神经网络，例如反向传播，反向传播是计算梯度以调整权重的迭代监督学习算法。另一模型通过遗传算法进化多项式神经网络，其中权重的评估与架构构造同时进行。可以以各种方式训练自组织映射(kohonen网络)和其他类型的神经网络。
[0120]
本公开内容的学习系统可以以奖励对网络贡献最有价值且及时的输出的节点的方式来优化其网络架构和权重。如果执行训练，则训练数据集被标记并且知识被传送到数据集，从而网络学习标签与数据之间的相关性。
[0121]
学习系统100、用户和/或第三方可以向网络提供标记的训练数据集。标签(也称为目标值)——其可以表示为文本、图、照片、视频、记录、计算、预测、计算机文件或专家可以作为响应或输出提供的任何其他内容)——被分配有一个或更多个值，所述一个或更多个值的范围从-1(不正确)到1(正确)，指定已知输出得分(可以使用其他范围)。可以向专家呈现从其进行选择的单选或多选的正确和不正确的值。
[0122]
图10是示出在说明性方法中执行的步骤的流程图，并且可以不叙述方法的完整过程或所有步骤。虽然方法300的各个步骤在下面描述并在图4中描绘，但是这些步骤不一定需要全部执行，并且在一些情况下可以同时执行或以与所示顺序不同的顺序执行。
[0123]
方法300的步骤302包括向学习系统100提供训练数据集。训练数据集(aka目标值)可以从第一层或任何其他层开始被馈送到网络中。任务可以被异步地或同步地发送到每层中的专家，由用户或学习系统自行决定，所述学习系统可以在服务器上或在用户的计算机或设备上运行。
[0124]
方法300的步骤304包括接收来自第一层中的专家的输出。第一层中的专家被呈现有任务，并被允许有由任务时限用户设置指定的特定的时间量来处理和提交结果。
[0125]
在训练期间，可以仅允许网络的第一层中的专家从来自训练样本的n个预定义和标记的静态输出之一中进行选择(所述n个预定义和标记的静态输出根据正确性或根据另一范围从-1至1进行分级)。
[0126]
方法300的步骤306包括通过后续层发送那些专家的结果以进行投票。
[0127]
方法300的步骤308包括计算学习系统100中的误差并更新专家的权重。可以以一种或更多种方式计算学习系统100中的误差。在一些示例中，学习系统100可以一致地和/或顺序地利用几个误差计算。
[0128]
例如，每个专家的预期输出与实际输出的差值可以对训练期间专家的权重有贡献。例如，如果专家选择了得分为-0.5的不正确标签，则将从专家的权重中减去0.5％的学习率。
[0129]
另外地或可替选地，可以针对整个网络确认学习系统100的整体输出与预期输出(即，目标值)之间的差值。例如，如果所有输出的平均值相对于所有标记的输出可能为0.75，则0.75％的学习率将被加到所有专家的权重。
[0130]
另外地或可替选地，如果所有输出的所有置信度得分低于50％的平均值，则可以从所有专家的权重中减去差值。如果高于50％，则将差值加到所有权重：(1-0.5)*学习率。
[0131]
另外地或可替选地，可以通过将最终输出的数量与预期输出的数量进行比较来确认学习系统100中的误差。在输出的数量大于预期输出的数量的情况下，网络不收敛。在网络不收敛的情况下，可以从所有权重中减去补偿百分比，否则，可以将补偿百分比加到所有权重。
[0132]
方法300的可选步骤310包括如果用户启用模拟退火并且学习率当前高于0％，则降低学习率。学习率可以降低当前值的设定百分比(例如，10％)。更多信息参见上面的先前部分。
[0133]
方法300的可选步骤312包括将来自输出层的输出发送回输入层以进行进一步处理。如果执行该步骤，则方法返回到步骤304，否则该方法继续。
[0134]
方法300的可选步骤314包括向用户发送结果的通知，例如“网络获得10％的准确度并且在训练之后现在是80％的准确度。”[0135]
d.说明性数据处理系统
[0136]
如图6所示，该示例描述了根据本公开内容的各方面的数据处理系统600(也称为计算机、计算系统和/或计算机系统)。在该示例中，数据处理系统600是适于实现上述学习系统和相关联的方法的各方面的说明性数据处理系统。更具体地，在一些示例中，作为数据处理系统的实施方式的设备(例如，智能手机、平板电脑、个人计算机)可以托管与学习系统有关的数据，执行学习系统的一个或更多个模块或软件程序，实现用户与学习系统的专家之间的通信，以及/或者对由学习系统检索、提供或生成的数据执行计算和/或分析。
[0137]
在该说明性示例中，数据处理系统600包括系统总线602(也称为通信框架)。系统总线602可以提供处理器单元604(也称为一个或多个处理器)、存储器606、永久性存储装置608、通信单元610、输入/输出(i/o)单元612、编解码器630和/或显示器614之间的通信。存储器606、永久性存储装置608、通信单元610、输入/输出(i/o)单元612、显示器614和编解码器630是可由处理器单元604经由系统总线602访问的资源的示例。
[0138]
处理器单元604用于运行可以被加载到存储器606中的指令。处理器单元604可以包括多个处理器、多处理器核和/或特定类型的一个或多个处理器(例如，中央处理单元(cpu)、图形处理单元(gpu)等)，这取决于特定实现方式。此外，处理器单元604可以使用多个异构处理器系统——其中主处理器与辅助处理器存在于单个芯片上——来实现。作为另一说明性示例，处理器单元604可以是包含相同类型的多个处理器的对称多处理器系统。
[0139]
存储器606和永久性存储装置608是存储设备616的示例。存储设备可以包括能够临时地或永久地存储信息(例如数字信息)的任何合适的硬件，所述信息诸如数据、功能形式的程序代码和/或其他合适的信息。
[0140]
存储设备616也可以被称为计算机可读存储设备或计算机可读介质。存储器606可以包括易失性存储存储器640和非易失性存储器642。在一些示例中，包含诸如在启动期间在数据处理系统600内的元件之间传送信息的基本例程的基本输入/输出系统(bios)可以存储在非易失性存储器642中。根据特定的实现方式，永久性存储装置608可以采用各种形式。
[0141]
永久性存储装置608可以包含一个或更多个组件或设备。例如，永久性存储装置
608可以包括一个或更多个设备，诸如磁盘驱动器(也称为硬盘驱动器或hdd)、固态盘(ssd)、软盘驱动器、磁带驱动器、jaz驱动器、zip驱动器、闪速存储器卡、记忆棒等或者这些的任何组合。这些设备中的一个或更多个可以是可移除的和/或便携式的，例如可移除的硬盘驱动器。永久性存储装置608可以包括单独的或与其他存储介质组合的一个或更多个存储介质，包括光盘驱动器诸如压缩盘rom设备(cd-rom)、cd可记录驱动器(cd-r驱动器)、cd可重写驱动器(cd-rw驱动器)和/或数字通用光盘rom驱动器(dvd-rom)。为了便于将永久性存储装置608连接至系统总线602，通常使用可移除或不可移除的接口，诸如接口628。
[0142]
输入/输出(i/o)单元612允许与可以连接至数据处理系统600的其他设备(即，输入设备和输出设备)的数据的输入和输出。例如，输入设备可以包括一个或更多个指向和/或信息输入设备，例如键盘、鼠标、轨迹球、触控笔、触摸板或触摸屏、麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、tv调谐卡、数码相机、数码摄像机、web相机等。这些和其他输入设备可以经由接口端口通过系统总线602连接至处理器单元604。合适的接口端口可以包括例如串行端口、并行端口、游戏端口和/或通用串行总线(usb)。
[0143]
一个或更多个输出设备可以使用与输入设备相同类型的端口中的一些，并且在一些情况下使用与输入设备相同的实际端口。例如，usb端口可以用来向数据处理系统600提供输入并将来自数据处理系统600的信息输出到输出设备。可以为需要特定的适配器的某些输出设备(例如，监视器、扬声器和打印机等)提供一个或更多个输出适配器。合适的输出适配器可以包括例如提供输出设备与系统总线602之间的连接手段的视频卡和声卡。其他设备和/或设备系统可以提供输入能力和输出能力两者，例如远程计算机660。显示器614可以包括被配置成向用户显示信息的任何合适的人机接口或其他机制，例如crt、led或lcd监视器或屏幕等。
[0144]
通信单元610是指用于提供与其他数据处理系统或设备的通信的任何合适的硬件和/或软件。虽然通信单元610被示出为在数据处理系统600内部，但是在一些示例中它可以至少部分地在数据处理系统600外部。通信单元610可以包括内部技术和外部技术，例如调制解调器(包括常规电话级调制解调器、线缆调制解调器和dsl调制解调器)、isdn适配器和/或有线和无线以太网卡、集线器、路由器等。数据处理系统600可以使用到一个或更多个远程计算机660的逻辑连接在联网环境中操作。远程计算机660可以包括个人计算机(pc)、服务器、路由器、网络pc、工作站、基于微处理器的设备、对等设备、智能手机、平板电脑、另一网络便笺等。远程计算机660通常包括相对于数据处理系统600描述的许多元件。远程计算机660可以通过网络接口662逻辑地连接至数据处理系统600，网络接口662经由通信单元610连接至数据处理系统600。网络接口662包括有线和/或无线通信网络，例如局域网(lan)、广域网(wan)和蜂窝网络。lan技术可以包括光纤分布式数据接口(fddi)、铜缆分布式数据接口(cddi)、以太网、令牌环等。wan技术包括点到点链路、电路交换网络(例如，综合服务数字网络(isdn)及有关其的变体)、分组交换网络和数字用户线(dsl)。
[0145]
编解码器630可以包括编码器、解码器或两者，包括硬件、软件或硬件和软件的组合。编解码器630可以包括任何合适的设备和/或软件，其被配置成对数据流或信号进行编码、压缩和/或加密以进行传输和存储以及被配置成通过对数据流或信号进行解码、解压缩和/或解密来对数据流或信号进行解码(例如，以用于视频的回放或编辑)。虽然编解码器630被描绘为单独的组件，但是编解码器630可以被包含或实现在存储器例如非易失性存储
器642中。
[0146]
非易失性存储器642可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)、闪速存储器等或者这些的任意组合。易失性存储器640可以包括随机存取存储器(ram)，其可以充当外部高速缓冲存储器。ram可以包括静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据速率sdram(ddr sdram)、增强型sdram(esdram)等或者这些的任意组合。
[0147]
用于操作系统、应用和/或程序的指令可以位于存储设备616中，存储设备616通过系统总线602与处理器单元604通信。在这些说明性示例中，指令以功能形式存在于永久性存储装置608中。这些指令可以被加载到存储器606中，以供处理器单元604执行。本公开内容的一个或更多个实施方式的处理可以由处理器单元604使用计算机实现的指令来执行，所述计算机实现的指令可以位于诸如存储器606的存储器中。
[0148]
这些指令被称为由处理器单元604中的处理器执行的程序指令、程序代码、计算机可用程序代码或计算机可读程序代码。不同实施方式中的程序代码可以体现在不同的物理或计算机可读存储介质例如存储器606或永久性存储装置608上。程序代码618可以以功能形式位于选择性地可移除的计算机可读介质620上，并且可以被加载到数据处理系统600上或传送到数据处理系统600以供处理器单元604执行。在这些示例中，程序代码618和计算机可读介质620形成计算机程序产品622。在一个示例中，计算机可读介质620可以包括计算机可读存储介质624或计算机可读信号介质626。
[0149]
计算机可读存储介质624可以包括例如光盘或磁盘，其被插入或放置到作为永久性存储装置608的一部分的驱动器或其他设备中，以便传送到作为永久性存储装置608的一部分的诸如硬盘驱动器的存储设备上。计算机可读存储介质624还可以采用连接至数据处理系统600的永久性存储装置的形式，例如硬盘驱动器、拇指驱动器或闪速存储器。在一些情况下，计算机可读存储介质624可能无法从数据处理系统600移除。
[0150]
在这些示例中，计算机可读存储介质624是用来存储程序代码618的非暂态、物理或有形存储设备，而不是传播或传送程序代码618的介质。计算机可读存储介质624也被称为计算机可读有形存储设备或计算机可读物理存储设备。换言之，计算机可读存储介质624是可以被人触摸的介质。
[0151]
可替选地，程序代码618可以使用计算机可读信号介质626例如通过网络远程地传送到数据处理系统600。计算机可读信号介质626例如可以是包含程序代码618的传播数据信号。例如，计算机可读信号介质626可以是电磁信号、光信号和/或任何其他合适类型的信号。这些信号可以通过通信链路传输，所述通信链路例如无线通信链路、光纤线缆、同轴线缆、电线和/或任何其他合适类型的通信链路。换言之，在说明性示例中，通信链路和/或连接可以是物理的或无线的。
[0152]
在一些说明性实施方式中，程序代码618可以通过计算机可读信号介质626通过网络从另一设备或数据处理系统下载到永久性存储装置608，以在数据处理系统600内使用。例如，存储在服务器数据处理系统中的计算机可读存储介质中的程序代码可以通过网络从服务器下载到数据处理系统600。提供程序代码618的计算机可以是服务器计算机、客户端计算机或者能够存储和传送程序代码618的一些其他设备。
[0153]
在一些示例中，程序代码618可以包括操作系统(os)650。可以存储在永久性存储
装置608上的操作系统650控制和分配数据处理系统600的资源。一个或更多个应用652经由程序模块654和存储在存储设备616上的程序数据656利用操作系统对资源的管理。os 650可以包括被配置成管理和公开计算机600的硬件资源以供应用652共享和使用的任何合适的软件系统。在一些示例中，os 650提供应用编程接口(api)，所述应用编程接口(api)便于连接不同类型的硬件和/或向应用652提供对硬件和os服务的访问。在一些示例中，某些应用652可以提供用于供其他应用652使用的进一步服务，例如如所谓的“中间件”的情况。可以针对各种操作系统或操作系统的组合来实现本公开内容的各方面。
[0154]
针对数据处理系统600示出的不同组件并不意味着对可以实现不同实施方式的方式提供架构限制。本公开内容的一个或更多个实施方式可以在如下数据处理系统中实现，该数据处理系统包括更少的组件或者包括除针对计算机600所示的那些组件之外的组件和/或代替针对计算机600所示的那些组件的组件。图6所示的其他组件可以与所描绘的示例不同。可以使用能够运行程序代码的任何硬件设备或系统来实现不同的实施方式。作为一个示例，数据处理系统600可以包括与无机组件集成的有机组件以及/或者可以完全由有机组件(不包括人类)构成。例如，存储设备可以由有机半导体构成。
[0155]
在一些示例中，处理器单元604可以采用具有硬件电路的硬件单元的形式，所述硬件电路被专门制造或被配置成用于特定用途，或产生特定结果或进程。这种类型的硬件可以执行操作，而不需要将程序代码618从存储设备加载到存储器中以被配置成执行操作。例如，处理器单元604可以是电路系统、专用集成电路(asic)、可编程逻辑器件或被配置(例如，预配置或重新配置)成执行多个操作的一些其他合适类型的硬件。例如，使用可编程逻辑器件，器件被配置成执行多个操作，并且可以在稍后的时间被重新配置。可编程逻辑器件的示例包括可编程逻辑阵列、现场可编程逻辑阵列、现场可编程门阵列(fpga)和其他合适的硬件器件。通过这种类型的实现方式，可以例如通过如下将可执行指令(例如，程序代码618)实现为硬件：使用硬件描述语言(hdl)指定fpga配置，并且然后使用得到的二进制文件来(重新)配置fpga。
[0156]
在另一示例中，数据处理系统600可以实现为基于fpga(或在一些情况下基于asic)的专用状态机集(例如，有限状态机(fsm))，其可以允许关键任务被隔离并在定制硬件上运行。虽然诸如cpu的处理器可以被描述为执行提供给它的指令的共享使用的通用状态机，但基于fpga的状态机被构造成用于特殊目的，并且可以在不共享资源的情况下执行硬件编码的逻辑。这种系统通常用于安全相关的任务和关键的任务。
[0157]
在又一说明性示例中，可以使用在计算机中到的处理器和硬件单元的组合来实现处理器单元604。处理器单元604可以具有多个硬件单元和被配置成运行程序代码618的多个处理器。通过该描绘的示例，一些过程可以在多个硬件单元中实现，而其他过程可以在多个处理器中实现。
[0158]
在另一示例中，系统总线602可以包括一个或更多个总线，例如系统总线或输入/输出总线。当然，总线系统可以使用任何合适类型的架构来实现，所述架构提供在附接至总线系统的不同组件或设备之间的数据传输。系统总线602可以包括几种类型的总线结构，包括存储器总线或存储器控制器、外围总线或外部总线和/或使用任何种类的可用总线架构(例如，工业标准架构(isa)、微通道架构(msa)、扩展isa(eisa)、智能驱动电子装置(ide)、vesa本地总线(vlb)、外围组件互连(pci)、卡总线、通用串行总线(usb)、高级图形端口
(agp)、个人计算机存储卡国际协会总线(pcmcia)、火线(ieee 1394)和小型计算机系统接口(scsi))的本地总线。
[0159]
另外，通信单元610可以包括发送数据，接收数据或者既发送数据又接收数据的多个设备。通信单元610可以是例如调制解调器或网络适配器、两个网络适配器或其某种组合。此外，存储器可以是例如存储器606或高速缓存，诸如在系统总线602中可能存在的接口和存储器控制器集线器中到的存储器。
[0160]
e.说明性分布式数据处理系统
[0161]
如图7所示，该示例描述了通用网络数据处理系统700，其可互换地称为计算机网络、网络系统、分布式数据处理系统或分布式网络，其各方面可以被包括在上述学习系统和/或相关联的方法的一个或更多个说明性实施方式中。例如，学习系统的节点之间的通信可以由网络系统700的实施方式来实现和/或组织为网络系统700的实施方式。
[0162]
应当理解，图7被提供为一种实现方式的图示，并不旨在暗示对可以实现不同实施方式的环境的任何限制。可以对所描绘的环境进行许多修改。
[0163]
网络系统700是设备(例如，计算机)和其他组件的网络，每个设备(例如，计算机)可以是数据处理系统600的示例。网络数据处理系统700可以包括网络702，网络702是被配置成在网络数据处理系统700内连接的各种设备与计算机之间提供通信链路的介质。网络702可以包括连接诸如有线或无线通信链路、光纤线缆和/或用于在网络设备之间传输和/或传送数据的任何其他合适的介质、或其任何组合。
[0164]
在所描绘的示例中，第一网络设备704和第二网络设备706连接至网络702，一个或更多个计算机可读存储器或存储设备708也连接至网络702。网络设备704和706各自是上述数据处理系统600的示例。在所描绘的示例中，设备704和706被示出为服务器计算机，其与一个或更多个服务器数据存储器722通信，所述服务器数据存储器可以用来存储服务器计算机704和服务器计算机706本地的信息等。然而，网络设备可以包括但不限于一台或更多台个人计算机、移动计算设备诸如个人数字助理(pda)、平板电脑和智能手机、手持游戏设备、可穿戴设备、平板计算机、路由器、交换机、语音门、服务器、电子存储设备、成像设备、媒体播放器、和/或可以执行机械或其他功能的其他联网使能工具。这些网络设备可以通过有线的、无线的、光学的和其他适当的通信链路互连。
[0165]
另外，客户端电子设备710和712和/或客户端智能设备714可以连接至网络702。这些设备中的每一个是以上关于图6描述的数据处理系统600的示例。客户端电子设备710、712和714可以包括例如一台或更多台个人计算机、网络计算机和/或移动计算设备诸如个人数字助理(pda)、智能手机、手持游戏设备、可穿戴设备和/或平板计算机等。在所描绘的示例中，服务器704向客户端电子设备710、712和714中的一个或更多个提供诸如引导文件、操作系统图像和应用的信息。客户端电子设备710、712和714在它们与诸如服务器计算机704的服务器的关系的上下文中可以被称为“客户端”。客户端设备可以与一个或更多个客户端数据存储器720通信，所述客户端数据存储器可以用来存储客户端本地的信息(例如，缓存文件和/或相关联的上下文信息)。网络数据处理系统700可以包括更多或更少的服务器和/或客户端(或没有服务器或客户端)以及未示出的其他设备。
[0166]
在一些示例中，第一客户端电子设备710可以将编码文件传送到服务器704。服务器704可以存储文件，对文件进行解码，以及/或者将文件传送到第二客户端电子设备712。
在一些示例中，第一客户端电子设备710可以将未压缩文件传送到服务器704，并且服务器704可以对该文件进行压缩。在一些示例中，服务器704可以对文本、音频和/或视频信息进行编码，并经由网络702向一个或更多个客户端传送信息。
[0167]
客户端智能设备714可以包括能够无线通信和执行软件的任何合适的便携式电子设备，例如智能手机或平板电脑。一般来说，术语“智能手机”可以描述任何合适的便携式电子设备，其被配置成执行计算机的功能，通常具有触摸屏界面、因特网访问和能够运行下载的应用的操作系统。除了进行电话呼叫(例如，通过蜂窝网络)之外，智能手机还能够发送和接收、文本和多媒体消息，访问因特网，以及/或者充当web浏览器。智能设备(例如，智能手机)可以包括其他已知电子设备的特征，例如媒体播放器、个人数字助理、数码相机、摄像机和/或全球定位系统。智能设备(例如，智能手机)能够例如通过近场通信(nfc)、wifi或移动宽带网络与其他智能设备、计算机或电子设备无线连接。可以在智能设备、智能手机、计算机和/或其他设备之间建立无线连接，以形成可以交换信息的移动网络。
[0168]
位于系统700中的数据和程序代码可以存储在计算机可读存储介质中或存储在计算机可读存储介质上，诸如如上所述的网络计算机之一的网络连接的存储设备708和/或永久性存储装置608，并且位于系统700中的数据和程序代码可以下载到数据处理系统或其他设备以供使用。例如，程序代码可以存储在服务器计算机704上的计算机可读存储介质上，并通过网络702下载到客户端710，以在客户端710上使用。在一些示例中，客户端数据存储器720和服务器数据存储器722驻留在一个或更多个存储设备708和/或608上。
[0169]
网络数据处理系统700可以实现为一种或更多种不同类型的网络。例如，系统700可以包括内联网、局域网(lan)、广域网(wan)或个人局域网(pan)。在一些示例中，网络数据处理系统700包括因特网，其中网络702表示使用传输控制协议/因特网协议(tcp/ip)协议套件彼此通信的网络和网关的全球集合。在因特网的核心是主节点或主计算机之间的高速数据通信线路的主干。数千个商业系统、政府系统、教育系统和其他计算机系统可以用于路由数据和消息。在一些示例中，网络702可以称为“云”。在这些示例中，每个服务器704可以称为云计算节点，并且客户端电子设备可以称为云消费者等。图7旨在作为示例，而不是作为对任何说明性实施方式的架构限制。
[0170]
f.说明性组合和附加示例
[0171]
本部分描述了学习系统的附加方面和特征，这些方面和特征被呈现为但不限于一系列段落，为了清楚和高效，这些段落中的一些或全部可以用字母数字表示。这些段落中的每一个段落可以以任何合适的方式与一个或更多个其他段落和/或本技术中其他地方的公开内容进行组合。下面的段落中的一些段落明确地引用并进一步限制其他段落，提供了一些合适组合的非限制性示例。
[0172]
a0.一种用于为用户提供的任务提供解决方案的数据处理系统，所述数据处理系统包括：
[0173]
存储器；
[0174]
一个或更多个处理器；
[0175]
存储在所述存储器中并且可由所述一个或更多个处理器执行以进行如下操作的多个指令：
[0176]
接收与所选任务相对应的任务相关数据，其中，用一个或更多个专业领域中的所选领域来标识所述任务；
[0177]
从多个专家中自动地选择与所述所选领域相关联的专家的第一子集以及与所述所选领域相关联的专家的第二子集；
[0178]
将所述任务相关数据传送到多个第一电子设备，其中，所述第一电子设备中的每个第一电子设备与所述第一子集的专家中的相应一个专家相关联；
[0179]
经由所述第一电子设备从所述第一子集的专家中的每个专家接收相应的任务解决方案和伴随的第一置信度得分；
[0180]
生成按照所述第一置信度得分排序的、基于从所述第一子集的专家接收到的所述任务解决方案的任务解决方案的第一集合；
[0181]
将所述任务相关数据和所述任务解决方案的第一集合传送到多个第二电子设备，其中，所述第二电子设备中的每个第二电子设备与所述第二子集的专家中的相应一个专家相关联；
[0182]
经由所述第二电子设备从所述第二子集的专家中的每个专家接收指示从所述任务解决方案的第一集合中选择的相应的所选解决方案的信息以及伴随的第二置信度得分；
[0183]
生成按照所述第二置信度得分排序的、基于指示所述所选解决方案的所述信息的任务解决方案的第二集合；
[0184]
基于所述任务解决方案的第二集合生成初步输出；以及
[0185]
将基于所述初步输出的最终输出传送到用户接口。
[0186]
a1.根据段落a0所述的系统，其中，所述指令还能够被执行以进行如下操作：将所述多个专家与所述专业领域中的一个或更多个自动地相关联。
[0187]
a2.根据段落a0或a1所述的系统，其中，所述指令还能够被执行以进行如下操作：
[0188]
将所述任务相关数据和所述初步输出传送到所述多个第一电子设备；
[0189]
经由所述第一电子设备从所述第一子集中的所述专家中的每个专家接收指示从所述初步输出中选择的相应的所选解决方案的信息以及伴随的第三置信度得分；
[0190]
生成按照所述第三置信度得分排序的、基于从所述第一电子设备接收到的指示所述所选解决方案的所述信息的任务解决方案的第三集合；
[0191]
将所述任务相关数据和所述任务解决方案的第三集合传送到所述多个第二电子设备；
[0192]
经由所述第二电子设备从所述第二子集中的所述专家中的每个专家接收指示从所述任务解决方案的第三集合中选择的相应的所选解决方案的信息以及伴随的第四置信度得分；
[0193]
生成按照所述第四置信度得分排序的、基于来自所述第二电子设备的指示所述所选解决方案的所述信息的任务解决方案的第四集合；
[0194]
在将所述最终输出传送到所述用户接口之前，至少基于所述任务解决方案的第四集合更新所述初步输出。
[0195]
a3.根据段落a0至a2中任一项所述的系统，其中，所述指令还能够被执行以进行如下操作：
[0196]
自动地选择在所述所选领域中分类的第三子集的所述专家；
[0197]
将所述任务相关数据和所述任务解决方案的第二集合传送到多个第三电子设备，其中，所述第三电子设备中的每个第三电子设备与所述第三子集的专家中的相应一个专家相关联；
[0198]
经由所述第三电子设备从所述第三子集的专家中的每个专家接收指示从所述任务解决方案的第二集合中选择的相应的所选解决方案的信息以及伴随的第三置信度得分；
[0199]
生成按照所述第三置信度得分排序的、基于从所述第三电子设备接收到的指示所述所选任务解决方案的所述信息的任务解决方案的第三集合；
[0200]
在将所述最终输出传送到所述用户接口之前，基于所述任务解决方案的第三集合更新所述初步输出。
[0201]
a4.根据段落a0至a3中任一项所述的系统，其中，生成基于指示所述所选解决方案的所述信息的所述任务解决方案的第二集合包括通过所述第一置信度得分和所述第二置信度得分的聚合对所述第二集合进行排序。
[0202]
a5.根据段落a4所述的系统，其中，所述第一置信度得分和所述第二置信度得分的所述聚合包括计算所述第一置信度得分和所述第二置信度得分的组合的平均值。
[0203]
a6.根据段落a5所述的系统，其中，所述第一置信度得分和所述第二置信度得分是从0％至100％的百分比。
[0204]
a7.根据段落a0至a6中任一项所述的系统，其中，所述指令还能够被执行以进行如下操作：
[0205]
为每个专家自动地分配相应的权重，其中，每个专家的所述相应的权重是使用关于所述相应的专家的表现的历史数据来确定的。
[0206]
a8.根据段落a7所述的系统，其中，所述指令还能够被执行以进行如下操作：
[0207]
从所述第一子集和所述第二子集中自动地移除相应的权重低于所选阈值的专家。
[0208]
a9.根据段落a0至a8中任一项所述的系统，其中，所述最终输出仅包括单个解决方案。
[0209]
b0.一种用于为用户提供的任务提供解决方案的数据处理系统，所述数据处理系统包括：
[0210]
存储器；
[0211]
一个或更多个处理器；
[0212]
存储在所述存储器中并且可由所述一个或更多个处理器执行以进行如下操作的多个指令：
[0213]
接收与所选任务相对应的任务相关数据，其中，用一个或更多个专业领域中的所选领域来标识所述任务；
[0214]
从多个专家中自动地选择第一子集的专家、一个或更多个中间子集的专家以及最终子集的专家，其中，专家的所述各子集中的每个专家与所述所选领域相关联；
[0215]
将所述任务相关数据传送到多个第一电子设备，其中，所述第一电子设备中的每个第一电子设备与所述第一子集的专家中的相应一个专家相关联；
[0216]
经由所述第一电子设备从所述第一子集的专家中的每个专家接收相应的任务解决方案和伴随的第一置信度得分；
[0217]
生成按照所述第一置信度得分排序的、基于从所述第一子集的专家接收到的所述
任务解决方案的任务解决方案的中间集合；
[0218]
对于所述一个或更多个中间子集中的每一个，连续地：
[0219]
将所述任务相关数据和所述任务解决方案的中间集合传送到多个电子设备，其中，所述电子设备中的每个电子设备与所述相应的中间子集的专家中的相应一个专家相关联；
[0220]
经由所述电子设备从所述相应的中间子集的专家中的每个专家接收指示从所述任务解决方案的中间集合中选择的相应的所选解决方案的信息以及伴随的中间置信度得分；以及
[0221]
更新按照所述中间置信度得分排序的、基于指示所述所选解决方案的所述信息的所述任务解决方案的中间集合；
[0222]
将所述中间任务相关数据传送到多个最终电子设备，其中，所述最终电子设备中的每个最终电子设备与所述最终子集的专家中的相应一个专家相关联；
[0223]
经由所述最终电子设备从所述最终子集的专家中的每个专家接收指示从所述任务解决方案的中间集合中选择的相应的所选解决方案的信息以及伴随的最终置信度得分；以及
[0224]
基于指示所述所选解决方案的所述信息向用户接口传送任务解决方案的最终集合。
[0225]
b1.根据段落b0所述的系统，其中，所述任务解决方案的最终集合仅包括单个解决方案。
[0226]
b2.根据段落b0或b1所述的系统，其中，所述任务解决方案的最终集合通过所述第一置信度得分、所述中间置信度得分和所述最终置信度得分的聚合进行排序。
[0227]
b3.根据段落b2所述的系统，其中，所述第一置信度得分、所述中间置信度得分和所述最终置信度得分的所述聚合是通过计算所述第一置信度得分、所述中间置信度得分和所述最终置信度得分的组合的平均值来确定的。
[0228]
b4.根据段落b0至b3中任一项所述的系统，其中，所述指令还能够被执行以进行如下操作：为每个专家自动地分配相应的权重，其中，每个专家的所述相应的权重是使用关于所述相应的专家的表现的历史数据来确定的。
[0229]
b5.根据段落b4所述的系统，其中，所述指令还能够被执行以进行如下操作：从所述第一子集、所述一个或更多个中间子集和所述最终子集中自动地移除相应的权重低于所选阈值的专家。
[0230]
b6.根据段落b0至b5中任一项所述的系统，其中，所述指令还能够被执行以进行如下操作：在将所述任务相关数据传送到所述多个第一电子设备之前，自动地预处理所述任务相关数据。
[0231]
b7.根据段落b6所述的系统，其中，预处理所述任务相关数据包括对所述任务相关数据的部分进行加密。
[0232]
b8.根据段落b0至b7中任一项所述的系统，其中，所述第一置信度得分、所述中间置信度得分和所述最终置信度得分是范围从0％至100％的百分比。
[0233]
b9.根据段落b0至b8中任一项所述的系统，其中，所述电子设备中的一个或更多个包括移动设备。
[0234]
优点、特征和益处
[0235]
本文描述的学习系统的不同实施方式和示例提供了优于已知解决方案的若干优点以解决困难和/或主观问题。例如，本文描述的说明性实施方式和示例允许传统计算方法范围之外的问题的解决方案。
[0236]
另外，并且除其他益处外，本文描述的说明性实施方式和示例允许经训练的专家网络共同地且有效地为用户提交的任务提供解决方案。
[0237]
另外，并且除其他益处外，本文描述的说明性实施方式和示例允许经训练的专家网络共同地且有效地为用户提交的任务提供具有自动同行审查的解决方案。
[0238]
已知的系统或设备不能执行这些功能。然而，并非本文描述的所有实施方式和示例都提供相同的优点或相同程度的优点。
[0239]
结论
[0240]
上面阐述的本公开内容可以包括具有独立效用的多个不同示例。尽管已经以其优选形式公开了这些中的每一个，但是本文所公开和示出的其具体实施方式不应被认为具有限制性意义，因为许多变化是可能的。就本公开内容中使用的部分标题而言，这样的标题仅出于组织目的。本公开内容的主题包括本文公开的各种要素、特征、功能和/或特性的所有新颖和非明显的组合和子组合。所附权利要求特别指出了被视为新颖和非明显的某些组合和子组合。可以在要求本技术或相关申请的优先权的申请中要求保护特征、功能、要素和/或特性的其他组合和子组合。这样的权利要求——无论在范围上比原始权利要求更宽、更窄、相等或不同——也都被认为包括在本公开内容的主题内。

技术特征：

1.一种用于为用户提供的任务提供解决方案的数据处理系统，所述数据处理系统包括：存储器；一个或更多个处理器；多个指令，所述多个指令存储在所述存储器中并且能够由所述一个或更多个处理器执行以进行以下操作：接收与所选任务相对应的任务相关数据，其中，所述任务用一个或更多个专业领域中的所选领域来标识；从多个专家中自动选择与所述所选领域相关联的专家的第一子集以及与所述所选领域相关联的专家的第二子集；将所述任务相关数据传送到多个第一电子设备，其中，所述第一电子设备中的每个第一电子设备与所述第一子集的专家中的相应一个专家相关联；经由所述第一电子设备从所述第一子集的专家中的每个专家接收相应的任务解决方案和伴随的第一置信度得分；生成按照所述第一置信度得分排序的、基于从所述第一子集的专家接收到的所述任务解决方案的任务解决方案的第一集合；将所述任务相关数据和所述任务解决方案的第一集合传送到多个第二电子设备，其中，所述第二电子设备中的每个第二电子设备与所述第二子集的专家中的相应一个专家相关联；经由所述第二电子设备从所述第二子集的专家中的每个专家接收指示从所述任务解决方案的第一集合中选择的相应的所选解决方案的信息以及伴随的第二置信度得分；生成按照所述第二置信度得分排序的、基于指示所述所选解决方案的所述信息的任务解决方案的第二集合；基于所述任务解决方案的第二集合生成初步输出；以及将基于所述初步输出的最终输出传送到用户接口。2.根据权利要求1所述的系统，其中，所述指令还能够被执行以进行如下操作：将所述多个专家与所述专业领域中的一个或更多个自动地相关联。3.根据权利要求1所述的系统，其中，所述指令还能够被执行以进行如下操作：将所述任务相关数据和所述初步输出传送到所述多个第一电子设备；经由所述第一电子设备从所述第一子集中的所述专家中的每个专家接收指示从所述初步输出中选择的相应的所选解决方案的信息以及伴随的第三置信度得分；生成按照所述第三置信度得分排序的、基于从所述第一电子设备接收到的指示所述所选解决方案的所述信息的任务解决方案的第三集合；将所述任务相关数据和所述任务解决方案的第三集合传送到所述多个第二电子设备；经由所述第二电子设备从所述第二子集中的所述专家中的每个专家接收指示从所述任务解决方案的第三集合中选择的相应的所选解决方案的信息以及伴随的第四置信度得分；生成按照所述第四置信度得分排序的、基于来自所述第二电子设备的指示所述所选解决方案的所述信息的任务解决方案的第四集合；
在将所述最终输出传送到所述用户接口之前，至少基于所述任务解决方案的第四集合更新所述初步输出。4.根据权利要求1所述的系统，其中，所述指令还能够被执行以进行如下操作：自动地选择在所述所选领域中分类的第三子集的所述专家；将所述任务相关数据和所述任务解决方案的第二集合传送到多个第三电子设备，其中，所述第三电子设备中的每个第三电子设备与所述第三子集的专家中的相应一个专家相关联；经由所述第三电子设备从所述第三子集的专家中的每个专家接收指示从所述任务解决方案的第二集合中选择的相应的所选解决方案的信息以及伴随的第三置信度得分；生成按照所述第三置信度得分排序的、基于从所述第三电子设备接收到的指示所述所选任务解决方案的所述信息的任务解决方案的第三集合；在将所述最终输出传送到所述用户接口之前，基于所述任务解决方案的第三集合更新所述初步输出。5.根据权利要求1所述的系统，其中，生成基于指示所述所选解决方案的所述信息的所述任务解决方案的第二集合包括通过所述第一置信度得分和所述第二置信度得分的聚合对所述第二集合进行排序。6.根据权利要求5所述的系统，其中，所述第一置信度得分和所述第二置信度得分的所述聚合包括计算所述第一置信度得分和所述第二置信度得分的组合的平均值。7.根据权利要求6所述的系统，其中，所述第一置信度得分和所述第二置信度得分是从0％至100％的百分比。8.根据权利要求1所述的系统，其中，所述指令还能够被执行以进行如下操作：为每个专家自动地分配相应的权重，其中，每个专家的所述相应的权重是使用关于所述相应的专家的表现的历史数据来确定的。9.根据权利要求8所述的系统，其中，所述指令还能够被执行以进行如下操作：从所述第一子集和所述第二子集中自动地移除相应的权重低于所选阈值的专家。10.根据权利要求1所述的系统，其中，所述最终输出仅包括单个解决方案。11.一种用于为用户提供的任务提供解决方案的数据处理系统，所述数据处理系统包括：存储器；一个或更多个处理器；多个指令，所述多个指令存储在所述存储器中并且能够由所述一个或更多个处理器执行以进行如下操作：接收与所选任务相对应的任务相关数据，其中，所述任务用一个或更多个专业领域中的所选领域来标识；从多个专家中自动选择第一子集的专家、一个或更多个中间子集的专家以及最终子集的专家，其中，专家的所述各子集中的每个专家与所述所选领域相关联；为所述多个专家中的每个专家自动地分配相应的权重，其中，每个专家的所述相应的权重是使用所述相应的专家的历史表现数据来确定的；将所述任务相关数据传送到多个第一电子设备，其中，所述第一电子设备中的每个第
一电子设备与所述第一子集的专家中的相应一个专家相关联；经由所述第一电子设备从所述第一子集的专家中的所述专家中的每个专家接收相应的主观响应以及指示所述相应的专家对所述主观响应的置信度的伴随的第一置信度得分；生成按照所述第一置信度得分排序的、基于从所述第一子集的专家中的所述专家接收到的所述主观响应的任务解决方案的中间集合；对于所述一个或更多个中间子集的专家中的每一个，连续地：将所述任务相关数据和所述任务解决方案的中间集合传送到多个电子设备，其中，所述电子设备中的每个电子设备与所述相应的中间子集的专家中的所述专家中的相应一个专家相关联；经由所述电子设备从所述相应的中间子集的专家中的所述专家中的每个专家接收指示从所述任务解决方案的中间集合中选择的相应的所选解决方案的信息以及伴随的中间置信度得分；以及更新按照所述中间置信度得分排序的、基于指示所述所选解决方案的所述信息的所述任务解决方案的中间集合；将所述中间任务相关数据传送到多个最终电子设备，其中，所述最终电子设备中的每个最终电子设备与所述最终子集的专家中的所述专家中的相应一个专家相关联；经由所述最终电子设备从所述最终子集的专家中的所述专家中的每个专家接收指示从所述任务解决方案的中间集合中选择的相应的所选解决方案的信息以及伴随的最终置信度得分；以及基于指示所述所选解决方案的所述信息向用户接口传送任务解决方案的最终集合。12.根据权利要求11所述的系统，其中，所述任务解决方案的最终集合包括仅单个解决方案。13.根据权利要求11所述的系统，其中，所述任务解决方案的最终集合按照所述第一置信度得分、所述中间置信度得分和所述最终置信度得分的聚合排序。14.根据权利要求13所述的系统，其中，所述第一置信度得分、所述中间置信度得分和所述最终置信度得分的所述聚合是通过计算所述第一置信度得分、所述中间置信度得分和所述最终置信度得分的组合的平均值来确定的。15.根据权利要求11所述的系统，其中，所述指令还能够被执行以进行如下操作：从所述第一子集、所述一个或更多个中间子集和所述最终子集中自动地移除相应的权重低于所选阈值的专家。16.根据权利要求11所述的系统，其中，所述指令还能够被执行以进行如下操作：在将所述任务相关数据传送到所述多个第一电子设备之前，自动地预处理所述任务相关数据。17.根据权利要求16所述的系统，其中，所述任务相关数据的预处理包括对所述任务相关数据的部分进行加密。18.根据权利要求11所述的系统，其中，所述第一置信度得分、所述中间置信度得分和所述最终置信度得分是范围从0％至100％的百分比。19.根据权利要求11所述的系统，其中，所述电子设备中的一个或更多个包括移动设备。

技术总结

人机混合学习系统可以包括一系列互连的节点层，其中，每个节点包括与人类专家相关联的通信设备。被引入到第一层中的任务可以由第一层的专家单独评估和解决，并且解决方案可以由随后的层评估和排序。系统可以自动地控制专家的选择、节点之间的通信以及基于结果生成最终解决方案。终解决方案。终解决方案。

技术研发人员：

理查德

受保护的技术使用者：

安思罗普有限责任公司

技术研发日：

2021.03.08

技术公布日：

2022/12/23