首页 > 专利技术

包括机器学习对象检测模型的隐私保护传感器的制作方法

1.本公开总体上涉及用于准确检测人、对象、对象参数或其他任务的传感器。更具体地，本公开涉及一种轻型和/或单封装传感器，其包括经过训练以通过处理来自图像或其他传感器的输入来执行检测任务的机器学习模型，并且可以通过将模型输出转换为模拟传感器输出(例如，电压)来提供更有效的隐私保护。

背景技术：

2.存在基于从由传感器评估的区域获得的信息来执行存在检测的各种类型的传感器。作为示例，传感器能够包括基于红外光操作的运动检测器、噪声检测器、ssid嗅探器(例如，手机ping)和/或微波干扰传感器。虽然从这些传感器获得的信息能够有帮助，但此类传感器经常具有低的精度或精确度，无法标识特定对象，能够被类似的对象(宠物相对于人)混淆，并且在基于红外或噪声的传感器的情况下，无法对该区域内存在的对象的数量计数。
3.使用可见光或近可见光来检测诸如人的对象的基于计算机视觉的系统为该缺陷提供了一种解决方案。然而，这些系统经常将所有图像数据流式传输到一个中心位置，从而捕获和传输大量与运动或存在检测任务不直接相关的外部或环境信息。附加信息的一些能够包括对隐私敏感的数据，并且该数据的安全实践不是标准化的、可验证的或可证明的。因此，来自这些设备的视频流的连续捕获和存储会使它们容易受到攻击并导致数据隐私降低。此外，这些传感器未提供了解传感器的功能、隐私和安全特性的方法。
4.因此，本领域需要能够在还提供改善的隐私和/或数据安全性的同时减轻现有运动或存在检测传感器的准确性问题，并且使这些质量对被观察者可见的传感器。

技术实现要素：

5.通常，本公开涉及轻型传感器，其能够对能够从图像数据导出的对象或相关信息进行隐私保护检测。本公开的一个方面包括在确定对象检测时不需要诸如运动或热的信息的检测方法。相反，实施方式能够利用机器学习模型来确定图像中是否存在某种类型的对象。为了考虑隐私数据的可能生成，示例实施方式能够包括被配置为仅保持或传输至少部分地基于机器学习模型的输出而生成的传感器信号的硬件和/或计算架构。
6.本公开的另一示例方面能够包括传感器设计。由于能够定制本公开的示例传感器以执行特定任务，因此能够优化计算架构以在保持高质量的性能的同时减少存储器需求。由于减少了存储器需求，所以这些特征能够允许更小的传感器占用空间。此外，一些传感器能够是完全封闭的，并且不包括用于访问和/或修改计算架构(例如，机器学习模型)的接口。
7.本公开的一个附加方面能够包括一个或多个隐私保护特征。例如，一些传感器可以包括具有静态参数的机器学习模型或缺少用于改变机器学习模型的参数的接口。此外，某些传感器能够被配置为仅将图像数据存储在瞬态存储器中和/或直接将图像数据、机器学习模型输出或两者都转换为传感器信号(例如，电信号)。以这种方式，一些传感器能够被
配置为直接处理图像数据以生成去除个人标识信息的输出(例如，传感器信号)。
附图说明
8.在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，在附图中：
9.图1a图示了根据本公开的示例实施方式的包括一个或多个机器学习模型的用于隐私保护传感器的示例计算系统。
10.图1b图示了根据本公开的示例实施方式的包括一个或多个机器学习模型的示例计算设备。
11.图1c图示了根据本公开的示例实施方式的包括一个或多个机器学习模型的另一示例计算设备。
12.图2a图示了根据本公开的示例实施方式的示例传感器设计。
13.图2b图示了根据本公开的示例实施方式的包括容纳在传感器内的组件的示例传感器设计。
14.图3图示了描绘根据本公开的示例实施方式的用于执行对象检测的示例方法的流程图。
15.图4图示了根据根据本公开的示例实施方式的从(多个)输入到(多个)输出的示例过程流以及从(多个)输出中导出的可能设备响应。
16.跨多个附图重复的附图标记旨在标识在各种实施方式中的相同特征。
具体实施方式
17.概述
18.通常，本公开涉及一种单封装的、轻型传感器，其能够对对象(例如，人)和/或与图像数据中存在的对象相关的信息进行隐私保护检测。本公开的示例方面包括在评估对象的检测时不需要诸如运动、ssid、热和/或其他类似方法的信息的检测方法。相反，根据本公开的示例系统和方法利用机器学习模型，该机器学习模型经过训练以确定特定对象类型的一个或多个对象是否存在于图像中。以这种方式，对象检测基于对对象唯一的特征的标识，而不是基于容易产生假阳的代理触发器。虽然以这种方式使用机器学习能够提供优于其他技术的优势，但使用机器学习模型进行图像分析通常能够生成个人数据，而旧技术会使这些数据变得模棱两可或无法收集。考虑到这一点，根据本公开的示例实施方式的另一方面能够包括硬件和/或计算架构，该硬件和/或计算架构被配置为在无需保持或提供底层图像数据本身的情况下维持或仅提供至少部分地基于机器学习模型所生成的输出而生成的传感器信号或从传感器信号导出的数字信息(例如对象计数)。例如，在一些实施方式中，传感器能够被配置为生成描述图像中对象的计数的传感器信号，而不以任何非临时方式存储图像本身或在传感器边界之外传输该图像(例如，没有图像存储在非易失性存储器中)。因此，某些示例实施方式可以包括基本上实时处理，使得图像数据能够被直接转换成传感器信号(例如，电信号)，而不需要由机器学习模型所生成的输出和/或中间值(例如，隐藏层)的长期或非临时存储。
19.作为一个示例，使用热量或运动检测的传统传感器可以通过移动通过由传感器评
估的区域的动物(例如，宠物)触发。相反，根据本公开的实施方式能够利用机器学习模型来处理图像数据以生成输出(例如，具有某个置信度值)：图像包括特定对象类型和/或类别的至少一个对象。此外，机器学习模型的输出能够被直接用于生成传感器信号，以减少和/或完全消除可能与图像数据、机器学习模型的中间输出或机器学习模型的输出相关联的标识或个人信息的任何痕迹。该信号随后能够被用于触发其他动作，诸如打开/关闭(多个)灯或hvac系统、联系安全公司和/或发送通知。作为一个示例，传感器能够仅包括有限数量和/或形式的通信接口或互连，诸如例如仅用于使用电信号输出传感器输出的单个模拟电接口。
20.本公开的一个示例实施方式能够包括具有一个或多个相机的单封装传感器，该相机耦合到包括(多个)处理器和存储器的轻型计算系统。该计算系统能够由提供至少围绕计算系统的屏障的外壳保护。此外，轻型传感器能够包括一个或多个通信接口，尽管在一些实施方式中，这些通信接口通常可以被限制为仅提供和/或传输诸如电信号的模拟信号。存储器的各方面能够包括用于存储瞬态信息的临时数据缓冲器以及存储机器学习对象检测模型的非易失性存储器，该机器学习对象检测模型被配置为确定图像的特定对象类型的一个或多个对象的存在、一个或多个对象的属性或一个或多个对象的存在和属性两者。非易失性存储器还能够包括指令，该指令当由一个或多个处理器执行时能够使传感器执行与对象检测相关联的操作。更具体地，该操作能够包括在临时数据缓冲器中存储数据流，该数据流包括由一个或多个相机中的至少一个捕获的一个或多个图像帧的序列。此外，能够将数据流提供给机器学习对象检测模型，该模型能够被本地存储在传感器上以生成模型输出。机器学习模型的一个方面能够包括一个或多个固定参数，以便能够将模型配置为执行特定任务。此外，对于某些实施方式，该模型对扩展其任何功能和/或更新其任何设置能够是不可变的。使用数据流作为输入，对象检测模型能够生成模型输出，并且至少部分基于模型输出，传感器能够确定(例如，基于设备策略、输出逻辑和/或策略选择器)传感器能够保持和/或产生以用于使用通信接口进行传输的传感器输出。
21.机器学习对象检测模型的示例方面能够包括模型架构。例如，在一些实施方式中，机器学习对象检测模型能够包括具有一个或多个隐藏层的神经网络。每个隐藏层能够与一个或多个学习参数(例如，权重)相关联。此外，在某些实施方式中，学习的参数能够被保持静态，使得在传感器的操作和/或寿命期间不调整参数或参数是不可调整的。
22.能够使用不同的训练数据调整机器学习模型的方面。例如，能够训练机器学习模型以使用从各种姿态获得的相机图像执行对象检测，以生成独立于相机位置和/或角度的高置信度对象检测。此外，能够训练被包括作为系统一部分的机器学习模型或第二机器学习模型以执行其他学习算法。作为一个示例，学习算法能够包括用于对象定位的算法，诸如生成对象的每个实例的边界框、每个对象的质心位置、从对象图像中指定背景图像的掩码或其他类似算法。
23.在一些实施方式中，传感器输出能够是电信号(例如，电压)。因此，在一般水平上，该设备可以用信号通知由相机之一捕获并通过神经网络通过生成电压而处理的对象的存在。在某些实施方式中，电压能够是静态的。或者，电压可以是可变的。静态电压和可变电压都可以被用于指示除对象存在之外的信息，诸如由一个或多个相机评估的区域中的对象的数量(例如，基于边界框的数量)。例如，一个时间跨度内的一系列静态电压可以被用于指示对象的计数。替代地，能够使用诸如i2c预定义的协议将电压值映射到计数，以传达更复杂
的信息，诸如能够通过计数的差异推断对象是否进入或离开该区域。
24.根据本公开的传感器的一个方面能够包括单一封装的轻型设计。由于实施方式能够包括诸如输入数据的直接处理的功能，所以处理和内存要求能够产生具有更小的占用空间的设备。更具体地，示例传感器可以包括至少围绕计算系统(例如，处理器和存储器)的外壳。对于一些实施方式，外壳可以限定包括约100至约2000mm3范围的体积，诸如约150-1800mm3、180-1500mm3、200-1300mm3、250-1000mm3或350-800mm3的体积。更优选地，对于某些实施方式，外壳可以限定包括约100至约600mm3范围的体积，诸如约150-550mm3、180-520mm3、200-500mm3或250-450mm3的体积。
25.除了尺寸之外，外壳能够包括一个或多个特征以减少对轻型传感器的计算系统的篡改。作为一个示例，为了帮助保护隐私，将计算系统密封在提供防篡改特征，诸如缺少用于访问计算系统的接口，的外壳中可能是有利的。附加地或替代地，在一些实施方式中，外壳可以由诸如环氧树脂、塑料、金属或陶瓷的材料制成，这些材料必须被破坏才能访问外壳内部的计算系统。例如，外壳可以不包括任何螺钉或其他接入点，并且因此可以在计算系统周围提供基本连续且不间断的屏障。因此，访问计算系统将需要打破连续障碍才能访问计算系统。附加地或替代地，外壳可以包括可以指示是否有人试图访问计算系统的篡改明显特征。作为一个示例，外壳可以包括接入点，接入点包括触发器，当人们试图访问接入点时，该触发器被激活。触发器能够包括可见的特征，诸如当人访问接入点时会破裂和/或断裂的设备的部件。在一些情况下，触发器还能够包括停用和/或擦除存储在计算系统上的电子数据。
26.在一些实施方式中，为了使系统的被观察用户能够询问传感器并了解其目的，能够存在与信号输出紧密耦合的第二输出，该信号输出表明由传感器发送的数据和传感器的安全属性。这能够通过下述方式来完成：经由led灯、超声波信标或某种其他低成本信标系统使传感器输出闪烁，以允许人和机器观察者都能理解传感器。这方面的一个示例包括在可见光led上闪烁fov中的人数。第二示例将包括使高速序列闪烁，该序列能够由随附的移动app读取，以允许更深入地检查传感器的用途、隐私政策和数据安全实践。
27.因此，示例实施方式的另一方面能够包括具有发射器组件的传感器设计，该发射器组件被配置为从传感器生成信号以指示传感器操作和/或使用。例如，某些传感器设计可以包括一个光源(例如，发光二极管或类似特征)，当系统检测到某个对象(例如，人)时，该光源能够点亮(或在操作中的某种其他变化)。替代地或附加地，发射器组件可以被配置为提供各种信号，诸如不同的光图案或序列，以提供关于设备操作的信令信息，诸如隐私特性、设备任务(例如，对象类型)和/或传感器输出。
28.此外，对于根据本公开的一些传感器，传感器还可以包括用于标识在图像数据中的特定特征的指令，例如动态符号(例如，由用户在捕获的图像中呈现的)，并基于动态符号生成响应(例如，进入其中传感器标识其自身的身份验证模式)。作为一个示例，传感器可以被设计为具有用于经由应用编程接口(api)与外部设备进行通信的指令。api能够包括用于生成图像的指令，诸如能够由传感器计算系统处理的令牌，以确定设备策略，诸如能够由传感器(例如，由传感器的发射器组件)产生的响应信号。
29.示例实施方式的另一方面可以包括可以被并入传感器设计中的隐私特征。例如，一些实施方式能够包括能够提取计算系统内容(例如，诸如rom内容的存储器)以进行验证
的设计。在这些实施方式中，能够使得计算系统内容(例如，rom内容)的散列公开可用。某些实施方式能够包括能够将传感器限制为仅执行在某些类型的存储器上编码的操作的计算系统策略。例如，某些传感器能够被配置为仅执行在rom上的代码，这能够帮助防止恶意代码在传感器上加载和/或执行。另外，对于一些实施方式，确定传感器输出和/或模型输出可以包括生成私钥。私钥能够与传感器输出和/或模型输出相关联，从而能够通过使用其公钥解码输出来确认传感器的真实性。例如，能够执行基于密钥或其他形式的身份验证，以防止系统从未经认证的传感器设备获取存在检测器输入。
30.示例实施方式的另一方面能够包括用于移除/删除临时数据的指令。例如，在从临时数据缓冲器访问数据流以生成模型输出后，能够删除底层数据(例如，作为临时数据缓冲器的一部分存储的数据流)。删除数据能够包括用新的传入数据替换数据(例如，删除可以通过在先进先出环形缓冲器等中的替换发生)。通过在临时存储中保持底层数据，示例实施方式能够表现出减少的存储器需求，这能够进一步用于限制设备占用空间。在一些实施方式中，能够针对特定应用定制传感器。例如，单一用途的机器学习模型能够针对某个处理器架构被定制并被修剪以减小其尺寸，这能够进一步降低设备对处理能力和存储器的要求。此外，这样的实施方式还能够通过限制可标识信息的存储来提供隐私利益。
31.通常，实施方式能够包括直接和/或可通信地耦合到计算系统的一个或多个相机。对于一些实施方式，相机或相机的一部分也可以被封闭在外壳中。替代地，对于一些实施方式，相机可以与外壳分离，并且可以使用有线或无线协议将相机数据传输到计算系统。
32.一个或多个相机的方面能够包括描述相机获得的图像数据的相机类型。例如，rgb相机能够被包括在用于获得可见光谱的照片或视频图像的示例系统中。作为另一示例，ir相机能够被包括在用于获得红外线信号的示例系统中，该红外线信号指示检测到活体(例如，辐射热的对象)而不是虚拟或制造的对象。因此，虽然根据本公开的实施方式不必然需要此类信息用于标识对象，但仍可以在用于其他目的的示例系统和方法中获得该信息，该其他目的诸如是过滤不描述对象的数据或发起系统组件(例如，一个或多个相机之一)的激活。例如，某些实施方式还可以包括与计算系统和/或一个或多个相机通信的运动传感器。更具体地，运动传感器能够被用于发起一个或多个相机中的至少一个的激活以开始捕获图像数据。以这种方式，示例系统和方法可以利用其他检测器信息来调节设备性能，而不是仅依赖于所述检测器信息来确定是否检测到对象。
33.图像数据的一个示例方面能够包括由相机捕获的帧速率。根据本公开的示例实施方式能够被用于处理基本上实时捕获的图像数据。如本文中所使用的，基本上实时能够指示以每秒特定帧(fps)接收的图像数据能够被处理并以大约在
±
0.1％以内的相同速率(每秒传感器信号)作为传感器信号被输出。根据本公开的一些示例实施方式能够以大约2到大约15fps的帧速率操作。一个或多个相机能够各自捕获定义相应相机的帧速率的一个或多个帧的连续序列。这些一个或多个帧能够被认为是被提供给本地存储在传感器(例如，传感器中包括的计算系统)上的机器学习对象检测模型的数据流。
34.机器学习对象检测模型的方面能够包括输入-输出配置。例如，机器学习对象检测模型能够被配置为基于接收至少一个图像帧的输入来生成模型输出。在一些实施方式中，模型输出能够是对象存在或不存在于图像数据中的二元确定。例如，该模型能够输出：第一标签/响应(例如，1或真)，其指示机器学习对象检测模型确定了一个对象存在的高可能性；
或者，第二标签/响应(例如，0或假)，其指示机器学习对象检测模型确定对象存在的低可能性。
35.在一些实施方式中，机器学习对象检测模型能够是多头的并且能够被配置为生成多个模型输出。模型输出中的至少一个能够指示在图像中存在一个对象。附加模型输出能够指示每个对象的定位和/或计数。该定位可以包括用于标识对象的每个实例的边界框、质心、分割或其他类似方法或其组合。
36.附加地或替代地，能够将模型输出和/或用于生成模型输出的输入提供给第二机器学习模型。对于一些实施方式，第二机器学习模型能够被配置为确定附加模型输出，诸如定位。附加地或替代地，第二机器学习模型可以被配置为执行一种类型的图像分析，诸如光学字符识别(ocr)、分类或标记。应该理解，即使第二机器学习模型可以生成更复杂的输出，这些输出仍然可以至少部分地被用于确定传感器输出(例如，模拟信号)。
37.作为说明的一个示例，根据本公开的实施方式可以包括用于将(多个)模型输出转换为传感器输出的变换。作为一个示例，该变换能够包括访问(多个)模型输出和/或将(多个)模型输出传输到策略选择器以确定设备策略。设备策略可以包括加密以通过生成能够至少部分地用于确定传感器输出的(多个)加密模型输出来混淆(多个)模型输出。替代地，设备策略可以指示模型输出不需要加密并且能够直接用于确定传感器输出。
38.在确定传感器输出之后，能够提供传感器输出用于存储和/或发起传感器动作，诸如触发警报、传输信号、访问远程和/或本地应用、控制hvac、改变交通信号或它们的组合。提供传感器输出用于存储的方面能够包括将传感器输出映射到值、标签或两者。另外，除存储传感器输出之外或替代存储传感器输出，能够存储从传感器输出(例如，值和/或标签)导出的另外的某些信息。从传感器输出导出的信息的一些非限制性示例能够包括对象数量的计数、对象动作(例如，进入或离开传感器正在评估的区域的多个对象)和对象标签(例如，类或ocr导出的字母数字文本)。这样的信息能够被本地存储在传感器上，或者可以被传输到远程设备或服务器。例如，某些传感器可以包括计算系统，该计算系统具有被配置为传输数据的一个或多个通信应用程序。替代地，一些传感器可以对数据的传输完全关闭，并且可以仅在本地存储或使用从传感器输出导出的任何信息。
39.提供传感器输出的一个示例方面能够包括使用一个或多个输出连接将输出作为模拟信号(例如，电信号)传输。一个或多个输出连接中的每一个都能够独立地被配置以传输从不同机器学习任务导出的传感器输出。更具体地，一个或多个输出连接之一可以被用于提供指示对象存在的模拟信号，该连接的另一个可以被用于提供表示对象数量的模拟信号，该连接的另一个可以被用于提供对象的标签等。以这种方式，传感器输出只能作为不包括任何标识或无关信息的裸信号被提供给外部应用程序或系统。该外部应用程序或系统然后能够包括用于解密和/或映射信号以确定实际值的指令。
40.虽然已经通过检测诸如人的活体对象的示例用例而讨论了本公开的大部分内容，但是低占用空间的检测器也能够被用于交通应用中，诸如车牌读取和/或其他用例。这样的检测器可以处理实时交通信息以检测车牌的实例并对于一个或多个车牌执行ocr以生成对应的字母数字字符串。例如，机器学习对象检测模型可以被配置为除了对象检测之外还执行分类和/或ocr以确定车牌串和/或与车牌相关联的状态。替代地，第二机器学习模型可以被配置为执行分类和/或ocr，并且机器学习对象检测模型可以仅被配置为检测车牌的存
在。输出的传感器信号能够标识任何所识别的车牌标识符；能够标识与预定义列表(例如，对于特定标识符的筛选)中包括的标识符匹配的任何所识别的车牌标识符；以及/或者其他输出(例如，计数等)。
41.示例设备和系统
42.图1a描绘了根据本公开的示例方面的能够存储或传输诸如机器学习模型120或140的信息的示例计算系统100的框图。在一个示例实施方式中，系统100能够包括通过网络180通信耦合的传感器系统102和服务器计算系统130。
43.传感器系统102能够包括一个或多个处理器112和存储器114。一个或多个处理器112能够是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器等)，并且能够是一个处理器或可操作地连接的多个处理器。存储器114能够包括一种或多种非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等以及它们的组合。存储器114能够存储由处理器112执行以使传感器系统102执行操作的数据116和指令118。
44.在一些实施方式中，传感器系统102能够存储或包括(多个)机器学习模型，诸如根据本公开的示例实施方式的具有模型架构的对象检测模型。
45.在某些实施方式中，(多个)机器学习模型120能够通过网络180从服务器计算系统130被接收，存储在用户计算设备存储器114中，然后由一个或多个处理器112使用或以其他方式实现。在一些实施方式中，传感器系统102能够实现单个机器学习模型的多个并行实例(例如，执行并行对象检测和/或定位以用于诸如在视频流中的实时图像处理，在单个图像或单个图像的不同区域中的执行并行对象检测和/或定位，或两者)。
46.附加地或替代地，(多个)机器学习模型120能够被包括在服务器计算系统130中或以其他方式被服务器计算系统130存储和实现，服务器计算系统130根据客户端-服务器关系与传感器系统102通信。例如，(多个)机器学习模型140能够由服务器计算系统130实现为web服务的一部分。因此，(多个)机器学习模型120能够在传感器系统102处被存储和实现和/或(多个)机器学习模型140能够在服务器计算系统130处被存储和实现。机器学习模型120能够包括对象检测模型，诸如包括一个或多个头部的模型，该模型能够生成预测模型输出以指示输入图像是否显示特定对象类型/类别(例如，人)的一个或多个对象的存在、一个或多个对象的属性(例如，对象计数)或一个或多个对象的存在和属性两者。
47.在一些实施方式中，机器学习模型120还能够包括第二分离的模型和/或计算机算法，其能够被配置为接收来自对象检测模型的(多个)输出并生成对象特征，诸如边界框的顶点坐标。例如，顶点标识模型或算法能够接收诸如由对象检测模型生成以便为边界框的每个顶点生成二维坐标(例如，x、y坐标)的热图和/或距离场的信息。替代地，对象检测模型能够生成诸如顶点坐标和/或对象质心坐标的定位信息，并且第二机器学习模型能够被配置为至少部分基于对象检测模型生成的模型输出(例如，定位信息)而执行图像分析，诸如光学字符识别(ocr)。
48.为了执行对象检测和/或定位，能够在传感器系统102和服务器计算系统130之间单独访问和/或传输这些(多个)机器学习模型和/或算法中的每一个。替代地，(多个)机器学习模型和/或算法能够被组合在单个体系结构中，该体系结构能够被包括作为传感器系统102上的存储器114的一部分、被包括在服务器计算系统130上包括的存储器134上或两
者。例如，在单个设备上包括所有(多个)机器学习模型可以通过减少传感器系统102和服务器计算系统130之间的数据传输需求来提高效率和/或安全性。继而，这能够提高基本上实时的操作的性能。此外，在传感器系统102处包括所有(多个)机器学习模型能够提高设备隐私，因为机器学习模型或从(多个)机器学习模型导出的信息都不需要通过传感器系统102的外部的传输来暴露。
49.传感器系统102还能够包括一个或多个相机122，该一个或多个相机122能够获得用于由传感器评估的区域的图像数据。例如，(多个)相机122能够包括用于调整相机的视场(例如，小宽视场)的镜头。通常，虽然根据本公开的实施方式能够包括一个或多个通信接口，但某些实施方式能够被限制为仅包括用于提供模拟输出的通信接口。例如，示例接口能够包括能够将诸如电压的模拟信号从接口传输到电连接(例如，电路或电线)的多个电连接。此外，某些实施方式可能缺少用于访问和/或修改(多个)机器学习模型120或从(多个)机器学习模型120导出的信息或两者的通信接口，如模型输出、模型中间值(例如，隐藏层值)。作为示例，某些传感器系统102可能缺少用户界面，该用户界面包括用于访问包括数据116和指令118的存储器114组件的元素。例如，示例传感器能够缺少界面，该界面包括用于接收用户输入(例如，触摸、点击、命令输入等)以访问(多个)机器学习模型120的参数、存储在存储器114上的数据116、存储在存储器114上的指令118或存储在传感系统102的计算机可读介质上的其他暂时性或非暂时性特征的元素。
50.传感器系统102的另一方面能够包括覆盖传感器系统102的一部分或全部的外壳。该外壳能够由多种材料制成，包括塑料、金属、陶瓷或这些材料的组合。该外壳提供物理屏障以限制对位于传感器系统102之下的软件和硬件组件的访问。例如，在一些实施方式中，该外壳能够由坚硬但不易碎的防篡改材料制成，诸如高密度塑料(例如高密度聚丙烯)。此外，外壳能够保护传感器系统102以用于诸如户外监测的应用，其中，传感器可能暴露于诸如水的可能损坏传感器系统102的组件的元素。
51.服务器计算系统130能够包括一个或多个处理器132和存储器134。一个或多个处理器132能够是任何合适的处理设备(例如，处理器核心、微处理器、asic、fpga、控制器、微控制器等)并且能够是一个处理器或可操作地连接的多个处理器。存储器134能够包括一种或多种非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等以及它们的组合。存储器134能够存储由处理器132执行以使服务器计算系统130执行操作的数据136和指令138。
52.在一些实施方式中，服务器计算系统130包括一个或多个服务器计算设备或以其他方式由一个或多个服务器计算设备实现。在服务器计算系统130包括多个服务器计算设备的情况下，这样的服务器计算设备能够根据顺序计算架构、并行计算架构或它们的某种组合来操作。
53.如上所述，服务器计算系统130能够存储或以其他方式包括(多个)机器学习模型140。示例机器学习模型包括神经网络或其他多层非线性模型。示例神经网络包括前馈神经网络、深度神经网络、递归神经网络和卷积神经网络。
54.网络180能够是各种通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)或者它们的某种组合，并且能够包括任何数量的有线或无线链路。通常，能够经由任何类型的有线和/或无线连接，使用多种通信协议(例如，tcp/ip、http、smtp、ftp)、编码或格式(例
如，html、xml)和/或保护方案(例如vpn、安全http、ssl)来承载通过网络180的通信。
55.在一些实施方式中，能够限制与服务器计算系统130的通信，使得不能将由传感器系统102获得的图像数据传输到服务器计算系统130或其他外部计算系统。例如，为了更好地改善数据隐私，传感器系统102能够包括两种类型的存储器：一种用于能够被擦除或以其他方式移除的临时存储，以及一种用于能够被冻结或仅基于诸如制造商密钥的某些设备策略更新的长期存储。作为示例，传感器系统102能够包括用于存储由(多个)相机122获得的图像的临时数据缓冲器。临时数据缓冲器能够存储数据116，诸如一起能够被认为是数据流的一个或多个图像帧。在由(多个)机器学习模型120处理数据流之后，临时数据缓冲器能够被覆盖(例如，利用新数据流)或清除(例如，擦除)，使得图像数据不被保持用于存储在存储器114中。此外，某些实施方式可以包括指令118，其将存储在临时数据缓冲器中的数据的通信限制(例如，通过加密防止或隐藏)到诸如服务器计算系统130的外部系统。
56.图1a图示了能够被用于实现本公开的一个示例计算系统。应该理解，也能够使用其他计算系统。
57.图1b图示了根据本公开的包括一个或多个机器学习模型的示例计算设备10，该模型能够被包括在传感器系统中。这些(多个)机器学习模型中的每一个能够与诸如对象检测、标记、对象识别、ocr或本文中描述的其他类似功能的应用相关联。能够使用机器学习库训练每个机器学习模型，该库能够包括用于执行监督训练任务的标记数据。作为一个示例，一个机器学习模型可以被配置为基于像素与对象关联的置信度以及背景或这些的组合确定用于生成图像中每个像素的热图的热度，该热度可以基于与对象的质心的接近度来确定。该机器学习库能够包括已标记有(多个)对象位置、边界框坐标、分割掩码或通过示例机器学习模型学习的其他特征的图像。
58.在某些实施方式中，(多个)机器学习模型和/或算法能够与计算设备的其他组件通信，诸如(多个)传感器(例如，相机)、上下文管理器、设备状态或其他附加组件。例如，api能够被配置为支持在设备组件，诸如相机，之间的通信，使得数据能够被直接发送到(多个)机器学习模型以进行对象检测，诸如基本上实时地生成对象位置和/或对象类别。此外，上下文管理器可以使用来自(多个)机器学习模型的输出来诸如通过确定用于传输信号的策略来调整设备状态。
59.图1c图示了另一示例计算设备50。示例计算设备50能够包括一个或多个机器学习模型，用于根据本公开的示例实施方式的包括对象检测和/或定位的图像分析。
60.示例设计
61.图2a图示了根据本公开的示例实施方式的用于隐私保护传感器的一个示例设计。如图2a中所显示的，隐私保护传感器200能够包括外壳206，该外壳206为访问封装在传感器外壳内的计算系统(未示出)提供屏障。计算系统能够包括一个或多个处理器以及用于存储数据和指令的存储器。计算系统还能够包括一个或多个机器学习模型，诸如对象检测和/或定位模型。
62.如图示，示例设计能够包括一个或多个特征以改善数据隐私。例如，根据本公开的示例传感器200能够包括缺少用户可以用来访问计算系统的通信端口和/或接口的外壳206。以这种方式，实施方式能够机制来限制(多个)机器学习模型架构的暴露。此外，外壳能够基本上覆盖某些传感器组件，诸如计算系统，并且对于某些实施方式，能够覆盖相机。
63.传感器200设计的方面能够包括集成为传感器200的一部分的一个或多个相机。例如，如图2a所示，示例传感器200能够包括具有集成为传感器206的一部分的相机镜头204的相机。相机能够通信地耦合到计算系统，使得由相机捕获的信息(例如，包括一个或多个图像帧的视频)能够由计算系统202直接处理以确定传感器输出。为了执行图像检测和定位，能够使用rgb(红-绿-蓝)相机来生成与可见光谱相关的数据。此外，一些实施方式可以包括ir相机以生成与对象温度相关联的数据，该数据能够被用于改善对象检测。作为一个示例，温度数据能够被用于标识与会发出热信号的活体无关的图像。因此，示例传感器200可以包括能够辅助过滤图像数据的相机。这些附加的相机可以增加传感器尺寸，但可以提供其他好处，诸如通过过滤不必要的信息来减少临时数据缓冲器的内存需求和/或通过机器学习模型提高实时数据分析性能。
64.对于传感器200的计算系统，某些实施方式可以包括被配置为生成多个模型输出的单个机器学习模型(例如，多头模型)。替代地或附加地，一些实施方式能够包括用于至少部分地基于由对象检测模型确定的模型输出来生成附加的模型输出的第二机器学习模型(补充机器学习对象检测模型)。模型输出中的一些或全部能够独立地用于确定能够在一个或多个通信接口208处提供的传感器信号，或者可以被组合以确定传感器信号。如图示，(多个)通信接口208a、208b、208c和/或208d可以被配置为支持提供多个传感器信号。此外，能够沿着与特定模型输出相关联的唯一通信接口208分离地提供每个传感器信号，诸如与对象计数相关联的传感器信号、与对象存在相关联的传感器信号、与对象动作相关联的传感器信号或能够从数据流中获得或推断的其他对象属性。在一些实施方式中，传感器200能够仅具有对应于电源+、电源-、接地和传感器信号输出的四个电连接。
65.图2b图示了根据本公开的示例实施方式的另一示例传感器250设计。图2b提供了能够被包括在传感器250的外壳内的内部特征的示例。具体地，传感器被描绘为包括相机201，相机201被定位以获得用于监测一个或多个对象207的存在的区域的图像。由相机201获得的图像帧209能够被传输到临时缓冲器203，诸如环形缓冲器211，以用于在传感器250上的瞬时存储。瞬时存储器(例如，环形缓冲器211)能够被访问和/或被配置为向一个或多个经过训练以确定(多个)模型输出217的机器学习模型205传输213诸如(多个)图像帧209的信息。(多个)示例模型输出217能够包括对象207存在于(多个)图像帧209中的置信度、(多个)图像帧209中检测到的对象207的计数和/或与检测到的对象207相关联的其他特征。在生成(多个)模型输出之后，能够提供信号以从环形缓冲器211删除215(多个)图像帧209并且模型输出能够被用于生成一个或多个传感器输出219。替代地或附加地，环形缓冲器211可以被配置为在存储一定量的数据之后覆盖(多个)图像帧209。因此，在一些实施方式中，临时缓冲器203可以具有设定量的可写存储器，并且在可写存储器满之后，具有由临时缓冲器203获得的任何新数据覆盖之前存储的数据。
66.尽管未图示，但是根据本公开的诸如传感器的附加特征能够包括在传感器外部可见的一个或多个灯(例如，发光二极管-led)。led能够被用于使用各种模式来指示传感器操作和/或传感器输出。示例传感器还能够包括用于附接传感器(例如，将传感器附接到墙壁、天花板、金属杆)的一个或多个安装元件。
67.示例方法
68.图3描绘了根据本公开的示例实施方式的用于执行对象检测和/或识别的示例方
法的流程图。尽管出于说明和讨论的目的图3描绘了以特定顺序执行的步骤，但是本公开的方法不限于具体说明的顺序或布置。在不偏离本公开的范围的情况下，能够以各种方式省略、重新布置、组合和/或调整方法300的各个步骤。
69.在302，计算系统(例如，传感器系统)能够在临时数据缓冲器中存储数据流，该数据流包括由一个或多个相机捕获的一个或多个图像帧的序列。应当理解，本文中公开的示例传感器系统能够包括或可通信地耦合到一个或多个相机，该相机能够获得由传感器系统评估的区域的视频或摄影图像。由(多个)相机获得的图像能够被临时存储在临时数据缓冲器上，以便以后删除。通常，本公开的实施方式能够包括诸如外壳的特征，该外壳能够限制对计算系统的访问以防止访问或传输存储在临时数据缓冲器中的信息以提供改善的数据隐私。
70.在304，计算系统能够通过将数据流提供给机器学习对象检测模型来生成模型输出。为了也改善数据隐私，对象检测模型能够被本地存储在计算系统(例如传感器)上。此外，机器学习对象检测模型能够具有用于生成一个或多个模型输出的架构。例如，能够使用多头神经网络产生这些模型输出。替代地，根据本公开的示例实施方式，第二机器学习模型可以被配置为接收模型输出和数据流的至少一部分以生成附加模型输出。示例模型输出能够包括提供置信度(例如，数字值，诸如指示在(多个)输入图像帧中存在特定对象类型的一个或多个对象的置信度的百分比)或二元标签(例如，存在/真或不存在/假)以表示(多个)对象的存在。
71.例如，示例对象检测模型能够被配置为二元分类器以生成二元标签。替代地或附加地，示例对象检测模型能够被配置为生成图像相似度分数，该分数输出与图像帧中存在的特定对象类型相关联的特征的分数。以这种方式，机器学习对象检测模型能够被训练或以其他方式配置为生成一个或多个模型输出。
72.在306，计算系统能够被配置为包括隐私特征。例如，计算系统能够确定已经生成模型输出(例如，使用完成信号)并且在从临时数据缓冲器访问数据流以生成模型输出之后，从临时数据缓冲器删除数据流。此外，能够执行删除数据流，使得模型输出被生成，而不将一个或多个图像帧存储在非易失性存储器中。以这种方式，临时数据缓冲器能够用于基本上实时存储瞬态信息，诸如从由一个或多个相机之一获得的视频流中新捕获的图像帧。
73.在308，计算系统能够在一个或多个通信接口之一处提供至少部分基于模型输出的传感器输出。示例传感器输出能够包括模拟信号，诸如电流或电压。可以使用各种电路配置来调节电流或电压，从而可变电压能够被输出。替代地，电流或电压可以是静态的。
74.在410，计算系统能够可选地存储传感器输出、从传感器输出导出的信息或两者。例如，存储传感器输出能够包括将传感器输出传输到远程系统。远程系统可以包括用于基于已知映射和/或解密将传感器输出(例如电压)转换为字母数字值、类别或其他表示的指令。以这种方式，传感器输出能够在本地存储或传输，而不会减少传感器的隐私保护方面。
75.至少从图3中描述的操作的组合，具有根据本公开的传感器系统的传感器能够对于低占用空间传感器执行对象检测和/或定位。能够改善在低占用空间传感器上的执行的示例计算系统的方面包括由于仅提供图像数据的临时存储以及模型输出到传感器输出的基本上实时(例如，直接转换)而减少的存储器需求。
76.示例模型和设备输出
77.图4描绘了示例传感器数据流。传感器能够接收(例如，用于存储在临时数据缓冲器中)包括连续图像帧序列的数据流的(多个)输入。能够将一个或多个图像帧提供给机器学习对象检测模型，该模型被配置为基于图像帧中具有特定对象类型的对象的存在或不存在来确定一个或多个输出。对于根据本公开的一些传感器，传感器可以包括多个机器学习模型。例如，第二机器学习模型可以被配置为接收来自机器学习对象检测模型的一些或所有(多个)输出，并且至少部分地基于该(多个)输出确定新的输出。作为说明的一个示例，机器学习对象检测模型可以被配置为确定图像数据(例如，图像帧)中诸如车牌的某些对象的存在和定位，并且第二机器学习模型可以被配置为执行ocr和/或为车牌字符串和/或状态生成标签。
78.由对象检测模型生成的信息，诸如定位(例如，边界框、质心或其他感兴趣区域)，能够被提供给第二机器学习模型，以帮助模型区分来自与(多个)对象相关联的数据的基础数据的背景或其他不太相关的特征。通过与提取附加数据特征分开执行对象检测和定位，能够简化处理以减少操作时间。因此，不是第二机器学习模型在完整图像数据(例如，(多个)图像帧)上操作，第二机器学习模型能够利用由机器学习对象检测模型生成的信息来学习图像数据的部分的特征，而不是使用整个图像帧。
79.机器学习对象检测模型和/或第二机器学习模型的(多个)输出能够被独立组合和/或单独发送到其他传感器组件。例如，示例传感器可以包括用于将(多个)模型输出传送到诸如数据加密应用的应用的应用api。数据加密应用能够接收(多个)模型输出并生成应用响应数据，该数据能够包括(多个)模型输出的加密形式和/或加密状态(例如，失败、成功等)。替代地或附加地，示例传感器可以包括策略选择器，该策略选择器能够接收(多个)模型输出和/或由应用api生成的应用响应数据以确定设备策略。设备策略可以包括用于打开或关闭电压门以使用设备的通信接口提供模拟信号的指令。设备策略还可以包括用于调制模拟信号的指令(例如，以特定频率打开和关闭信号，或调整诸如电压的模拟信号的特征等)。
80.图4描绘了根据本公开的传感器中的数据流的一个示例。应当理解，其他数据流也是可能的，包括其中直接转换机器学习模型输出以生成传感器信号而不将(多个)输出传输到传感器的应用和/或策略选择器的数据流。例如，一些传感器能够包括硬连线组件，这些组件基于特定模型输出的生成，能够经由通信接口直接提供传感器信号。特别地，指示存在特定对象类型的对象的模型输出能够通过包括能够基于模型输出调整(例如，使用开关闭合或断开电路)的电路配置直接导致提供传感器输出。
81.附加公开
82.本文中讨论的技术参考了服务器、数据库、软件应用和其他基于计算机的系统以及所采取的动作和发送到这些系统和从这些系统发送的信息。基于计算机的系统固有的灵活性允许在组件之间对任务和功能进行多种可能的配置、组合和划分。例如，能够使用单个设备或组件或多个组合工作的设备或组件来实现本文中讨论的过程。数据库和应用能够被实现在单个系统上，也可以分布在多个系统上。分布式组件能够按顺序或并行运行。
83.虽然已针对本主题的各种特定示例实施例详细描述了本主题，但通过解释而不是对本公开的限制来提供每个示例。本领域技术人员在获得对前述内容的理解后，能够容易地产生对这些实施例的改变、变化和等价物。因此，本主题公开不排除包括对本领域普通技
术人员显而易见的对本主题的修改、变化和/或添加。例如，作为一个实施例的一部分示出或描述的特征能够与另一实施例一起使用以产生又一实施例。因此，本公开旨在涵盖这样的改变、变化和等价物。

技术特征：

1.一种用于对象的隐私保护检测的轻型传感器，所述传感器包括：外壳；与所述外壳一体地连接的一个或多个相机；一个或多个通信接口；包含在所述外壳内的一个或多个处理器；以及包含在所述外壳内的存储器，其中，所述存储器包括临时数据缓冲器和非易失性存储器，其中，所述非易失性存储器存储：机器学习对象检测模型，所述机器学习对象检测模型本地存储在所述传感器上，所述机器学习对象检测模型被配置为确定输入图像内特定对象类型的一个或多个对象的存在、所述一个或多个对象的属性或所述一个或多个对象的所述存在和所述属性两者；以及指令，所述指令当由所述一个或多个处理器执行时使所述传感器执行操作，所述操作包括：在所述临时数据缓冲器中存储包括由所述一个或多个相机捕获的一个或多个图像帧的序列的数据流；通过向所述机器学习对象检测模型提供所述数据流来生成模型输出，其中，所述模型输出指示在输入图像内特定对象类型的一个或多个对象的所述存在、所述一个或多个对象的所述属性或所述一个或多个对象的所述存在和所述属性两者；在从所述临时数据缓冲器访问所述数据流以生成所述模型输出后，从所述临时数据缓冲器中删除所述数据流，使得所述模型输出被生成，而不将所述一个或多个图像帧之一存储在所述非易失性存储器中；以及在所述一个或多个通信接口中的一个或多个处提供至少部分基于所述模型输出的传感器输出。2.根据任一前述权利要求所述的传感器，其中，所述特定对象类型包括人；以及对于所述一个或多个图像帧中的每一个，所述模型输出包括描述在所述图像帧中存在的人的数量的计数整数。3.根据任一前述权利要求所述的传感器，其中，所述机器学习对象检测模型是具有静态参数的神经网络。4.根据任一前述权利要求所述的传感器，其中，所述传感器输出包括模拟电信号。5.根据权利要求4所述的传感器，其中，所述模拟电信号的电压对应于包括在所述一个或多个图像帧中的对象的数量的计数。6.根据任一前述权利要求所述的传感器，其中，所述操作被基本上实时地执行。7.根据任一前述权利要求所述的传感器，其中，所述操作还包括存储所述传感器输出、从所述传感器输出导出的信息或两者。8.根据任一前述权利要求所述的传感器，其中，所述外壳具有大约100-2000mm3的尺寸。9.根据任一前述权利要求所述的传感器，其中，所述外壳包括防篡改屏障，所述防篡改屏障用于防止访问所述处理器、所述存储器或两者。10.根据任一前述权利要求所述的传感器，其中，所述外壳包括篡改明显屏障，所述篡改明显屏障被配置为在通过所述外壳物理访问所述处理器、所述存储器或两者时显示在外
观上的变化。11.根据任一前述权利要求所述的传感器，其中，所述传感器不包括用于访问所述机器学习对象检测模型、所述模型输出、任何中间模型输出或其组合的接口。12.根据任一前述权利要求所述的传感器，其中，所述特定对象类型包括车辆许可证标记。13.根据任一前述权利要求所述的传感器，其中，所述机器学习对象检测模型、第二机器学习模型或两者被配置为执行ocr。14.根据任一前述权利要求所述的传感器，其中，所述传感器的用于确定所述特定对象类型的假阳率小于约1.0％。15.根据任一前述权利要求所述的传感器，其中，当所述机器学习对象检测模型检测到一个或多个人的存在时，所述模型输出分配第一值，并且当所述机器学习对象检测模型未检测到一个或多个人的存在时，所述模型输出分配不同于所述第一值的第二值。16.根据任一前述权利要求所述的传感器，其中，与所述一个或多个对象相关的所述属性包括描述所述机器学习模型检测到的对象的数量的对象计数。17.根据任一前述权利要求所述的传感器，其中，所述操作还包括：至少部分地基于来自运动传感器的信号来发起所述一个或多个相机中的至少一个。18.根据任一前述权利要求所述的传感器，还包括发光二极管，其中，所述传感器被配置为在所述发光二极管处提供光输出，其中，所述光输出指示所述传感器输出。19.一种被配置为以隐私保护的方式评估在区域中的人员的存在的传感器，所述传感器包括：外壳；一个或多个相机，所述一个或多个相机被定位以获得所述区域的图像并一体地连接到所述外壳；一个或多个通信接口；包含在所述外壳内的一个或多个处理器；以及包含在所述外壳内的存储器，其中，所述存储器存储：机器学习对象检测模型，所述机器学习对象检测模型被配置为确定在所述区域中人的存在、在所述区域中人的动作、在所述区域中人的计数或其组合；以及指令，所述指令当由所述一个或多个处理器执行时使所述传感器执行操作，所述操作包括：通过向本地存储在所述传感器上的所述机器学习对象检测模型提供包括由所述一个或多个相机捕获的一个或多个图像帧的序列的数据流来生成模型输出；以及在所述一个或多个通信接口处提供至少部分地基于所述模型输出的传感器输出，其中，所述传感器输出包括指示在房间中人的存在、在所述房间中所述人的所述动作、在所述房间中所述人的所述计数或其组合的模拟电信号。20.根据权利要求19所述的传感器，其中，在所述区域中所述人的所述动作选自：进入所述房间、离开所述房间或两者。21.一种被配置为评估和读取车辆许可证标记的传感器，所述传感器包括：外壳；
一个或多个相机，所述一个或多个相机被定位以获得区域的图像并一体地连接到所述外壳；一个或多个通信接口；包含在所述外壳内的一个或多个处理器；以及包含在所述外壳内的存储器，其中，所述存储器包括临时数据缓冲器和非易失性存储器，其中，所述非易失性存储器存储：机器学习对象检测模型，所述机器学习对象检测模型被配置为确定描绘车牌的图像的存在；第二机器学习模型，所述第二机器学习模型被配置为执行光学字符识别；以及指令，所述指令当由所述一个或多个处理器执行时使所述传感器执行操作，所述操作包括：在所述临时数据缓冲器中存储包括由所述一个或多个相机捕获的一个或多个图像帧的序列的数据流；通过向本地存储在所述传感器上的所述机器学习对象检测模型提供所述数据流来生成第一模型输出，其中，所述第一模型输出检测车牌的存在；至少部分地基于所述第一模型输出，通过将所述第一模型输出和所述数据流的至少一部分提供给所述第二机器学习模型来生成第二模型输出，其中，所述第二模型输出包括在所述车牌上存在的许可证标识符；以及在从所述临时数据缓冲器访问所述数据流以生成所述第二模型输出后，从所述临时数据缓冲器中删除所述数据流使得所述第二模型输出被生成，而不将所述一个或多个图像帧存储在所述非易失性存储器中；以及在所述一个或多个通信接口处提供至少部分基于所述第二模型输出的传感器输出。22.根据权利要求21所述的传感器，其中，所述传感器输出包括存在于所述车牌上的所述许可证标识符。23.根据权利要求21所述的传感器，其中：所述传感器输出指示在所述车牌上存在的所述许可证标识符是否与多个预定许可证标识符之一匹配；以及当在所述车牌上存在的所述许可证标识符与所述多个预定许可证标识符之一不匹配时，所述传感器输出为空输出。

技术总结

总体上，本公开涉及能够对图像数据中存在的对象或相关信息进行隐私保护检测的轻型传感器。本公开的一个方面包括在确定对象检测时不需要诸如运动或热的信息的检测方法。相反，实施方式能够利用机器学习模型来确定图像中是否存在某种类型的对象。为了考虑到隐私数据的可能生成，示例实施方式能够包括被配置为仅保持或传输至少部分地基于机器学习模型的输出而生成的传感器信号的硬件和/或计算架构。出而生成的传感器信号的硬件和/或计算架构。出而生成的传感器信号的硬件和/或计算架构。