(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201880084635.0(22)申请日 2018.12.28(30)优先权数据
62/612,275 2017.12.29 US (85)PCT国际申请进入国家阶段日2020.06.29(86)PCT国际申请的申请数据
PCT/US2018/067925 2018.12.28(87)PCT国际申请的公布数据WO2019/133849 EN 2019.07.04(71)申请
人 电子湾有限 美国加利福尼亚州
(72)发明人 鲁宾逊·皮拉穆图
蒂莫西·塞缪尔·基弗
肯尼斯·克拉克·克鲁克斯顿 阿什米特·辛格·列希
尼亚兹·艾哈迈德·哈贾纳齐穆迪恩 帕德马普里亚·古迪帕蒂 林晨 约翰·F ·韦格尔 钟福俊 苏奇特拉·拉梅什
穆罕默德哈迪·基亚普尔 郑帅 阿尔韦托·奥多涅斯佩雷拉 拉温德拉·苏里亚·兰卡 姆德·阿提克·乌尔·伊斯兰 尼古拉斯·安托尼·怀特 吉里达兰·延加尔 布赖恩·艾伦·普卢默
(74)专利代理机构 北京集佳知识产权代理有限
公司 11227
代理人 杜诚 刘敏(51)Int.Cl.
G06F 16/9032(2006.01)G06F 16/908(2006.01)G06F 16/9035(2006.01)G06F 16/907(2006.01)G06F
16/332(2006.01)
(54)发明名称
描述了计算机视觉和图像特征搜索。所描述的系统通过以下方式来利用视觉搜索技术：确定图像中所描绘的对象的视觉特征，并且将所确定的特征与其他图像的视觉特征进行比较，例如以便识别其他图像中的相似视觉特征。在一些方面，所描述的系统执行利用数字图像作为搜索查询的一部分的搜索，以出感兴趣的数字内容。在一些方面，所描述的系统显现多个用户界面工具，该多个用户界面工具包括图案、纹理或材料的图像，并且可被选择以启动对具有相似图案、纹理或材料的数字内容的视觉搜索。所描述的方面还包括基于图案的认证，其中，系统基于图像的视觉特征与已知真品物品的视觉特征的相似 性来确定图像中物品的真品性。
权利要求书2页 说明书18页 附图14页
CN 111819554 A 2020.10.23
C N 111819554
A
1.一种由至少一个计算设备实现的方法，所述方法包括：
由所述至少一个计算设备监视与用户界面的用户交互，所述用户界面输出数字图像的实况馈送；
由所述至少一个计算设备检测对所述数字图像中的至少一个数字图像的用户选择；
由所述至少一个计算设备通过与所述实况馈送的至少一个其他数字图像的比较，来推断所选择的数字图像的特征；
由所述至少一个计算设备至少部分地基于所推断的特征来生成搜索查询；以及
由所述至少一个计算设备基于所述搜索查询在所述用户界面中输出搜索结果。
2.根据权利要求1所述的方法，还包括：
检测对所述数字图像中的至少第二数字图像的用户选择；
推断所述第二数字图像的不同特征，所推断的不同特征与所述推断的特征不同；以及基于所述推断的特征和所述推断的不同特征二者生成所述搜索查询。
3.根据权利要求2所述的方法，其中，所述搜索结果包括具有第一特征和第二特征的数字内容，所述第一特征与所述推断的特征相似，所述第二特征与所述推断的不同特征相似。
4.根据权利要求1所述的方法，其中，推断所述特征是基于所选择的数字图像和所述至少一个其他数字图像的缩放量。
5.根据权利要求1所述的方法，其中，推断所述特征是部分地基于所选择的数字图像是描绘对象的整体还是所述对象的有限部分。
6.根据权利要求1所述的方法，其中，所述推断的特征是在所述数字图像中部分地描绘的对象的图案、材料或纹理之一。
7.根据权利要求1所述的方法，其中，所述推断的特征是在所述数字图像中整体描绘的对象的形状。
8.根据权利要求1所述的方法，还包括：经由所述用户界面输出工具，所述工具可被选择以购买在所述搜索结果的数字图像中描绘的对象。
9.一种由至少一个计算设备实现的方法，所述方法包括：
由所述至少一个计算设备经由用户界面呈现多个图像，所述图像中的每一个描绘不同的图案；
由所述至少一个计算设备接收对所述图像之一的选择；
由所述至少一个计算设备将包括所选择的图像的搜索查询发送至列表服务，所述列表服务被配置成生成描述所选择的图像的相应图案的数据，并且基于生成的数据识别具有与所述相应图案匹配的图案的被列物品；
由所述至少一个计算设备接收搜索结果，所述搜索结果包括具有匹配图案的至少一个识别的物品；以及
由所述至少一个计算设备经由所述用户界面呈现描绘所述至少一个识别的物品的数字视觉内容。
10.根据权利要求9所述的方法，其中：
所述生成的数据是描述所述相应图案的非文本数据；以及
所述识别的操作包括将所述生成的数据与另外的非文本数据进行比较，所述另外的非文本数据描述在相应的数字视觉内容中描绘的被列物品的图案。
11.根据权利要求10所述的方法，其中，所述非文本数据和所述另外的非文本数据包括特征向量。
12.根据权利要求9所述的方法，其中，所呈现的数字视觉内容是所述至少一个识别的物品的列表，所述列表使得能够经由所述用户界面购买所述至少一个识别的物品。
13.根据权利要求9所述的方法，其中，所述搜索查询被用于生成分析数据，所述分析数据描述被用户搜索的图案。
14.根据权利要求9所述的方法，其中，所述搜索查询和所述搜索结果被用于生成分析数据，所述分析数据描述针对具有所述图案的被列物品的搜索查询以及具有所述图案的被列物品的可用性。
15.根据权利要求9所述的方法，其中，所述至少一个识别的物品的匹配图案类似于所选择的图像的相应图案。
16.根据权利要求9所述的方法，其中，所述至少一个识别的物品的匹配图案与所选择的图像的相应图案相同。
17.根据权利要求9所述的方法，其中，所述多个图像还包括描绘不同纹理或不同材料的至少两个图像。
18.一种由至少一个计算设备实现的方法，所述方法包括：
由所述至少一个计算设备经由用户界面接收选择，所述选择指示在具有真品指定的列表服务上列出物品；
由所述至少一个计算设备接收数字视觉内容，所述数字视觉内容描绘被列出的物品的一个或多个视觉特征；
由所述至少一个计算设备将所述一个或多个视觉特征与另外的数字视觉内容中所描绘的真品物品的一个或多个已知视觉特征进行比较；
由所述至少一个计算设备基于所述比较来确定被列出的物品是否是真品；以及
响应于确定被列出的物品是真品，由所述至少一个计算设备显现以下指示：在所述列表服务上的物品的列表被允许包含所述真品指定；或者
响应于确定被列出的物品不是真品，由所述至少一个计算设备显现以下指示：在所述列表服务上的物品的列表不被允许包含所述真品指定。
19.根据权利要求18所述的方法，还包括：经由所述用户界面提示用户提供描绘所述一个或多个视觉特征的所述数字视觉内容。
20.根据权利要求18所述的方法，还包括：接收另外的选择，以经由所述列表服务显现具有所述真品指定的物品的列表。
计算机视觉和图像特征搜索
[0001]相关申请
[0002]本申请要求于2018年12月28日提交的题为“计算机视觉和图像特征搜索”的美国申请16/235,140的优先权，根据35 U.S.C.§119(e)，16/235,140要求于2017年12月29日提交的题为“计算机视觉”的美国临时专利申请第62/612,275号的优先权，其全部公开内容通过引用并入于此。
背景技术
[0003]常规的基于文本的搜索系统取决于用户的使用文本表达搜索目标的能力。因此，尽管这些系统在使用文本可以容易地表达目标的情况下(例如，到“红跑鞋”)可以很好地发挥作用，但是在难以使用文本表达该目标的情况下，这些系统可能会失败。这个问题进一步被这些常规系统中的以下要求加剧了：在如何识别搜索结果中的物品与用于表达目标的技术之间要达成共识，例如，列出物品的卖方和搜索该物品的潜在买方二者同意用如“红跑鞋”的文本来描述该物品。此外，用户提供的文本描述以及描述图像中所描绘的物品的文本描述可能不准确。因此，依赖于这些用户提供的描述来列出物品的常规系统可能例如通过将具有不准确描述的列表显现给其他用户而传播对物品的不准确描述。
发明内容
[0004]为了克服这些问题，在数字媒体环境中利用了计算机视觉和图像特征搜索。不是通过将文本查询与图像的文本数据进行比较来搜索图像，本文中描述的系统而是利用视觉搜索技术，其中该系统确定图像中描绘的对象的视觉特征，并将确定的特征与其他图像的视觉特征进行比较，例如以便识别其他图像是否具有相似的视觉特征。在一些方面，所描述的系统执行利用数字图像作为搜索查询的一部分的搜索，以出感兴趣的数字内容，例如，特定商品和服务的列表。这些数字图像可以用于识别以其他方式可能难以描述的特征，例如图案、对象的形状(例如，具有特定形状的领子、鞋子上的后跟的类型)等。在一些方面，所描述的系统显现多个用户界面工具，该多个用户界面工具包括图案、纹理或材料的图像，并且可被选择以启动对具有相似图案、纹理或材料的数字内容的视觉搜索。所描述的方面还包括基
于图案的认证，其中，系统基于图像的视觉特征与已知真品物品的视觉特征(例如缝合图案、部件移动等)的相似性来确定图像中物品的真品性。
[0005]本发明内容以简化的形式介绍了以下在具体实施方式中进一步描述的一些概念。这样，本发明内容既不意图标识所要求保护的主题的必要特征，也不意图用作帮助确定所要求保护的主题的范围。
附图说明
[0006]参照附图描述具体实施方式。
[0007]图1是可操作为采用本文中所描述的技术的示例实现方式中的环境的图示。[0008]图2描绘了其中更详细地描绘了图1的相机平台管理器模块的操作的示例系统。
[0009]图3A至图3B描绘了用户与相机平台进行交互以基于推断的图像特征来定义和完善图像搜索的示例实现。
[0010]图4描绘了示例实现方式中的多个数字图像被用于推断特征的过程，其中该特征将被用作执行对数字内容的搜索的基础。
[0011]图5A至图5B描绘了图像搜索的示例和实现。
[0012]图6描绘了可操作成采用具有本文中所述的图案、纹理和材料的列表的一些方面的另一示例环境。
[0013]图7描绘了具有多个不同图案的图像的示例用户界面，所述图像被呈现以使得能够执行视觉列表数据的视觉搜索。
[0014]图8描绘了拍摄要被列出的物品的图像的示例场景。
[0015]图9描绘了示例实现方式中的具有图案的多个可选图像的用户界面被用于对图像进行视觉搜索的过程。
[0016]图10描绘了可操作成采用本文所述的基于图案的认证的一些方面的另一示例环境。
[0017]图11描绘了客户端设备用户使用移动设备来拍摄物品的视觉内容的示例场景，其中该物品被选择为作为真品列出。
[0018]图12描绘了示例实现方式中的基于真品的已知视觉特征确定要以列表服务列出的物品是真品还是非真品的过程。
[0019]图13示出了包括示例设备的各种部件的示例系统，该示例设备可以实现为参照图1至图12描述和/或利用的任何类型的计算设备，以实现本文中描述的技术的实施方式。
具体实施方式
[0020]概述
[0021]常规的基于文本的搜索系统取决于用户使用文本表达搜索目标的能力。因此，尽管这些系统在使用文本可以容易地表达目标的情况下(例如，到“红跑鞋”)可以很好地发挥作用，但是在难以使用文本表达该目标的情况下，这些系统可能会失败。这个问题进一步被这些常规系统中的以下要求加剧了：在如何识别搜索结果中的物品与用于表达目标的技术之间要达成共识。
[0022]为了克服这些问题，在数字媒体环境中利用了计算机视觉和图像特征搜索。不是利用将文本查询与图像的文本数据(例如，元数据)进行比较的图像搜索，本文中描述的系统而是利用视觉搜索技术，其中该系统确定图像中描绘的对象的视觉特征，并将确定的特征与其他图像的视觉特征进行比较，例如以便识别其他图像是否具有相似的视觉特征。[0023]在一些方面，所描述的系统执行利用多个数字图像作为搜索查询的一部分的搜索，以出感兴趣的数字内容，例如，特定商品和服务的列表。这些数字图像可以用于识别以其他方式可能难以描述的特征，例如图案、对象的形状(例如，具有特定形状的领子、鞋子上的后跟的类型)等。例如，在一些场景下，所描述的系统呈现用户界面，该用户界面允许用户例如从图像的存储库和/或图像的实况馈送中选择多个不同的数字图像或图像的部分。然后，所描述的系统使用不同数字图像或部分图像的相应视觉特征来识别感兴趣的数字内容。所描述的系统还被配置成经由用户界面接收提供图案的用户输入，诸如绘制图案的用
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议