一种跨境电商全球商品清关系统

本发明属于商品清关技术领域，具体涉及一种跨境电商全球商品清关系统。

改革开发以来，随着进口贸易和互联网的快速发展，国内生活水平的提高，越来越 多的人加入海淘行业，如小山包裹堆满了中国各大口岸城市的码头，从天津到青岛，从上海 到宁波，从厦门到广州，一大批从国外邮寄来的商品，在满足千万家庭的需求的同时，也考 验着中国的进口贸易通关处理能力。传统清关信息主要来源于客户的填写，但是他们往往 忽略真实情况的复杂性：

1、国家进出口政策的规范：

越来越规范的国家进出口政策，决定了清关商品信息准确率必须大幅提供，比如 提供准确的申报商品名称、数量以及商品的价值等。传统的申报模式已不再满足清关政策 要求。

2、人工录制因素

提升清关效率，以及准确性一直都是清关公司的重心，但是传统的人工录单可能 导致漏报、少报甚至错报的情况。

3、地域环境因素

受国家与国家之间语言，文化等因素的限制，传统报关信息正确性总是不如人意。 同时还增加清关的工作量，导致清关实效延长。

因此，如何快速清关已成为各个口岸的一大难题，由于商品的种类的繁多，以及国 家安全等因素。快速清关往往取决于报关商品的准确性以及海关工作人员对实际商品与资 料进行匹配的速度，如何提高报关资料的准确性以及效率已成为报关公司的一大难题。

本发明的目的在于克服上述现有技术的不足，提供一种能够提高清关准确性和效 率的跨境电商全球商品清关系统。

一种跨境电商全球商品清关系统，包括数据库及应用服务器、中国海外国际宽带 接口、海外主要电商网站和海外仓库PDA商品条码扫描系统；所述中国海外国际宽带接口的 一端与设置在中国机房内的数据库及应用服务器相连，另一端分别连接有海外主要电商网 站和海外仓库PDA商标条码扫描系统，所述数据库及应用服务器包括中心数据库、网络爬虫 应用服务器、报关资料数据库、数据库备机，其中，中心数据库与网络爬虫应用服务器为同 等级的平行设备，二者的下级连接有报关资料数据库和数据库备机。

作为上述技术方案的进一步描述：

所述网络爬虫应用服务器的运行机制包括：

(1)精选符合业务需要的种子UPL，即把网络爬虫程序抓取的对象网页的链接地址 作为种子URL(结合业务需要，精选海外主要电商网站的商品展示页面)，并将这些种子URL 放入待抓取URL队列中；

(2)按深度优先策略读取待抓取URL，即爬虫按深度优先策略从待抓取URL队列中 依次读取待抓取URL；

(3)网页下载，即通过DNS解析，网页下载器将待抓取URL对应的页面内容下载到本 地进行数据分析；

(4)页面解析，即抓取页面上的商品信息(商品名称、商品价格、商品图片等)并储 存到商品库数据库中，以及抓取页面上的新链接地址，并结合已抓取URL信息进行去重，把 最终确认的新地址按深度优先策略存放到待抓取URL中；

(5)商品信息智能匹对，即海外仓库使用PDA扫描商品外包装上的商品条形码，仓 库系统则通过商品条码在商品库中匹对相应的商品信息，并将获取到的商品信息存储到中 心数据库中，以供商品在报关时与报关资料数据库进行对比和补充。

作为上述技术方案的进一步描述：

所述网络爬虫应用服务器所抓取的信息还会不断进行更新和淘汰。

作为上述技术方案的进一步描述：

所述网络爬虫应用服务器中的爬虫系统抓取海外主要电商网站页面上的新链接 地址，并结合已抓取URL信息进行去重，采用的是Bloom Filter算法技术。

作为上述技术方案的进一步描述：

一种跨境电商全球商品清关系统还包括业务整体解决方案框架，即网络爬虫应用 服务器将最终抓取到的需要业务需求的种子URL储存在中心数据库中，报关时，通过扫码器 将报关商品进行录入，并将信息储存在报关资料数据库中，然后将这些信息与中心数据库 中的数据进行对比，最终对采集到的报关数据进行补充，该业务整体解决方案框架保持不 变，网络爬虫应用服务器还可以部署到海外。

作为上述技术方案的进一步描述：

结合全球数据同步系统，可以把网络爬虫抓取的数据先保存在海外数据库，再通 过数据同步系统同步回国内中心数据库，实现网络爬虫的分布式处理。

本发明通过收集在全球范围的商品信息，建立起适合报关及日常业务需要的商品 库，为报关及业务处理提供大数据信息支撑，极大的提高了报关的效率及报关准确性，减少 客户漏报、少报、错报的情况，保证了报给海关的资料的准确性，加快了清关的效率，以及对 于违禁物品的筛选，并大幅节省报关各环节的操作成本。此外，随着商品的快速变化，系统 中用的商品库会不断的进行更新，以确保商品信息的完整性、可靠性。

图1为本发明的网络结构示意图；

图2为本发明中的网络爬虫机制图；

图3为本发明的业务整体解决方案框架。

参见图1，本发明提供的一种跨境电商全球商品清关系统，包括数据库及应用服务 器、中国海外国际宽带接口、海外主要电商网站和海外仓库PDA商品条码扫描系统；所述中 国海外国际宽带接口的一端与设置在中国机房内的数据库及应用服务器相连，另一端分别 连接有海外主要电商网站和海外仓库PDA商标条码扫描系统，所述数据库及应用服务器包 括中心数据库、网络爬虫应用服务器、报关资料数据库、数据库备机，其中，中心数据库与网 络爬虫应用服务器为同等级的平行设备，二者的下级连接有报关资料数据库和数据库备 机。

图2示出了网络爬虫运行的机制图，该机制原理包括：

(1)精选符合业务需要的种子URL，即把网络爬虫程序抓取的对象网页的链接地址 作为种子URL(结合业务需要，精选海外主要电商网站的商品展示页面)，并将这些种子URL 放入待抓取URL队列中；

(2)按深度优先策略读取待抓取URL，即爬虫按深度优先策略从待抓取URL队列中 依次读取待抓取URL；

(3)网页下载，即通过DNS解析，网页下载器将待抓取URL对应的页面内容下载到本 地进行数据分析；

(4)页面解析，即抓取页面上的商品信息(商品名称、商品价格、商品图片等)并储 存到商品库数据库中，以及抓取页面上的新链接地址，并结合已抓取URL信息进行去重，把 最终确认的新地址按深度优先策略存放到待抓取URL中；

(5)商品信息智能匹对，即海外仓库使用PDA扫描商品外包装上的商品条形码，仓 库系统则通过商品条码在商品库中匹对相应的商品信息，并将获取到的商品信息存储到中 心数据库中，以供商品在报关时与报关资料数据库进行对比和补充。

此外，爬虫系统抓取的信息还会不断进行更新和淘汰。

本实施例中，爬虫系统抓取海外主要电商网站页面上的新链接地址，并结合已抓 取URL信息进行去重，采用的是Bloom Filter算法技术，可以有效提高抓取效率。

本实施例中，一种跨境电商全球商品清关系统还包括业务整体解决方案框架，如 图3，即网络爬虫应用服务器将最终抓取到的需要业务需求的种子URL储存在中心数据库 中，报关时，通过扫码器将报关商品进行录入，并将信息储存在报关资料数据库中，然后将 这些信息与中心数据库中的数据进行对比，最终对采集到的报关数据进行补充，该解决方 案保持不变，但是把网络爬虫应用服务器部署到海外，可以很好解决因国际宽带线路所带 来的速度慢和稳定性差的问题，可以极大的提高网络爬虫的工作效率。

本实施例中，结合全球数据同步系统，可以把爬虫抓取的数据先保存在海外数据 库，再通过数据同步系统同步回国内中心数据库，实现了爬虫分布式处理，降低了中心数据 库服务器的压力，提高整个业务系统的稳定性。

所述一种跨境电商全球商品清关系统，一方面通过网络爬虫形成自己的商品数据 库，另一方面在清关商品入库的同时，通过扫描将商品条码与报关资料数据库的信息进 行匹配，然后将匹配到商品信息与申报的信息进行后台数据比对，同时利用大数据以及专 业翻译公司确保清关信息翻译过来的准确性，最终将申报信息进行补充，以大幅度的提高 清关的准确性。

此外，随着商品的快速变化，中心数据库会不断的进行更新，以确保商品信息的完 整性、可靠性。通过收集在全球范围的商品信息，建立起适合报关及日常业务需要的商品 库，为报关及业务处理提供大数据信息支撑，极大的提高了报关的效率及报关准确性，并大 幅节省报关各环节的操作成本。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施 例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域 的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也 应视为本发明的保护范围。