toplux
孵化基金爬⾍技术和其涉及伦理问题讨论
今天的作业主要是探讨三个问题：
1. 爬⾍技术涉及到伦理问题有哪些？
2. 作为⼀个IT技术⼈员，应怎么看待爬⾍技术的使⽤？
3. 提出⾃⼰对爬⾍技术在伦理规则⽅⾯发展的⼏点看法。
既然说到爬⾍技术的伦理问题，那⾸先就要介绍⼀下什么是爬⾍技术：
⽹络爬⾍是⼀个⾃动提取⽹页的程序，它为搜索引擎从万维⽹上下载⽹页，是搜索引擎的重要组成。传统爬⾍从⼀个或若⼲初始⽹页的URL 开始，获得初始⽹页上的URL，在抓取⽹页的过程中，不断从当前页⾯上抽取新的URL放⼊队列，直到满⾜系统的⼀定停⽌条件。聚焦爬⾍的⼯作流程较为复杂，需要根据⼀定的⽹页分析算法过滤与主题⽆关的链接，保留有⽤的链接并将其放⼊等待抓取的URL队列。然后，它将根据⼀定的搜索策略从队列中选择下⼀步要抓取的⽹页URL，并重复上述过程，直到达到系统的某⼀条件时停⽌。另外，所有被爬⾍抓取的⽹页将会被系统存贮，进⾏⼀定的分析、过滤，并建⽴索
引，以便之后的查询和检索；对于聚焦爬⾍来说，这⼀过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。⽹络爬⾍是⼀个⾃动提取⽹页的程序，它为搜索引擎从万维⽹上下载⽹页，是搜索引擎的重要组成。传统爬⾍从⼀个或若⼲初始⽹页的URL开始，获得初始⽹页上的URL，在抓取⽹页的过程中，不断从当前页⾯上抽取新的URL放⼊队列，直到满⾜系统的⼀定停⽌条件。聚焦爬⾍的⼯作流程较为复杂，需要根据⼀定的⽹页分析算法过滤与主题⽆关的链接，保留有⽤的链接并将其放⼊等待抓取的URL队列。然后，它将根据⼀定的搜索策略从队列中选择下⼀步要抓取的⽹页URL，并重复上述过程，直到达到系统的某⼀条件时停⽌。另外，所有被爬⾍抓取的⽹页将会被系统存贮，进⾏⼀定的分析、过滤，并建⽴索引，以便之后的查询和检索；对于聚焦爬⾍来说，这⼀过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
vs2008>《事业单位工作人员处分暂行规定》
简⽽⾔之，爬⾍技术就是从互联⽹上爬取需要的信息，需要的数据，这看似是⼀项⾮常⽅便的⼤数据技术，但是如果我们深思⼀下，其中涉及了不少的伦理问题，从⽼师给的链接中，我们可以看到⼏条信息，“ 1、利⽤爬⾍技术，从购物⽹站爬取店家⼿机号⽤于营销；借助软件，通过附近的⼈，进⾏“站街”钓鱼营销……8⽉20⽇，新京报对郑州共赢科技有限公司的“鹰眼智客”⼤数据营销系统进⾏曝光。8⽉23⽇，当地相关政府⼯作⼈员表⽰，辖区办事处已和警⽅对接，警⽅正在对其介⼊调查。该公司相关负责⼈称，“将积极配合有关部门调查。”” 2、此前，“⼤数据⾏业第⼀股”数据堂（831428.OC）员⼯贩卖公民信息案轰动全国，这家公司在过去8个⽉内，⽇均传输公民个⼈信息超过1.3亿条，累计传输数据压缩后达4000GB左右。之后，⼜有巧达科技被爆出贩卖8亿份个⼈简历……
3、新华每⽇电讯记者调查发现，近5年，互联⽹⾏业中⽤户⽣产内容平台(UGC)中数据情况长期存在，尤其是⽹络“爬⾍”技术的⾮法操作不仅侵犯相关平台知识产权和消费者合法权益，还可导致平台上的⽤户敏感信息泄露。
网纹辊
是的，我们可以看到，本来是为了带给⼈们⽅便的技术，已经有很多不法企业或者个⼈，利⽤技术的便利，去做⼀些灰⾊的，侵犯⼈们隐私的活动，这些数据被⽤来贩卖，作假，甚⾄⽤来犯罪，所以这些不法分⼦违规利⽤爬⾍技术，不仅破坏了个⼈隐私权，损害了公共的利益，甚⾄损害了他⼈的数字财产权，这些都是爬⾍技术所涉及的伦理问题。
那作为⼀名IT从业者，我们⼜该如何看待爬⾍技术呢，⾸先我认为如果不⽤在灰⾊地带，爬⾍是个⾮常好的技术，合理的使⽤爬⾍技术，我们确实可以获得更多的数据便捷，⽅便我们的各⽅⾯⽣活，也让⼀些事情变得⾮常⽅便⽐如⽹络数据采集，⼤数据分析，⽹页分析等，有了爬⾍技术，我们在做上述各个领域时，也变得⽅便和顺⼿了起来，但是作为IT从业者我们⼀定要有⾃⼰的道德操守，把握伦理道德观，不去利⽤技术做有危害社会，危害他⼈隐私的⾏为。
其次在爬⾍技术的发展上，我希望国家或者有关部门，能严格监管，在⽬前的中国，数字犯罪领域，相关的法律和监管可能还不是那么的严苛，使得各个不法企业不法个⼈钻空⼦，利⽤漏洞来获取⾃⼰的利益，同时希望各个IT企业能有⾃⼰的道德操守，滥⽤技术，将爬⾍⽤脉搏测量仪
成“臭⾍”，最后技术问题可能还是需要技术来解决，有明便有暗，可能有些事情我们是永远⽆法杜绝的，那就要发展技术保护我们的个⼈隐私，⽐如“数据加密”“多⽅安全计算”等研究领域，我们也要多多去投⼊研究，使得更多的技术可以来保护我们的隐私不受侵犯
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议