办公室工作存在问题
石文亮
摘要：随着大数据技术的发展，大数据技术帮助人们改善生活，提高生活品质，给社会带来了巨大改变。但是大数据本身的 局限性限制了大数据技术的发展。本文从大数据的收集、处理以及大数据的传输和存储的安全性这几方面分析了大数据的局 限性：大数据的收集存储存在难度，需要解决高效存储碎片非结构化的数据类型、数据基数大，数量实时增加、存储难度大、时效性短等问题；大数据的处理存在难度，需求解决数据的处理技术门槛高、数据噪音多、资源消耗大、数据的不确定性导致后期 学习预测难度高的问题；大数据信息内容丰富，价值高，极易成为网络黑客的攻击目标，对于高敏数据，需要安全性高的网络传 输条件和存储条件。 关键词：大数据；局限性；有效利用大数据 中图分类号：F49 文献标识码:A
作者单位：江西财经大学软件与物联网工程学院
一夜之间，我们就来到了大数据时代，大数据这个被神 化的技术仿佛无所不能。其实作为一项发展时间并不长的技 术，虽然它发展非常快，但是不可忽视的是大数据实际上并 没有那么“神”。它拥有的一些特性的确能够解决特定的问 题，在某些领域大显神通，但同时我们也应该理性看待新技 术，正视其局限性。
《哲学新视野》一书中有这样的描述：“某 些观念有时会以惊人的力量给知识带来巨大的冲击。由于这 些观念能一下子解决许多问题，所以，它们似乎将有希望解 决所有的基本问题，澄清所有不明了的疑点。每个人都想迅 速地抓住它们。”充满热度的大数据技术，人人都想去触碰 它，却往往不能很好地驾驭它。笔者认为只有正确认识到大 数据的优势和待发展的地方，才能够更好发掘它的潜力，发 挥它的价值，更好地使用它服务于人们。
一、大数据收集存储存在难度
从大数据获取的广度层面上来说，目前主要面临的问题 是无纸化存储盛行，文件数量和种类不断增多、非结构化的 信息种类繁多、信息存在时效性。
(一）数据碎片化难以存储
数据的非结构化给存储带来难度，传统的数据都具有一 定的数据结构，能够被存储在普通的关系性数据库中，然而 随着数据源的不断扩大，数据呈现出非结构性特征。例如，随 着传感器的小型化和智能化，往往一部智能手机就加入了气 压传感器、温度传感器、磁场感知传感器。这些给人们带来方 便的科技发展却也着实为大数据的发展带来了困难。这些非 结构性数据通常拥有更为丰富详细的知识，却也带有更多的 数据噪音，为数据的分析和清洗带来了很大困难。此时开发 非关系数据库，建立更为完善的架构尤为重要。
(二）数据时效性难以保证
数据的时效性往往影响数据是否能尽其用。按照时间来 分，数据可分为老数据和新数据。具有一定时间跨度的仍有 利用价值的数据，往往具有分析和预测趋势的价值；对于新数据来说，现时性使其具有应用的价值，所得需要马上转化 为应用，新数据不一定都能转化为具有研究价值的老数据，它 的现实价值往往随着时间的流逝而消失。大数据的时效性使 其并不能得到最大效用，达到最大的效率。例如，用于探测地 震和海啸的传感器所产生的数据时效一般都在秒级，要求在 秒级的时间内迅速将灾害信息转化为御灾措施。美国国家海 洋局利用超级计算机处理海底布设的传感器信息，在日本震 后9分钟能预测接下来是否会有海啸以及海啸的强度。短短 的9分钟看起来不长，却是每一个宝贵的生命难以承受的时 间。
恐龙危机1攻略基于大数据的实时营销就要求对于目标用户的信息进 行实时掌握，即使营销信息做的多么符合客户的需求，一旦 潜在的营销客户离开视线，那么营销就收不到效果，这样的 营销就属于无效营销。大数据的时效性要求对数据的实时采 集，实时加工，实时分发出去。“1秒定律（Velocity) ”，即要求 数据的有效性都在秒级的范围内，在这个时间范围里，大数 据处理设备需要计算大量数据，进行数据处理、分析，最后将 利用得出的答案投入生产活动中。然而，现实生活中，受制于 技术的局限性，上述场景很难做到，一定程度上限制了大数 据技术的应用和发展。
二、大数据处理存在难度
磷酸烯醇式丙酮酸(一）大数据处理设备要求高
大数据处理技术门槛较高。从大数据的加工深度层面来 说，除了要处理的数据本身基数重大，同时现实网络空间之 中还在无时无刻产生大量的新数据，这对传统计算平台产生 了巨大的挑战，因此，为了处理海量的数据，往往需要搭建专 业、稳定的计算集进行处理，从而也限制了大多数企业进 行大数据方面研究的进场资格。
(二）大数据噪音大
数据往往带有大量噪音，给处理带来巨大挑战。在维克 多的《大数据时代：生活、工作与思维的大变革》一书中，作者
认为样本等于总体。笔者觉得这过于绝对了，且不说技术上 是否能够获取到所有数据，即使获取到了所有数据，那么这 也是一个掺杂了无数噪音的样本，能不能加工处理充满不确 定性的数据将成为最大的问题。相比于分析一篇完整的新闻 和一篇微博，新闻一般能够提供足够的信息供你去分析文本 的感情彩和准确的语义辨别，而微博能够提供的信息就非 常有限了。那么只有通过研究机器学习算法，训练更为有效 的分类器，利用更多的内部和外部数据来协助加工数据。引人其他数据的方式，有可能会产生更多的数据噪音，因此这 里如何做到最优化，将根据具体情况做出取舍。同时，处理大 量带噪音数据样本时边缘设备与计算中心之间往往存在资 源受限、资源浪费、高能耗和带宽负载高等
问题。
(三）大数据具有不确定性
数据本身的不确定性为大数据学习预测运用带来困难。通过分析海量繁多的数据进行学习和预测，这是大数据技术 运用的基本模式，然而数据一定越多越好吗？大学 林智仁教授开发的UBSVM学习模型，在特征数和样本数相 对较小的情况下，学习预测的效果最好。另外，大数据后期学 习预测的不确定性，数据本身并没有带有标签，面对一个数 据，单项大数据技术通过上下文、文中语境甚至是其他来源 的信息来判断其含义和它的感情彩。这样的判断方式具有 片面性并最终形成了数据的不确定。
三、大数据的安全性要求高
(一）数据价值高，吸引黑客攻击
一方面大数据蕴含大量丰富而有价值的信息，容易吸引 黑客攻击，黑客攻击是一种针对特定网络目标、有企图的人 为恶意攻击行为，黑客攻击一般有两种：一是主动攻击，主动 对攻击目标进行漏洞査、渗透、提权等，破坏目标的信息完 整性；另一种是被动攻击，通过嗅探、信息收集等方法非法收 集信息。成功的主动攻击和被动攻击通常都会造成攻击目标 的损失，严重威胁网络安全。一定程度上，黑客技术的不断发 展将持续威胁大数据技术的发展。
(二）数据一旦丢失，难以恢复
由于大数据的收集、处理以及存储过程比较复杂，并且 往往有时效性要求，所以一旦发生致命硬件故障时，想要重 新获取数据难度极大。而实际生产场景中，操作者参与数据 操作，操作者的安全意识不强或者操作技术水平限制，经常 会导致数据丢失。操作员设置低安全性的口令导致恶意操作 也会导致数据丢失，这些都给大数据的安全性造成了巨大隐 患。例如，社保信息、档案信息等高敏数据要求要有安全性髙的网络传输条件和存储条件，这对大数据处理设备的稳定性
女港商刘娟和安全性有很高的要求。大数据的发展在给社会带来便利的
同时，也给数据保护工作领域带来了全新的技术挑战。
(三）大数据使用的安全性
大数据的特性决定了它会有巨大的威力，善用大数据技
术能够为人们带来便利，滥用大数据将会造成严重危害。
2018年上半年全球知名的社交服务网络公司—脸书，遭
遇史上最大信任危机，全球范围内，超过5000万条脸书的用
户数据被泄露，第三方数据分析机构使用这些数据进行商业
分析活动，事件甚至涉及2016年美国大选。此次事件不仅证
明了大数据的威力巨大，也向人们证明了滥用大数据将会严
重危害公民隐私。可以这样说，如果大数据的使用安全性、合
法性得不到保证，人们将会抵制大数据技术，在采集数据源
得不到保证的情况下，大数据技术将面临无数据可用的困
境。
四、结语
“在‘数据定义一切，数据驱动未来，算法统治世界}形成
广泛共识的今天，谁在推进经济数字化中把握住了机遇，就
能够抢得发展先机，赢得发展主动权。”大数据时代已经到
EGERIA
来了，大数据技术的发展促进了各行各业的发展，让我们生
活得更加方便。然而，目前大数据技术还存在一些不容忽视
的局限性。当然这并不是否定其真正的价值，只有通过实践
检验去认识大数据技术的局限性和优势，才能更好地去发掘
其潜力价值，从而髙效地利用大数据技术。
参考文献：
[1]Viktor,M ayer—Schonberger,Kenneth.,Cukier.Big Data:
A Revolution That Will Transform How We Live,Work,and Think[M].London：Hodder&Stoughton,2012：15—23.
[2] 石震梅.大数据时代给社保工作带来的机遇和挑战[J]，财会学习，2018(09): 190.
[3] 高承远.大数据精准营销的五大弊端〇].华夏酒报，2016,26(1) ：1.
[4]相景丽大数据”时代的计算机信息处理技术〇].电子 技术与软件工程，2018(06):183.
[5] 崔萌，张春雷丄LBSVM，LIBLINEAR，SVM〜(muticlass)比较研究〇].电子技术，2〇15,44(06):l-5.
[6] 汤应.大数据背景下的计算机网络信息安全及防护措 施[J].现代工业经济和信息化，2018,8(01) :50-51.
[7] 赵艳斌.谨防国防大数据泄密风险[N].中国国防报，2018-05-15(002).
2018年第8期69
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议