[圈子:个人情感] 大数据中数据挖掘技术的挑战
颠覆者
2015-08-20
首先,数据挖掘简单的来说就是从一堆数据里面找有价值的东西。现在数据也是资产,将来会有一个经营数据的公司。所以数据是新的石油,我们要从这里采矿,练成各种各样有用的东西。所以谁拥有数据,谁就拥有未来,数据是企业未来的核心竞争力。 大数据的一个特点是数据量大,它必须达到一个程度,大数据在2012年的时候已经有PB级了。 大数据的结构是非结构化的,我们很难用表格存起来的。而且这个不能进行形式化的数据占85%以上,目前用传统方法只能分析15%的量。所以做大数据研究非常重要。另外就是数据密度低,比如视频流,我就想看一个车怎么发生事故的,实际也就几秒钟,但是存量存了非常多,没有用的占大多数,有用的只有那么几秒钟,所以价值的密度比较低,但是我们就要这一点,但是不能因为别的没有价值就把它去掉,所以这对存储提出了非常大的挑战。 大数据分析的要求跟传统的数据分析有很多不一样。第一个大数据分析更注重有效性,而不是完整性。时效性的数据就是当下要做决定时候的数据,不需要分析得非常准确,但是要非常快。不需要对原来十年的数据再加上今天的数据,否则的话你的效率非常低。另外要注重宏观性而不是微观性,我们要掌握数据隐藏的一些大的规律,十年的规律、五年的规律等等。 第二个是数据复杂,对于分析模型的建立提出了更多挑战。Hadoop平台是大数据分析的平台,很多公司都在这个基础上开发了自己的东西,来提供给其他的企业进行分析,包括客户关系分析、用户体验的分析,但实际上如果大家都去这个平台,有非常大安全性风险。所以用一个开放的平台,安全性是非常紧迫的事。 第三个就是分析,大数据的噪声非常多,去噪声技术的要求更强烈。还有大数据的新型表示方法,还有大数据的存储成本,大数据存储要人维护,要人备份,要人检查。还有半结构和结构化的高效处理。视频怎么处理,图片怎么处理,文本怎么处理,所以要精确的分析要依靠技术。 挑战四就是数据动态增长,数据量太大,怎么样对数据进行分布式的并行的处理? 挑战五是大数据的可视化,让不懂数据的人看得懂,要让决策者们看得懂,这是要有很多的智慧的。而对大数据来说,得到的结果往往非常的复杂,非常的抽象,你要用图形的方式表达出来让大部分理解,并且用它来指导决策.这是五个我认为比较大的挑战。 灵玖软件全称灵玖中科软件(北京)有限公司专注于大数据搜索与挖掘的技术创新与服务,提供大数据搜索、大数据挖掘与大数据应用解决方案,以应对大数据的管理、处理、分析并从大数据中获知识与智慧,将用户的大数据困境转变为大数据宝藏。灵玖软件凭借15年的坚持,精耕细作,目前已服务于全球30万家机构,成为大数据分析领域第一引擎。这个平台从2000年开始,写下第一组代码到现在一起伴随着互联网走进大数据时代,现与各大知名互联网公司,企业,单位,机构一起编制中国的互联网中国梦。服务于消费者,服务于企业机构。为你提供大数据一站式解决方案,使数据能够从不同的角度重新组织并获得新的认识。电话:010-62648067。 Hadoop、Spark、还有机器学习、统计、数据可视化、通用的编程语言、创造力和问题解决能力,每一个都非常重要,大数据的分析结果是用来决策的。 简要的总结,大数据时代的到来引起了一场技术革命,将会影响我们生活的方方面面。我们无法逃避大数据时代。大数据时代的数据挖掘技术一定要顺应大数据的新要求和变化。谁掌握了最核心的技术,谁最先引进最前进的技术,谁就将在大数据时代立于不败之地。 |