打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
大数据的问题解决方案,看完后才知道还有这么简单易懂的方法

传统方法

在这种方法中,企业将具有存储和处理大数据的计算机。这里的数据将存储在RDBMS如Oracle数据库,MS SQL Server或DB2和复杂的软件可以写入与数据库交互,处理所需的数据,并将其呈现给用户进行分析。

分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209,这是全国最大的大数据学习交流的地方,2000人聚集,不管你是小白还是大牛,小编我都挺欢迎,今天的源码已经上传到群文件,不定期分享干货,包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程,欢迎初学和进阶中的小伙伴。

局限性

这种方法在我们的标准数据库服务器可以容纳的数据量较少,或者正在处理数据的处理器的限制时运行良好。但是,当涉及到处理大量的数据时,通过传统的数据库服务器处理这样的数据真是一个单调乏味的任务。

谷歌的解决方案

Google使用称为MapReduce的算法解决了这个问题。该算法将任务分成小部分,并将这些部分分配给通过网络连接的许多计算机,并收集结果以形成最终结果数据集。

上图显示了各种商品硬件,可能是单CPU机或具有更高容量的服务器。

Hadoop

Doug Cutting,Mike Cafarella和团队采用了Google提供的解决方案,并于2005年开始了一个名为HADOOP的开源项目,Doug在他儿子的玩具大象之后命名了它。现在Apache Hadoop是Apache Software Foundation的注册商标。

Hadoop使用MapReduce算法运行应用程序,其中数据在不同的CPU节点上并行处理。总之,Hadoop框架足以开发能够在计算机集群上运行的应用程序,并且他们可以对大量数据执行完整的统计分析。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
常用大数据术语一览表
208个最新最全大数据/人工智能专有名词术语 中英对照(上)
3分钟让你了解全新的大数据岗位,让你找到适合自己工作,太神了
大数据
大数据定义和概念
大数据常见术语解释(3)
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服