打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
数据分析,数据挖掘,大数据,机器学习,深度学习,统计分析的区别是什么?

好问题,我会针对每个名词进行解析和对比,供您参考。不会像悟空上面有的回答那样东拉西扯,文不对题,离题万里若等闲。


我需要重新排列下您提的几个词:

  • 大数据

  • 数据挖掘

  • 数据分析/统计分析

  • 机器学习

  • 深度学习

想象一下,您是一名在头条或者抖音工作的数据科学家。你需要做什么呢?

  • 需要处理大数据,必须使用SQL,Python,R,C ,Java,Scala,Ruby等来编写计算机程序,以便仅维护大数据数据库。

  • 作为想要简化公司运营的人员,你需要做数据挖掘和数据分析——可能会使用简单的软件来执行此操作,或者运行大量其他人编写的代码,或者用SQL,Python,R编写详尽的代码,进行数据挖掘、数据清理、数据分析、建模、预测建模等。

  • 数据分析有很多软件可以做,Tableau是最受欢迎的一种,还有SAS。并输出分析报告。

  • 此外,需要能够使用机器学习来得出结论,并在不能获得分析答案的地方提出预测。可以将分析性答案视为计算机程序的[If / then]类型,其中所有输入条件都是已知的,并且只有几个参数会发生变化。

  • 机器学习使用统计分析对数据进行分区。例如:阅读不同人发表的评论,并根据评论预测下一个阅读者赞同还是否定这个回答。

  • 如果这还不够,您还可以使用深度学习。深度学习用于处理诸如音乐文件,图像之类的数据,甚至诸如自然语言之类的文本数据,这些数据虽然很大,但是类型却非常多样。

  • 公司外部的人可能会看到也可能不会看到您做的任何事情,但你的工作将帮助公司更好地进行产品和方案设计。

  • 为此,您可能需要大量的专业知识来处理数据和一些编程语言的知识。

在网上我之前看到的数据科学维恩图(Venn Diagram)如下。数据科学家处在交汇处。交流。

我们所说的“大数据”是什么意思?

“大数据”是指数据集,其大小超出了典型数据库软件工具的存储、管理和分析的能力。 随着技术的不断发展,符合大数据条件的数据集的大小也会增加。还应注意,定义可能因行业而异,具体取决于特定行业中常用的软件工具种类和数据集的大小。 有了这些警告,当今许多领域的大数据范围将从几十TB到数PB。

接下来我们看看大数据需要什么样的分析

  • A/B测试

  • 关联规则学习

  • 分类分析

  • 聚类分析

  • 数据挖掘

什么是数据挖掘

通过将统计和机器学习方法与数据库管理相结合,从大型数据集中提取模式的一组技术。这些技术包括关联规则学习,聚类分析,分类和回归。应用程序包括挖掘客户数据以确定最有可能响应报价的细分市场,挖掘人力资源数据以识别最成功的员工的特征,或进行市场篮子分析以建模客户的购买行为。

  • 整合学习。

与从任何组成模型中获得的预测模型相比,使用多个预测模型(每个模型都使用统计和/或机器学习开发)可获得更好的预测性能。这是一种监督学习。

遗传算法。

  • 一种用于优化的技术,其灵感来自自然进化或“适者生存”的过程。在该技术中,潜在的解决方案被编码为可以结合和变异的“染色体”。选择这些个体染色体以在模拟“环境”中生存,该“环境”决定了种群中每个个体的适应性或表现。通常被描述为一种“进化算法”,这些算法非常适合解决非线性问题。应用程序示例包括改善制造中的作业计划并优化投资组合的绩效。

机器学习。

计算机科学的一个子专业(在历史上称为“人工智能”的领域内)与算法的设计和开发有关,该算法允许计算机根据经验数据来发展行为。机器学习研究的主要重点是自动学习识别复杂的模式并根据数据做出明智的决策。自然语言处理是机器学习的一个示例。

  • 自然语言处理(NLP)。

计算机科学子专业中的一组技术(在历史上称为“人工智能”的领域内)和语言学,它们使用计算机算法来分析人类(自然)语言。许多NLP技术是机器学习的类型。 NLP的一种应用是在社交媒体上使用情绪分析来确定潜在客户对品牌宣传活动的反应。通过自然语言处理分析的来自社交媒体的数据可以与实时销售数据结合,以确定营销活动对客户情绪和购买行为产生何种影响。

  • 神经网络。

计算模型受生物神经网络(即大脑内的细胞和连接)的结构和工作原理的启发,可以在数据中找到模式。神经网络非常适合查找非线性模式。它们可用于模式识别和优化。一些神经网络应用程序涉及监督学习,而另一些应用程序涉及无监督学习。应用程序示例包括识别有可能离开特定公司的高价值客户以及识别欺诈性保险索赔。

  • 网络分析。

一组用于表征图形或网络中离散节点之间关系的技术。在社交网络分析中,将分析社区或组织中个人之间的联系,例如信息的传播方式或谁对谁影响最大。应用程序的示例包括确定要营销目标的主要意见领袖,以及确定企业信息流中的瓶颈。

……

综合起来,您提的这几个名词各有定义,然鹅在实际应用中诸多交叉。

您可以理解为

  • 大数据是基础数据;

  • 大数据需要数据分析数据挖掘是数据分析的一个方向,用到统计分析的知识;

  • 如果数据挖掘不行,可以用机器学习来做一些应用,深度学习是机器学习领域延申出来的内容。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
R语言为Hadoop注入统计血脉
「数据分析自学」数据分析商业项目实战与自学进阶
[上]人工智能,机器学习,数据挖掘,数据分析和深度学习到底是什么?
大数据到底怎么学:数据科学概论与大数据学习误区
什么是人工智能、机器学习、深度学习、数据挖掘以及数据分析?
AI知识图谱:机器学习、深度学习、数据分析、数据挖掘「附脑图」
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服