数据科学与机器学习

让电脑从数据中学习以改变您的业务

English Version

我们正处于人类历史发展的那一阶段?
现今我们可以随时随地通过移动设备进行网络连接。这为人们共享信息,交流思想,甚至以协作方式通过社交媒体管理项目,提供了基础。几乎所有形式的数据都可以转换为数字格式,将它们储存在云储存中并通过高速网络进行交换变得可行。我们目前正处于数字化大时代。

数字化时代的特征
在过去的数十年时间,电脑的处理能力已经被大大提高,从手提式电脑到云端电脑, 以致量子电脑。一台电脑可以有形的,亦可以是虚拟的。虚拟电脑是基于云端技术,并且比以往任何时候的功能都强大。除了处理能力之外,用于电脑的云储存正走向无限,成本亦为大众所负担得起。使用光纤传输介质,用于数据传输的带宽可以以很高的速度传输大量数据。在数字化时代,人们可以随时随地进行大量并高速的电脑运算。

大数据来自哪里?
每天都有大量数据产生。数据来源来自企业,政府,学校和个人。它们统称为“大数据”。大数据的来源来自:

  • 来自政府的公开数据
  • 来自社交媒体网站的对话
  • 电邮
  • 即时消息
  • 客户资料
  • 共享公司数据
  • 感测器
  • 摄影机
  • 可穿戴设备
  • 全球定位系统
大数据来源

什么是数据科学?
数据科学是通过可视化,数据挖掘,模式识别和机器学习来理解大数据的学科。通过理解大数据,您可以洞悉特定情况。洞察力对于做出正确的决定甚至预测至关重要。例如,通过分析客户的购买行为,您可以更好地控制库存或提供客户所需的服务。实际上,数据科学不是建基于非常先进的技术。相反,它是建基于统计学和数学。换句话说,用统计学和数学理论处理大量数据是数据科学的核心。以下是典型的数据科学处理过程。

Data Science Process, credit: Wikipedia

什么是机器学习?
机器学习是数据科学的主要主题。机器学习有两种,即监督学习和无监督学习。机器学习的主要功能是分类(例如:决定是否向客户授予贷款),回归(例如:销售预测)和聚类(例如:将客户分组)。主要应用之一是预测分析。

机器学习 — 全局

传统编程与机器学习
要了解机器学习的工作原理,最重要的是找出它与传统编程的区别。多年来,使用传统编程,我们将数据输入程序,然后获得程序生成的结果。但是,通过机器学习,我们不会首先开发程序。相反,我们收集一些历史数据及其相应的结果(例如,什么样的客户购买什么样的产品)。然后可以通过使用特定的机器学习功能(例如聚类)来生成模型。通过使用生成的模型,可以预测未来的购买行为。基于这种预测分析,可以高度准确地做出决策。

传统编程与机器学习

例子 — 物业价格预测
这是用于预测分析的用例。房地产价格取决于许多因素。这些因素可以是位置,年龄,交通等。通过收集那些因素和相应的房地产价格,可以生成用于预测房地产价格的模型。这意味着任何人都可以根据当前因素来预测财产的价格,以馈入由机器学习生成的模型。

模型生成过程

另一個例子 — 發放貸款
这是机器学习的另一个例子。要建立模型来预测是否向客户授予贷款,您需要从银行的数据库中提取一些有关其贷款历史的历史数据。您将提取什么数据?您可以考虑从每个申请人那里收集以下数据(属性)。可以通过应用正确的机器学习算法来生成模型。一旦模型可以使用,您就可以根据申请人提交的同一组数据(属性)轻松决定是否授予贷款。您可能会问这种预测是否正确。其准确性取决于所选择的算法和所收集数据的质量。至少人类的判断可以得到预测的补充。

贷款模型
预测

预测分析
预测分析涉及两个主要部分。第一部分是将一些训练数据提供给用于生成模型的机器算法。第二部分是将新数据提供给模型以生成结果。下图显示了整个过程。

预测分析流程

机器学习 — 应用
机器学习在商业世界中变得越来越流行。它改变了企业的营运和管理方式。以下是一些主要应用:

  • 价格预测:根据历史销售记录预测最佳价格
  • 风险评估:预测与诸如发放贷款等决策相关的风险
  • 倾向建模:根据历史行为预测未来的客户行为
  • 医疗诊断:通过利用大量历史案例来更好地进行医疗诊断
  • 文件分类:自动将文件分类为不同类别
  • 推荐系统:依靠顾客喜欢的物品的属性,发现顾客还喜欢什么
  • 销售预测:根据已采取的措施估算未来的销售量
机器学习应用

在组织中应用机器学习的步骤

  1. 有哪些业务问题?
    a. 如何获得新客户?
    b. 如何销售更多产品/服务?
    c. 如何提高流程效率?
    d. 客戶細分
  2. 寻找相应的数据源
    a. 内部数据(如果没有,请制定计划以不断收集它)
    b. 外部资料
  3. 机器学习可以通过哪些方式帮助解决业务问题?
    a. 选择正确的机器学习模型
    b. 评价
    c. 部署方式

I hope you’re enjoying my articles on Medium. If you find them helpful, informative, or just plain entertaining, please consider supporting me through Buy Me a Coffee.

--

--