亚马逊云科技:实现大数据与机器学习双剑合璧

2022-05-23 11:55:11      浏览    作者:ralf

近年来,数字化转型已经被更多的企业接受,而初级的数字化也已经深入到“数“”智“融合阶段。红杉资本此前做的一项研究显示,企业数字化能力评估模型的重要一环是数据驱动的洞察与决策,即基于数据和复杂的算法推荐、预测等结果,帮助管理层做出更科学和高效的决策。

咨询机构能够从宏观上帮助企业进行数智融合的方法论指导,而作为企业的数字底座云计算厂商亚马逊云科技,有着更深层次的认识,能够帮助企业完成技术实现。

在不久前召开的《云领数智融合,重塑数据洞察》沟通会上,亚马逊云科技大中华区产品部总经理陈晓建建议,企业要重塑数据洞察,一定是将数据(大数据技术)和智能(机器学习技术)进行融合和统一。

大数据与机器学习的需求变化也越来越多。主要表现为四个方面:

组织架构层面:将原来分散在各个部门的机器学习实践进行整合,并与大数据项目进行统一协调和资源配置;

人员能力层面:要求和安排原有传统的大数据实践者掌握机器学习技术,应用到大数据具体项目或承接新的机器学习相关的项目需求,要求机器学习从业者也要掌握大数据处理能力,更好、更便捷地完成模型所需的数据准备和加工;

项目实施层面:仅依靠传统的大数据技术是无法全方位提供充足的数据见解,仍需要机器学习的模型能力补充,越来越多的数据项目会融合大数据和机器学习两者的能力;

工具支撑层面:需要面向大数据技术和机器学习构建统一的开发平台和技术基础,可能是对已有大数据平台进行改造增加机器学习相关场景和能力,或是完全推倒重新构建一个面向两者的通用的平台。

在现实中,数据分析与机器学习之间,存在着很多不协同的问题。如何将二者进行有效融合,陈晓建认为需要解决三个方面的问题:

第一:数据和机器学习分而治之,数据及技术孤岛制约敏捷迭代。

第二:数据处理能力不足。在生产制造企业,机器学习帮助客户对产品售后维修需求进行预测,由被动响应变为主动规划。但由于不具备足够的大数据处理能力,模型开发成功后 ,不能够有效收集处理海量的运营数据,致使预测不准确,无法达到预期业务目标。

第三:据分析人员参与度低。现实情况经常是,模型在实验环节效果良好,但实际使用中却不尽人意,实验环境只是对真实环境的简单模拟,生产环境要复杂得多。

与一般的咨询公司给出的方法论不同,亚马逊云科技能在技术细节上帮助企业更有效实现升级变革。这蕴含了亚马逊云科技三大技术能力:

构建云中统一的数据治理底座,打破数据及技能孤岛。亚马逊云科技能帮助客户构建统一的数据治理底座,实现大数据和机器学习的数据共享,数据权限的统一管控,以及两者统一的开发和流程编排。云中统一的数据治理底座不仅能提升大数据和机器学习的高效融合,还能减少大数据和机器学习重复构建的工作,并且显著降低成本。其中, Amazon Lake Formation推出诸多新功能,实现了数据网格跨部门的数据资产共享,以及基于单元格的最细粒度的权限控制机制。Amazon SageMaker Studio可一站式地完成数据开发、模型开发及相关的生产任务,该服务基于多种专门构建的服务,如交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce (Amazon EMR)、云数据仓库服务Amazon Redshift、Amazon SageMaker等,为大数据和机器学习提供统一的开发平台。

助力机器学习由实验转为实践,为机器学习提供生产级别的数据处理能力。机器学习项目成功的关键是对复杂的数据进行加工和准备。亚马逊云科技提供多种灵活可扩展、专门构建的大数据服务,帮助客户进行复杂的数据加工及处理,应对数据规模的动态变化,优化数据质量。其中,Amazon Athena能够对支持多种开源框架的大数据平台,包括Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源,对这些数据源进行联邦查询,快速完成机器学习建模的数据加工。 以Amazon Redshift、Amazon Managed Streaming for Apache Kafka (Amazon MSK)和 Amazon EMR 为代表的无服务器分析能力,可以让客户无需配置、扩展或管理底层基础设施,即可轻松地处理任何规模的数据,为机器学习项目提供兼具性能和成本效益的特征数据准备。

让数据分析智能化,赋能业务人员探索创新。亚马逊云科技还不断提供更加智能的数据分析服务,赋能业务人员进行智能分析、模型效果验证以及自主式创新。例如,在日常分析工具中集成机器学习模型预测能力,其中深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML,可帮助用户使用熟悉的技术,甚至通过自然语言来使用机器学习。亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务,让业务人员探索机器学习建模。

亚马逊云科技 “云、数、智三位一体”服务组合优势能够打破数据及技能孤岛、机器学习由实验转为实践、赋能业务人员探索创新。而企业则可以云中打造统一的数据基础底座,实现大数据和机器学习的双剑合璧,为企业发展提供新动力。


0
COPYRIGHT © 2009-2011,WWW.199DATA.COM,ALL RIGHTS RESERVED版权所有 © 199大数据 京ICP备2021002074号-8
sitemap feed