借助云的力量，重塑企业的现在和未来｜re:Invent 2022 Adam Selipsky 主题演讲精华全收录

 2022 亚马逊云科技re:Invent全球大会进入第二天,亚马逊云科技首席执行官 Adam Selipsky 发表了“如何借助云的力量,在未知领域抓住机遇并茁壮成长”的主题演讲。在两个小时的演讲中,Adam 重点围绕数据、安全、计算性能和行业应用等4个主题发布了多项重磅发布,助力云上客户快速实现数字化转型,提高创新速度。

 数据之浩瀚

 Adam 提到,正如宇宙探测一样,我们要用多个工具才能够深切地了解到深不可测的宇宙,我们需要把不同系统、不同部门的各种深刻见解整合在一起,才能去寻找各种可能。同样,数据领域也是如此,管理数据的规模和增长既是一个巨大的挑战,也是一个机遇,我们需要一套完整的工具来应对数据的规模和种类。

 企业需要对数据做到很好的管理,来保证数据是安全的,同时还要去理解这些数据,然后探索这些数据可以给企业带来的各种潜力。亚马逊云科技专注于构建所有这些功能,亚马逊云科技倡导在数据管理领域需要有:

 1)恰当的工具

 2)有效的数据集成

 3)规范数据治理

 4)深入的业务洞察力

 端到端的数据服务

 推出 Amazon OpenSearch Serverless 版本

 为了帮助客户更好的管理和处理数据、提取数据价值,亚马逊云科技打造了多款数据分析的工具,客户可以使用不同工具来应对数据的不同规模和多样性。亚马逊云科技拥有的每个数据库解决方案都是针对客户的特定需求而推出的,每个数据分析解决方案在其产品组合中都有着清晰的定位。

 面对日益增长的客户需求,Adam 宣布正式推出 Amazon OpenSearch Serverless 版本,新解决方案简化了运行 PB 级搜索和分析工作负载的过程,而无需配置、管理或扩展 OpenSearch 集群。OpenSearch Serverless 自动调配和扩展底层资源,为最苛刻和最不可预测的工作负载提供快速数据接收和查询响应。使用 OpenSearch Serverless,客户只需支付所消耗的资源。至此,亚马逊云科技所有关键的数据分析服务均已提供无服务器选项。

 除了提供数据分析服务以外,亚马逊云科技对专家级的从业者也提供了非常强有力且实用的平台,助力每一个数据开发者简化繁杂工作,提升工作效率。我们将数据分析与机器学习能力做了有效的集成,通过 Amazon SageMaker,进一步挖掘数据的价值,促进企业增长。

 数据集成

 在数据集成方面,Adam 重点提到了 ETL(数据提取,转换和加载),以及它是重复性无差别的繁重工作。在这方面,亚马逊云科技的 Redshift、Athena 和 Data Exchange 以及 SageMaker 集成可以提供更好的帮助。Adam 宣布 Amazon Aurora 将首次支持与 Amazon Redshift 的 Zero-ETL(提取、转换和加载)集成,以实现对 Aurora PB 交易数据的近实时分析和机器学习。

 Zero-ETL 集成

 这种集成将事务数据与分析功能结合在一起,消除了在 Aurora 和 Redshift 之间构建和管理自定义数据管道的所有工作。用户不必构建和维护复杂的数据管道来执行提取、转换和加载(ETL)操作。Adam 强调:“数据进入 Aurora 几秒钟后,就可以在 Redshift 内无缝提供。您可以在同一个 Redshift 实例中复制来自多个Aurora 数据库的数据。整个系统是无服务器的,并根据数据量动态地上下扩展。因此,没有需要管理的基础设施。现在,您在 Aurora 中真正实现了两全其美的快速、可扩展的事务,以及 Redshift 中的可扩展分析,都在一个无缝系统中。” 亚马逊云科技坚信 zero-ETL 必将是最终目标,亚马逊云科技正在努力构建一个完全无需 ETL 的未来!

 Amazon Redshift 与 Apache Spark 集成

 此外,Adam 还宣布了 Amazon Redshift 与 Apache Spark 集成,以帮助数据工程师构建和运行 Spark 应用程序,这些应用程序可以从 Amazon RedShift 集群消费和写入数据。“今天,如果你在 EMR 工作,你可以使用 Spark 对数据进行分析。但如果你想对 Redshift 中的数据运行 Spark 查询,你必须要么将数据移动到 S3,要么查找、下载并配置缓慢的开源容器到 Redshift 的连接器。更好的方法是只在 Redshift 对数据运行一个 Spark 查询。” Adam 在他的主题演讲中说道,“所以我们希望快速无缝,我很高兴为 Apache Spark 引入 Amazon Redshift 集成。”

 如果客户正在使用亚马逊云科技的分析和机器学习服务,如 Amazon EMR、Amazon Glue 和 Amazon SageMaker,他们现在可以构建 Apache Spark 应用程序,在不影响应用程序性能或数据的事务一致性的情况下读取和写入 Amazon Redshift 数据仓库。

 Adam 表示,“现在在亚马逊云科技的Amazon Redshift 上运行 Apache Spark 应用程序非常容易,不再需要移动任何数据,也不再需要构建或管理任何连接器。” 针对 Apache Spark 的 Amazon Redshift 集成最大限度地减少了设置 Spark Redshift 开源连接器的繁琐且通常是手动的过程,并减少了准备分析和 ML 任务所需的时间。

 数据合规与可控

 接下来讨论使数据可访问但又合规和可控的方法。合规可控与可访问性之间的平衡很难实现,建立正确的数据治理机制,是给人信任和信心,是鼓励创新,而不是限制创新。然而,在所有团队和职能部门之间建立企业范围的治理是一项艰巨但关键的任务。

发布 Amazon DataZone

 实现简易精细的数据管理

 亚马逊云科技宣布推出 Amazon DataZone,一项用于分类、发现、共享和管理数据的数据管理服务,可以集成 Redshift、Athena 和 QuickSight,以及对第三方数据源提供 API 接口,可实现细粒度数据管理,其中包含由机器学习填充的数据目录,易于使用业务术语进行搜索。  

 Adam 表示,“DataZone 使数据管理员能够轻松管理对数据的管理访问,从而使您能够在整个组织中安全地释放数据。它使数据工程师、数据科学家、产品经理、分析师和其他业务用户能够轻松地发现、使用和协作这些数据,为您的业务提供见解。”

 更广阔的数据洞察

 Amzon Quicksight Q 预测服务

 数据的第四个部分就是实现业务洞察,Adam 宣布使用 Amzon Quicksight Q 应用探索新的基于机器学习的预测服务正式发布,以探索更广阔的数据领域。使用 Q 进行基于机器学习的预测,用户可以在不涉及任何分析师或数据科学家的情况下查看业务绩效预测。QuickSight Q 还将支持自然语言“为什么”问题,允许非分析师深入研究数据并找出导致特定结果的因素。  

 “您需要所有工具来处理海量且不断扩大的数据量。当您拥有所有这些时,您就拥有了完整的端到端数据策略。” Adam表示,亚马逊云科技是实现这一目标的助力,因为我们在“整个数据之旅”中做了大量投入,目标是帮助客户更好的释放数据的价值。亚马逊云科技在数据服务领域的版图已经变得更清晰、更全面,企业将在亚马逊云科技的助力下,拥有各种各样的工具来轻松应对以往经常面临的数据类型多样性、业务需求和使用场景复杂性的难题。  

 安全之深不可测

 安全性是客户选择亚马逊云科技的主要原因之一,亚马逊云科技提供的安全性是其他的云提供服务商所难以比拟的。管理数据安全是我们工作的重中之重,为客户提供包括从医疗服务、银行还有其他的金融机构等各个领域最安全的云服务,并致力于提升系统的弹性和柔韧度。我们能够为客户提供高级而安全的服务,帮助客户去识别、去探测、去减轻减少各种网络安全的威胁。

 Amazon GuardDuty

 更新快速响应安全威胁

 Amazon GuardDuty 这样一个组件就具有检测并且响应安全威胁的功能。在演讲中 Adam 正式宣布了 Container runtime threat detection for GuardDuty。更新版的 GuardDuty 能检测容器内部可能存在的安全风险,识别那些试图访问控制节点的的操作,支持与 Amazon EKS 集成。

 它能够在运行时间去探测到这些威胁,不仅是监测它,更重要的是去提升系统的功能,同时加固网络之间的连接。在不同计算机的节点中,它的安全性如何?在各个不同的容器之间它是怎么样来实现互联的?对此我们提供了数千个不同的安全解决方案,同时我们也把数千第三方的安全解决方案集成到亚马逊云科技服务的云端服务的平台上,确保您的安全。

Amazon Security Lake

 带来数据安全新福音

 Adam宣布推出 Amazon Security Lake,可以自动将来自云、本地和自定义来源的安全数据集中到存储在用户账户中的专用数据湖中。Security Lake 使分析安全数据变得更加容易,以便用户可以更全面地了解整个组织的安全性,可以自动收集和管理您跨账户和区域的所有安全数据。用户可以使用自己习惯的分析工具,同时保留对安全数据的控制和所有权。Security Lake 采用了开放式网络安全架构框架 (OCSF),这是一种开放标准。它有助于规范化和组合来自亚马逊云科技和广泛的企业安全数据源的安全数据。

 这是一个巨大的胜利,从长远来看,对于打击不良行为者和创建更易于管理的网络安全运营生命周期来说将是一个重大的福音。

 计算性能之极限

 在极端的环境里面,足够好,有时候还是不足够好,所以我们准备好克服各种各样的困难,我们在亚马逊云科技应对的是各种极端的环境。比如,F1 赛车有5亿个不同的数据点需要得到监控,从60到12个小时的减少时间,Epic Game 需要支持上亿个不同的玩家,所以他们有很多的要求,他们需要处理成亿的不同的要求,我们也可以给他们提供非常小的延迟。Nielsen 每天有数十亿的数据需要处理。所以亚马逊云科技一直在创新,长期为客户提供所有数据分析的可用工具。亚马逊云科技现在有600多种实例类型来满足几乎任何类型的需求或使用案例,其中许多实例使用的是特别定制的芯片。

 Hpc6id 实例

 以 HPC 客户的需求为例,首先要根据他们确切的工作负载来确定他们的性能的规模;第二,就是要提供简易使用的工具,确保客户可以多方尝试,用更少的时间来管理他们的基础设施。HPC就是一个很好的选择,它可以将管理扩展到数百万的用例上面,最大程度地优化客户的工作负载。

 基于此,亚马逊云科技正式发布了用于高性能计算(HPC)的新亚马逊弹性计算云(Amazon EC2)Hpc6id 实例,基于 Amazon Nitro 系统构建的 EC2 Hpc6id 实例提供 200Gbps 弹性结构适配器网络,用于高吞吐量节点间通信,使客户 HPC 工作负载能够大规模运行。Adam 表示:“Hpc6id 实例旨在为数据、内存密集型 HPC 工作负载、更高的内存带宽、更快的本地 SSD 存储和弹性结构适配器增强的网络提供领先的性价比。使用 EC2 Hpc6id 实例,您可以降低 HPC 工作负载的成本,同时利用亚马逊云科技的弹性和可扩展性。”

 多样化的强大实例

 满足您的所有需求

 今天的机器学习模型已经发展到使用1000亿个参数,在短短几年内增加了一百倍。这大大推高了训练机器学习模型的成本。随着企业构建的机器学习模型越来越复杂,训练和运行这些模型的成本成为一个现实问题。亚马逊云科技创建了一系列创新实例来帮助用户降低成本,Adam提到Trn1实例专为高性能训练而构建,同时与同类基于 GPU 的实例相比,可节省高达 50% 的训练成本。Trn1 实例对流行的NLP模型进行深度学习训练时提供最高性能。同时宣布推出EC2 Inf2 实例预览版,旨在以最低的成本为推理应用程序提供高性能。与 Inf1 实例相比,Inf2 实例提供高 3 倍的计算性能、高 4 倍的吞吐量和低 10 倍的延迟。

 行业应用之无限可能

 除了主要的产品升级以外,亚马逊云科技还致力于打造面向特定行业或者特定应用场景的解决方案,以帮助客户快速适配自己的应用场景,加速创新与缩短产品上市时间。

新服务

 Amazon SupplyChain

 Adam 首先推出了 Amazon SimSpace Weaver,只需要简单的几个操作就能在云端运行大规模空间模拟工作,支持主流 3D 引擎,包括 Unreal Engine 和 Unity。该服务旨在将仿真开发人员从他们自己的硬件限制中解放出来。Adam 表示,使用 SimSpace Weaver,您可以创建无缝的虚拟世界,其中包含数百万个对象,这些对象可以实时交互,而无需管理后端基础设施。  

功能升级的Amazon CleanRooms

 基于 Amazon Connect 的呼叫中心已经广泛获得了客户的认可,每天支撑超过1000万次互动。Adam 宣布了 Connect 新功能:新的机器学习驱动的预测、容量规划和调度。“如今,数以万计的客户使用 Connect 每天支持超过1000 万次互动,仅三周就可以快速部署可用的连接。比如,Convoy 在不到一分钟的时间内接听的升级呼叫的百分比提高了50%,Priceline 使1000多名座席能够使用 Connect 在家工作。”

新方案

 Amazon SimSpace Weaver

 除此之外,Adam 还宣布推出客户期待已久的供应链解决方案 Amazon Supply Chain。“许多亚马逊云科技的客户问我们,我们是否愿意采用亚马逊供应链技术、亚马逊云科技基础设施和机器学习来帮助他们解决供应链问题。” Amazon Supply Chain 是一个基于云的新应用程序,可帮助供应链领导者减轻风险并降低成本,以提高供应链弹性。Amazon Supply Chain 统一了供应链数据,提供了基于 ML 的可操作见解,并提供了内置的上下文协作,所有这些都有助于用户通过减少缺货来提高客户服务水平,同时帮助降低积压成本。

 Amazon Supply Chain 提供了一个实时可视化地图功能,显示了每个地点的库存水平和健康状况,并提供了目标观察列表,以提醒您潜在的风险。当风险被发现时,Amazon Supply Chain 供应链提供库存再平衡建议和内置的上下文协作工具,使跨团队协调实施解决方案更加容易。Adam 表示:“这只是一个开始。我们将继续在这里投资,努力解决您最困难的供应链问题。”

 功能升级的Amazon Connect服务

 在广告营销领域,Adam宣布推出 Amazon Clean Rooms,用于在共享营销数据上进行安全协作并维护用户的数据隐私。

 通过分析组合的数据集,您可以提升对客户提供各种服务的质量和水平,在查询数据的同时可以把数据进行加密。  

 生物医疗

 在生物医疗领域,Adam 正式宣布了 Amazon Omics,帮助用户存储、查询、分析基因组数据并从中生成见解。Amazon Omics 通过几次的点击就可以进行相关的科学分析,Amazon Omics 有各种各样的功能,也是一个安全的环境,并且符合相关的监管规定。我们用 Amazon Omics 来帮助我们更有目标地针对某一种疾病进行研究。

零售行业

 谈到零售业,Adam 提到了亚马逊的 Just Walk Out 技术,一种可以用你的手掌支付,而不需要钱包或手机的技术。“我们已经看到了西雅图水手队的例子,他们报告说,在安装了Just Walk Out技术后,水手商店的交易增加了三倍以上。”  

 最后,Adam 总结道,帮助有想法的人去创造机遇,实现转型和创新发展,最重要就是“云的力量”,亚马逊云科技就是这样一个驭云赋能的角色。