2022人工智能大规模实施的产业化

人工智能的产业化从实验升级到大规模实施目录简介 2AI市场成度 7操作化AI：从实验到实施 12AI产业化关键要求 16案例研究示例 21展望与建议 26附录 27简介执行摘要没有哪种广泛的行业趋势，无论是客户端/服务器计算、经济合理的硬件，甚至云本身，能像人工智能(AI)业务运营的方式。而且由于市场针对创建机器学习(ML)生命周期管理工具的投资不断加速增AIAI使用AI已达到一定的成熟度，如今，AI的总体价值主张已不再是预算和采购讨论的主要内容。事实上，围绕AI的对话本质上已经变得更加务实，专注于如何将非关键流程中的早期尝试性胜利转化为关键业务型业务流程中的重大收益。在本白皮书中，Omdia将分析这种转变，讨论在从AI实验到在实际运营中熟练驾驭AI，使其成为关键业务基础和市场差异化优势关键人工智能在全球颠覆性时代迎来蓬勃发展2020年初的疫情爆发彻底地影响了市场格局并带来了前所未有的社会动荡，而且并没有司从根本上改变进入市场和支持业务流程的途径。它还迫使企业IT采购商对购买优先级进行然而，在全球范围内，危机并没有减缓AI在企业规划中迅速增长的应用趋势。为什么会这样？事实证明，AI的成果通常与三个普遍的愿望紧密相连，而这些愿望与大规模颠覆性事件引起的顾虑实际上是一致的。降低执行任务或流程的成本，从而能够直接重新分配资金，以更好地应对收入流受到限制的情况。创造全新的价值机会，具体的方法为帮助公司识别并转向更符合当前市场需求的业务模式总而言之，这些目标与AI的以下能力密不可分：发现新的和更有效的处理或执行给定任务的方式（进行调整。（OmdiaAI例。以企业对企业(B2B)销售（企业服务）使用的AI驱动型产品推荐引擎，然后在企业服务领域复制它们，以将其作为增加B2B电子商菜单，这些菜单均由AI驱动。这些系统在推荐食物选择、建议餐桌等待时间或接受订单之当前畅销商品。对于食品和饮料行业中的企业，特别是依赖人工进行运营的公司，需要使用AI作为避免因本地疫情爆发而导致停业的措施，这已变得至关重要。为此，许多肉食品加工和包装公司（TysonFoods、JBCPilgrim’sPride）关闭，从而强化因全球疫情而变得脆弱的供应链。供应链客户希望使用AI来识别和预测对于证明AI投资合理性的关键业务推动因素书后续部分中所讨论的，每个独特的AI业务成果（例如通过B2B推荐引擎增加收入）都依赖AI技术的应用。Omdia机器学习(ML)：深度学习(DL)：ML分支。自然语言处理(NLP)：ML和DL应用。计算机视觉(CV)：另一种ML和DL分类对象的图像。其中，ML和DLAIAIML和DL来理解所捕获的数据。ML和DL模型，并以尽可能少的延迟提供模型结果（预测）。幸运的是，市场领导者NVIDIA®已与AMDNVIDIA于90(GPU)，其最初用途是对游戏图形进行加速。企业能够利用该工具更快、更准确地处理日常任务，并借此提高生产率和效率。此外，借助ML和DL开（），AI直接收益：此类收益为通过销售基于AI的解决方案所获得的收入。例如，防止网络安全威胁是AIAI供给第三方。间接收益：此类收益不一定是从用例本身获得的收入，但本质上将AI用作中间层或插件来改善产品或服务。以比较著名的网络搜索或电子商务产品推荐用例为例，它们都使用AI来提供更佳的结果。这两种用例中的收入都不能直接关联到或归属于AI，因为OmdiaAI抱有信心（见图1）对实践者而言，这种信心源自于运营效率和组织稳定性的大幅提高，受访在未来24）将提供对IT理用例的支持。n=146n=146最终用户公司被问到：“您对AI在接下来的12-24个月内为您的业务目标带来积极成果有多大信心？”©2020Omdia图1：尽管发生了疫情，但从业人员仍有信心在近期取得与AI相关的积极成果资料来源：Omdia通过AI获得差异化竞争优势AI技术是支撑这些目标的基础。出众的AI能力水平能够为核心用例和部门性用例提供支持，都希望将AIAI以这种方式采用AI不一定能够达到即插即用的效果。必须投入大量时间、资源和资本，而且AI实施旅程。因此，OmdiaAI在打造AI与“AIAI的公司（AI投资和投入的公司）放慢采用AIAI的公司可能会推迟投资时机或者缩减投资规模，并在经济状况出现好转后再采取后续措施。那些抢占先机采用了AI的公的差距。此外，由于疫情带来的颠覆性影响很可能持续到2021年及以后，因此这一严峻磨炼将扩大到早期采用者，甚至对成熟AI实践者的毅力也是一种考验，最终，将有能力实施大量AI项目（并保持）的采用者与无法以高效、一致的方式处理高度专业化早期项目的采用者区别开来。AI市场成熟度超越早期先锋，迈向常态AI成果方面，AI仍处于起步阶段。Omdia最近的一项研究表明，有53％的企业正在考查多个用7AI（2）。n=161n=161最终用户公司被问到：“贵公司目前的AI部署情况如何？”©2020Omdia图2：AI部署状态资料来源：OmdiaAI实践者即使在创建最普通的ML任务时也必须面对复杂的挑战。无论是训练用于客户服务的预构建聊天机器人模型，还是从头开始编写欺诈检测DL算法，在ML生命周期的每个步骤中，走错任何一步都发现。在基本流程之上，还有许多挑战和潜在陷阱需要企业AI实践者妥善解决，包括用例选择和性能评估、基础设施投资、项目所有权、技能获取以及隐私/安全合规性。但是，对于那AIML流程复杂性AIMLML数据采集与准备AI实践者（）工程处理，然后着手进行一系列迭代实验以找到并优化最适用的ML模型，进而实现预期的效当规模的计算群集和支持性GPU组的访问。对于此示例，模型达到所需的准确性后，数据科学家即可发布自己的发现，以帮助营销人员做出如何与“有流失风险”的客户进行沟通的最佳决策。©2020Omdia图©2020Omdia图3：企业ML工作流程资料来源：Omdia重复性、性能和信任问题考虑到这些非常基本的复杂性，在整个公司范围内采用相对较低的AI渗透率成为一种非常理想的选择。对于寻求超越基本AI概念验证(PoC)和试点项目范畴的公司而言，适用于任何给定ML实验或AI实施的三个关键概念是其面临的一大挑战：遗憾的是，即使最有经验的IT组织也因为面临各种各样的障碍，而无法完美协调这三个概念。由于数据科学具有的高度实验性和迭代性，其理念本身就是一个障碍。在AI实施生命周期中的每个常规阶段，实践者都必须面对许多挑战，上述只是为数不多的几个示例。对于AI通常用Python和R语言编写）在JupyterNotebook可扩展性–对于公司来说，有效地兼管开发（训练）和部署（推理）的资源需求可能非常困难，因为这些任务的完成依赖于诸多易变条件。对于所有支持性存储和处理资源（数据库实例、数据管道处理、推理引擎执行等）而言，情况同样如此。这种高度纠缠的状态使IT经理和CTO难以通过预测来控制成本，并且随着新AI项目进入开发和生产，这一难度将呈指数级增长。保证性–由于许多DL个项目生命周期中的代码文档不佳，以及部署前对模型的测试不足，因此很难完全信任AI业以及许多其他类似）给定模型的输出进行实际复制。对于无法完整记录整个ML生命周期中的以下内容的组织而试等。简而言之，每个AI项目都作为复杂的系统运行，因此很难对其进行预测或控制。任何希望将已有经验扩展到少数几个AI项目规模之外的尝试，只会进一步加剧这一困难局面。有趣的是，20世纪90发方法、协作式版本控制实践以及软件虚拟化和容器化。这些创新统称为操作化开发(DevOps)操作化AI：从实验到实施企业AI实践者如今遭遇的挑战与软件开发人员在20世纪90MLOps原则与实践幸运的是，AI实践者可以使用现代企业软件开发人员所依赖的许多DevOps技术。简而言之，DevOps力图通过应用几个核心原则来对软件生命周期进行操作化处理（见图4）。©©2020Omdia图4：DevOps核心原则资料来源：Omdia这些DevOps原则共同构成了ML的操作化（例如MLOps），但是每个原则都指向一个起点：一种严格强制执行的方法，用于管理馈入给定ML项目的生命周期以及在其中创建的所有元数据。这些元数据一经建立，便可协助企业采用多种DevOps工具链技术，包括但是，MLOpsDevOpsMLDevOps，可以将整个项目作为单个单元进行版本控制。而对于MLOps，很遗憾，实践者必须对代码、预测模型和支持数据（随时间变化的数据）进行版本控制。因此，DevOpsMLOps，因为MLOps证将DevOps应用于数据科学鉴于这些差异，要将DevOps原则和工具链技术映射到MLOps，似乎需要全面改造已建立的数据科学部门，并强制升级数据科学家与IT员工之间的关系。幸运的是，由于AI市场建立在开源软件上并且仍在其上运行，因此MLOps的进入门槛非常低。而且，MLOps不需要自上而下的系统性方法。相反，用户可以通过采用一些简单的工具轻松开始自己的MLOps之旅。MicrosoftGitHubPythonR资源进行轻松控制。总的说来，GitHubJupyterNotebook打包成一种可以进行版本控制和共享的格式。为了更好地管理JupyterNotebook中的库和语言相互依赖性，用户可以采用AnacondaJupyterNotebook进行训练和推理，客户可以使用DVCMLOps问题，因此可以帮助企业按照顺序将应用数据科学经验扩展至各个项目。GitHubDVCAnacondaMLOps将单个项目转移到生产以及扩展到单个项目之外，则需要一种更加集中的架构，该架构应能够随着时间的推移大规模应用同一思路。当然，可以将这些项目和其他开源项目组合并以定制的方式进行构建，以满足整个MLOps生命周期的需要。但是，对于大多数处于试点试验和关键用例实施之间的企业而言，这项（）范围。AIMLOps平Anaconda理的端到端MLOps平台。最近有多家供应商，特别是那些在提供支持性基础设施方面有经验的供应商，又向前迈出了一步，他们开始投资于MLOps和云原生工作负载编排层，并希望借HPEEzmeralMLOps和HPEGreenLakeOps框架（如Anaconda）MLIT本身实施(AIOps此类创新造就了一个充满活力的市场，该市场现在拥有与Anaconda、HPEEzmeralMLOps和超大规模云平台提供商Microsoft、Amazon、Google和IBM相似的许多平台。有趣的是，数量不多但极具影响力的企业AI实践者也已将自己的MLOps平台推向市场，这些平台最初是在内部作为定制解决方案构建的。其中包括Netflix的Iguazio、Uber的Michelangelo、Netflix的Metaflow和Lyft的Flyte。它们以及Databricks、H2O.ai、Datarobot、Cnvrg.io、Cloudera、SAS、Dataiku等市场上的众多纯功能产品，为企业AI实践者在购买现成MLOps平台时提供了异常丰富的潜在选择。AI产业化的关键要求更高水平的复杂性MLAIAI开发平台越来越多，大多数企业AI与广泛的提供商和支持技术进行竞争。所有这些解决方案为企业实践者提供了一个操作化框架，可将其作为基础构建AI成果。例如，尽管某些集成和定制服务工作可能已包含在特定AI解决方案中，但可能需要昂贵的附加专业服务组件来确保顺利交付。实际上，许多MLOps提无论成功与否，AI实施至少部分由开源软件提供支持。数据科学家和数据工程师积极利用由库、框架和工具组成的极其复杂的集合。企业的IT实践者必须逐个项目配置和支持每种开源技术（以及每种技术的多种版本），这样就形成了支持合同和版本依赖关系的无规律拼凑，因此必须对其进行管理（见图5）。©©2020Omdia图5：支持AI的重要开源项目资料来源：Omdia源原则。这种坚持通常体现在云提供商与基于开源产品（例如Confluent(Kafka)、DataStax(Cassandra)Elastic(Elasticsearch)）进行构建的供应商之间的直接合作关系中。云提供商通常Microsoft和Google一样，这两大企业均在自己的DL框架中支持Keras。这种开放性还扩展到了计算基础设施。在认识到无论如何都必须使用正确的AI加速硬件来匹配给定的AI项目后，云平台提供商迅速投资于其自己的以及由NVIDIA等制造商直接提供的各种加速架构。AI不仅需要加速硬件。NVIDIA已在创建云软件平台\hNVIDIANGC的过程中投入了大量资金，这是一个GPU优化软件和AI模型的中心，用于深度学习、加速分析、科学计算和高性能计算(HPC)AWS、MicrosoftAzureAI实践者可以通过NGC与组织相关的注意事项在组织层面，公司必须将各种具备相似复杂度的人类专业知识组合在一起，包括软件开发人员、IT架构师、数据工程师、数据分析师、数据科学家、业务分析师、安全专家和领域专家。通过应用AI以及AutoML，与每个角色相关的一些任务可以得到增强和简化，并且可以在某些有限的情况下实现完全自动化。尽管如此，要建立一个合适的AI团队并使其能够在整个企业范围内大规模操作，仍需要高度的跨部门协调和持续监督。组织内部AI的所有权对于AIAI席AI官来负责AIAIAI管理允许对AI采用“画笔”方法，即可以将AI的风险。即便如此，集中管理仍然是吸引最佳人才的一种好方法，因为AI工程师希望加入一家“AI负责人”AI大多数情况下，采用部分分散的AI是一种更好的方法，因为它保留了中央权限，但赋予了部门自治权。这种混合管理模式使各部门可以自由定义和推行自己的AI策略，而不必由中央管理人员来指定条件。此外，在长期运行中，随着AI成为经营和管理业务的默认方式，首席执行官可以充当默认的首席AI官或AI负责人，并因此为集中式AI创建独立于首席执行官的单独业务职能部门。在此之前，Omdia建议实践者建立AI卓越中心(CoE)，核心成员包括数据科学家、数据工程师和其他领域专家，由首席AI官主持工作。该小组可以负责监督方面的职责，但不会完全控制各个部门或工作。这将鼓励业务部门根据需要聘请自己的领域专家。AI于随着时间的流逝，这种决策也许会合并，很可能会随着许多公司开始将AI专业知识和知识产权(IP)AI资源，而总体控制权将交回给某些中央CoEn=161n=161最终用户公司被问到：“AI责任和决策权归属于贵公司的哪个部门？”©2020Omdia图6：AI责任中心资料来源：Omdia投资水平和基础设施注意事项对于AI部署最初的成本，或随着时间的推移所花费的成本，并不存在一个硬性的衡量指标。9NVIDIAGPUAI情况尤其突出。此类基础设施至关重要，因为对单个AI模型或模型组合进行训练可能是一项非常耗时的任务。对于诸如计算机视觉和自然语言处理之类的DL工作负载，简单的预测模型AI实践AI（GPU架构类型、GPU）。会导致成本和延迟双双增加。这种挑战通常是由于基于云的MLOps解决方案向企业收费的一头的项目需要利用混合或多云部署方案来完成，则定价和管理将变得更加复杂。在这种情况（）ML当然，硬件供应商将根据其解决方案的功能、规模和可靠性对产品定价。幸运的是，与技术市场的其他领域一样，新人工智能计算硬件的开发，例如NVIDIA最近发布的A100TensorCoreGPU和GPU优化软件，将随着时间的推移逐渐降低硬件成本。例如，在训练流行的BERT（Transformers的双向编码器表示）NLP模型时，A100将NVIDIAV100加速器的速度提高了六倍。对于本地硬件和云计算式AI加速服务，必须在供应和主动监控方面应用适当的规范。幸运的是，大多数MLOps解决方案都具备管理AI加速硬件的功能，通常直接用于在MicrosoftAzure或GoogleCloud等公有云平台上运行的硬件。对于某些应用，可以完全在云中处理AI解决方案，来自组织中的数据将被传输到远程第三方，并由其负责ML工作流程的开发、处理和输出。但是对于许多安全性、隐私性和性能至关重要的应用和用例而言，组织将需要在本地或公司边界的边缘进行一定程度的AI基础设施投资。对于这些客户而言，投资于像HPEGreenLake平台这样的云原生基础设施平台，已成为势AIMLKubernetes的容器化平台（如HPEEzmeralContainerPlatform或RedHatOpenShift）在业界的广泛普及，大多数MLOps解决方案对硬件占地面积几乎都没有要求，使公司可以根据需要轻松地按功能进行细分。案例研究示例尽管AI的应用远未普及，但各组织仍然可以利用其开展多种业务活动。通过利用在早期试点计划中获得的经验教训，结合内部专业领域和流程知识，然后整合外部硬件、软件和AI资源，组织现在可以在广泛的用例范围内，大规模地积极部署具有高度影响力的AI解决方案。以下示例来自三个关键行业，它们说明了如何成功部署ML技术，为组织提供切实有效的真实成果。金融服务：发现威胁和机遇分利用这些数据、识别模式并创造新效率的能力，是AI技术在金融服务行业中逐渐普及的主（ICTInsightsAIML2060ML部署。金融服务市场正在经历难以置信的独特转变，因此充分利用AI来驾驭数据已成为其头等大用。而且，客户进入和退出市场的障碍正在减少。与之相反，作为最早采用AI的行业，金融和服务的方式，而各种本地、云原生技术和高度可扩展AI加速硬件的出现完全满足了这种需求。使用可以总览大量互联指标的ML预测模型，银行可以更好地理解和满足客户需求。这使他们从而改善交叉销售和追加销售计划的成本利润比。相较之下，能够发现和限制风险的ML预测客户欺诈行为，并更好地预测新产品的风险。Omdia考核的前三个用例是欺诈检测和减轻、个人理财顾问服务以及信用评分和贷款分析（见图7），反映了对以内部为中心的结果和以客户©©2020Omdia图7：累积的ML收入（按财务用例），世界市场：2019–25资料来源：Omdia零售：在混乱的市场中蓬勃发展零售业对于电子零售和实体零售都非常关注，前者使用AI进一步拉进与客户的关系，后者则利用AI对客户的线下购买行为进行跟踪。AI已应用于面向客户的应用和幕后应用，以使零售体验变得更加高效和个性化。时装行业中的众多企业也开始越来越普遍地利用AI技术，以帮助其应对不断变化的趋势和截然不同的客户偏好。时装设计师、服装和时装配件制造商以及时装业顾问都在使用AI来连接AIOmdiaEnterpriseInsights2019/20–全球：IoTAI5G），36AIAI进行管理。©2020Omdia图8：累积的ML收入（按零售用例），世界市场：2019–25作为应对策略，零售行业希望借助AI解决方案来充分利用前后关联的个人数据和预测分析，