Gen AI 新时代-采用逻辑数据管理-2024.08-11正式版

白皮书GenAI新时代：采用逻辑数据管理如果说2023年生成式人工智能(GenAI)被广泛认为具有变潜力的一年，那么2024年往后将这种潜力成为现实的时代。实验将让位于业和财务价的实现。一些组织已经开始意识到这一价，并通过降低成本、提高流程效率、创造收入和改多个行业的服务的形式，对价进行衡量（德勤人工智能研究所，2023年）。于有72%的受访组织将数据管理视为实施人工智能应用场景的关键求。遗憾的，许多组织仍在奋力实施这样一个数据础：能够扩展GenAI所需的越来越多的数据和越来越大的数据量；使所有GenAI应用和其他数据使用者都能够实时访问其所需的数据，并以安全、符合隐私标准的方式访问数据。然而，尽管存在这些数据管理方的挑战，GenAI仍能带来可观的收益。行业领先的数据管理供应已在其平台中内置了于GenAI的功能。这些功能可加快数据准备和使用，自动优化性能和成本效益，并在不牺牲质量或安全性的情况下，满足业务不断增长的数据需求。例如，Denodo平台就一个领先的逻辑数据管理平台，可在必时以所需的形式向所有使用者（包括GenAI）提供数据。这种方法抽象了GenAI和其他使用者对多个数据系统的访问，隐藏了潜在的复杂性，时保证了数据的交付符合预定义的语义和数据治理规则。Denodo认识到GenAI在促进数据民主化方的变潜力。Denodo平台不仅可以实现任务自动化，还可以为各种角色的用户赋能，从最终用户到开发人员，再到管理员和数据管理员等。在本意见书中，我们将深入探讨以下几点：1.GenAI在企业中的早期应用场景和成功案例2.在企业中使用GenAI3.Denodo平台如何应对这些挑战4.Denodo平台如何利用GenAI©2024Denodo2企业中的生成式人工智能应用场景或德勤人工智能研究所整理了六大行业最引人注目的60个GenAI应用场景。最常见的示例包括了解您的客户：GenAI可以汇总信息，为“了解您的客户”(KYC)等流程提供深刻见解，并根据这些信息创建有针对性的个性化消息。营销内容助理：对于处理跨牌组合、采用多种语言的多个网站的组织来说，营销内容管理一项挑战。为产描述、图片、视频和音频等个性化的内容创作分配时和资十分困难。与传统工具相比，GenAI可提供更快、更一致的解决方案，帮助企业高效生成内容。产品设计助理：产设计历来需时，而众多创意中只有一个能推向市场。克服人类在产生各种创意、激发跨行业灵感和简化概念测试方的局限性困难重重。通过将GenAI与CAD及其他辅助软件相结合，就可以加强型设计、增强创造性思维、集思广益和促进突破传统的想法。开发人员代码辅助：开发人员和其他高技能专业人员的需求量很大，且供不应求。为了克服人才缺口，GenAI可以用来辅助开发人员的工作，自动完成代码创建和维护，这样开发人员就可以专注于更复杂的代码编写。©2024Denodo3客户支持有可能彻底改变客户互动方式，它利用语音到文本和自然语言输入来产生有理心的个性：GenAI化对话，特别在后支持和解决客户诉方。资产维护计划：在工业领域，维护计划对于止设备故障和昂贵的维修费用、延长资产寿命至关重。GenAI可根据运营因素优化时表，推荐高效、具有成本效益的计划，时分析设备数据，以最大限度减少停机时和提高运转率。工程师虚拟现场助理赋能的虚拟现场助理可以充当参考工具，快速访问大量技术信息。除了提供相：GenAI关细节和引导工程师找到合适的资外，虚拟助理还可以解决特定工程概念、理或计方的问题，从而帮助排除故障。弹性物流和规划可以帮助识别和模拟供应链中的潜在中断或风险。通过评估港口拥堵情况、运输路：GenAI线和N级供应映射，GenAI可用于预测风险及其对运营的相应影响，也可以建议用来降低这些风险的行动。数字公民服务：有关政府和公共服务的数据通常采用多种格式，分布在多个位置（例如，本地、云端等）。GenAI赋能的虚拟助理可以充当公民和政府信息之的接口，用自然语言回答问题。©2024Denodo4企业应用生成式人工智能临的挑战随组织认识到GenAI的变潜力，他们开始资相关技术和能力，并尝试初始应用场景。但，他们很快就遇到了各种数据相关的问题。根据麦肯的受访组织将数据管理视为锡（麦肯锡，2023年）的数据，有72%扩展人工智能应用场景的关键挑战。例如，使GenAI支持的客户个性化服务安全有效，础客户数据必须准确、及时更新，并需跨多个不数据进行近乎实时的数据访问。问题在于，GenAI依赖于大语言模型(LLM)，而这些模型本身存在局限性。LLM的智能程度取决于训练它们的数据的智能程度。虽然LLM对历史事件和所有文献都有百科全书式的了解，但他们对贵组织却一无所知，例如有关组织客户、产或运营的细节，而且LLM的数据集也不会实时更新。如果不具备这一点，GenAI对任何需最新客户或业务景的操作应用场景都毫无用处。抱歉，我无权访问有关产或销的产虽然可以利用更多信息对现有础模型进行训练和微调，并使其了解企业数据和信息，但这种方法往往会带来更多复杂性和挑战。对于大多数组织来说，反复训练LLM所需的成本和技能不仅令人望而却步，还需让LLM持续了解最新的数据和信息，这使得不断反复训练LLM的迭代过程在当今根本不切实际。©2024Denodo5此外，为了将公司信息这类知识嵌入模型，而用公司信息（可能敏感信息）训练LLM也充满险性，因为在未来的交互过程中，始终存在数据泄露的风险。精明的用户可能会设计提示，来诱导泄露此类信息，即使模型经过训练可以识别敏感性；但这种训练并不完美。好消息，一种新兴的实施模式有望克服LLM的局限性，能以安全有效的方式在企业环境中提供其所需的知识。架构，它很快成为一种以经济、安全的方Meta在2020年的一篇论文中首次提出了检索增强生成(RAG)式利用其他数据和信息增强LLM的首选方法。检索增强生成可以将实时更新的数据纳入GenAI的结果中，但这仍然需一个全的数据管理解决方案来实时提供相关数据，时确保数据的质量和隐私合规性。人工智能代理+企业数据和知识额大语言模型企业数据存储库在传统的机器学习应用场景中，数据在前期训练过程中发挥至关重的作用，而GenAI和检索增强生成正在改变这种模式，求数据在推理过程中扮演知识扩充层的角色。检索增强生成架构不通过反复训练模型将知识注入LLM，而在提示过程中通过额外的上下文窗口添加知识。然后，LLM可以使用提供的其他上下文来生成必的响应，而无需将这些知识嵌入LLM本身。检索增强生成的优势包括减少幻觉，提供最新和实时的信息（克服根据“时点”数据训练模型的局限性）；特定领域的知识（如上文所述的产销示例）；消除成本高昂的反复训练以及对检索的数据来的可视性（福布斯，2023年）。这种简单的方法可以应用于结构化和非结构化信息，为LLM提供额外知识和信息的一种更灵活、更经济、更安全的方式。结合LLM强大的代码生成功能（例如用于查询底层企业数据的SQL），使用检索增强生成的下一代AI应用可为企业开辟新型的强大用户交互方式和释放数据价的新途径。但，需必的数据管理础才能在企业环境中实施检索增强生成。虽然现在可以找到大量简单的GitHub项目，且这些项目旨在证明检索增强生成在桌设置中对于单个表的强大功能，但在企业环境中针对通常孤立、复杂的企业数据环境中的真实生产数据实施检索增强生成架构可能一场噩梦。随组织探索LLM和企业数据之更紧密的集成，他们将不可避免地在克服数据孤岛、处理各种数据类型以及管理复杂而冗长的数据交付管道方遇到样的数据管理挑战。©2024Denodo6具体来说，组织在采用GenAI时应考虑以下数据管理挑战：法规：新的法规、指南和框架正在迅速制定，旨在解决GenAI系统的运作和用于训练这类系统的数据缺乏透明度、偏见和公平性、潜在的知识产权侵权、可能的隐私侵犯、第三方风险和安全顾虑等问题。新拟议的《欧盟人工智能法案》旨在为高风险的人工智能系统制定全的法规，对透明度、数据治理、人工监督和风险评估提出具体求。美国总统布的人工智能《行政命令》确立了人工智能安全和保障的新标准，旨在保护美国人的隐私，促进公平和公民权利，维护使用者和工人的利益，促进创新和竞争等等。《韩国人工智能法案》旨在通过对高风险人工智能服务更严格的通知求和人工智能可信度认证系统等，确保人工智能系统的可信度，从而保护人工智能服务的用户。其他地区的法规和指南提倡甚至强制求在数据收集中使用隐私增强技术，例如：新加坡提出的生成式人工智能模型人工智能治理框架。此外，这些法规还对GenAI结果的可审计性和可解释性提出求。例如，《欧盟人工智能法案》求具有可审计性，确保GenAI没有偏见，不会对使用者造成伤害，并向使用者说明在特定交互过程中使用GenAI（例如，披露他们正在交谈的聊天机器人，或为他们生成的建议由GenAI所提供）。应对此类审计，就必须能够查GenAI在生成特定结果时使用了哪些数据，并确保控制措施到位，以监控哪些GenAI应用场景在何时使用了哪些数据。数据质量和可解释性：低质量的数据可能导致不正确或不一致的行为，即“垃圾输入，垃圾输出”。无论是在LLM的模型训练过程中，还随后通过检索增强生成实时访问企业数据，都如此。由此产生的“幻觉”会导致最终用户的不信任，而对于受人工智能使用道德规范约束的企业来说，则可能会违反合规性。因此，对数据质量严格把关很必，但这还不够。GenAI还需“数据可解释性”，也即为生成结果访问了哪些数据。这样，GenAI用户就能随时确定所使用的数据否正确和准确，如果不正确，也能轻松采取补救措施。数据可解释性提供了透明度，从而提高了最终用户的信任度。事实上，上述一些法规，特别《欧盟人工智能法案》，求按需提供这种程度的透明度。数据隐私和安全：欧洲的《通用数据保护条例》(GDPR)等隐私法规仍然适用，但挑战不仅限于确保正确的访问控制和落实去标识化措施。GenAI带来了额外的风险。下我们举例说明GenAI模型如何带来隐私风险。如果使用“JaneDoe”的私人数据来训练模型，那么“我叫JaneDoe，我的电话号码...”之类的提示可能会导致模型泄露这些信息（Seth&Chang，2024年）。众所周知，模型会“记住”训练数据，从而使问题变得更加复杂。有几种类型的攻击（如训练数据提取）已被证明会泄露LLM的敏感数据（Seth&Chang，2024）。上述所有人工智能法规都求组织采取控制措施，以降低发生此类侵犯隐私行为的风险。©2024Denodo7Denodo-如何应对这些挑战逻辑数据管理Denodo认为，组织必须发展和重新构想数据管理，因为这种利害关系之重大前所未有的。组织必须立即采取行动，建立数据管理础，为即将到来的人工智能驱动的新竞争格局做好准备。当您回顾推动下一代人工智能应用所需的数据管理考虑因素时，我们认为合乎逻辑的数据管理方法推动下一代人工智能应用的关键因素。Denodo平台利用数据虚拟化技术，在增强人工智能应用之前无需迁移或整合数据。它为人工智能应用访问集成数据提供了一个单一的整合网关，并带来了许多其他关键优势，包括：■一个统一、安全的接入点，供LLM与所有企业数据[企业资规划(ERP)、运营数据集市、企业数据仓库(EDW)、应用程序API]交互和查询■一个丰富的语义层。为LLM提供所需的业务景和知识（如表格说明、业务定义、类别/标签和样本）。■快速交付逻辑数据视图，这些视图从底层技术数据视图中解耦和抽象的（LLM可能难以使用）■提供便于LLM使用的宽逻辑表视图，而无需先对多个数据集进行物理组合■内置的查询优化功能使LLM无需处理特定的数据约束或优化的连接策略。凭借这些优势，Denodo平台成为了检索增强生成的良好推动力。语义层使存储在规范数据平台中的数据能够通过一个一致、安全的接口供GenAI应用访问。Denodo平台还拥有必的元数据，可为GenAI应用提供所需的信息，包括数据模式、带有上下文信息的字段描述以及字段的业务名称。大语言模型平台数据虚拟化查询优化语义层安全/治理200+SaaS云存储和OLAP文件应用程序流式数据SaaSHadoopNoSQL数据适配器©2024Denodo8对于生成式人工智能应用最关键的组件之一，即您的数据，Denodo平台可成为单一的服务层。LLM和Denodo平台相结合，可大大加快功能强大的人工智能代理的开发速度。Denodo平台提供了以下附加功能，确保为GenAI数据质量和使用情况监控：Denodo平台提供了一个庞大的转换、过滤和匹配函数库，以及用于验证、理、丰富、标准化、匹配与合并数据的质量规则，例如，条件处理、分区、用于重复数据删除和理的模糊匹配法，以及于语法、义词库或语义映射。此外，Denodo平台可持续监控哪些数据在何时由谁访问。对于通过检索增强生成发起的每次GenAI查询，Denodo平台都会记录查询和返回的数据，从而提供随时可解释性和透明度。数据安全和隐私合规：作为应用的单一数据接入点，Denodo平台提供了一个中心层，用于强制执行访问安全限制，这些限制可根据具有字段级粒度的规范模型来定义。Denodo平台支持于用户和角色的身份验证和授权机制，既有模式范的权限（如访问Denodo数据库和视图），又有特定于数据的权限（如访问虚拟视图中的特定行或列）。Denodo平台提供于行和于列的安全性，包括屏蔽特定字段的可能性（例如，不允许经理查更高级别管理层的“工资”列，这些单元格将在结果中显示为屏蔽）。这些功能使Denodo平台非常适合为支持检索增强生成的人工智能应用实施数据安全，帮助组织满足上述各种监管求。LLM驱动的人工智能代理的潜力，需整个行业不断发展技术和创新。Denodo正走在前沿，不断发展我们的产，以满足人工智能赋能的未来的需求。我们优秀的产管理团队会不断监控和评估人工智能和其他现代技术的最新进展，为数据管理打下更坚实的基础。我们致力于帮助我们的客户有效利用这些创新技术。©2024Denodo9GenAI如何增强数据管理GenAI还被用来改数据管理。它将极具价的自动化引入到容易出现人为错误的手动流程中。人工智能可以更高效、更准确地处理础数据管理任务，而在此之前，这些任务都属于劳动密集型，且容易出错。Denodo已在Denodo平台中实现了以下功能：自然语言查询。任何用户只需用自然语言输入问题，平台就会将其转换为SQL代码并执行。这数据民主化迈出的一大步，能让不懂SQL或业智能(BI)工具的业务专业人员也能从数据中获得深刻见解。例如，销售经理可以使用日常用语查询数据，例如，“我需美国所有首选客户的姓名和电子邮件”。使用GenAI的数据平台可以将自然语言查询转化为SQL代码，甚至生成代码的解释。然后，数据平台将执行代码并检索结果。这对于分析师、营销人员、销人员、医疗保健专业人员等业务专业人