Gen AI 新时代-采用逻辑数据管理-2024.08-11正式版

白皮书GenAI新时代：采用逻辑数据管理如果说2023年是为现实的时代。实验将让位于商业和财务价值的实现。一些组织已经开始意识到这一价值，并通过降低成进行衡量（德勤人工智能研究所，生成式人工智能(GenAI)被广泛认为具有变革潜力的一年，那么2024年往后将是这种潜力成本、提高流程效率、创造收入和改善的服务的形式，对价值2023年）。然而，基于GenAI的应用的可靠性只能取决于其所依据的数据质量。根据（麦肯锡，2023年）的数据，有72%的受访组织将数据管理视为实施人工智能应用场景的关键要求。遗憾的是的数据量；使所有GenAI应用和其他数据使用者都能够实时访问其所需的数据，并以安全、符合隐私标准的的挑战，GenAI仍能带来可观的收益。行业领先的数据管于GenAI的功能。这些功能可加快数据准备和使用，自动优化性能和成本效，许多组织仍在奋力实施这样一个数据基和越来越大础：能够扩展GenAI所需的越来越多的数据源方式访问数据。然而，尽管存在这些数据管理方面理供应商已在其平台中内置了基益，并在不牺牲质量或安全性的情况下，满足业务不断增长的数据需求。一个领先的逻辑数据管理平台，可在必要例如，Denodo平台就是时以所需的形式向所有使用者（包括GenAI）提供数据。这种方法抽象了GenAI和其他使用者对多个数据系统的访问，隐藏了潜在的复杂性，同时保证了数据的交付符合预定义的语义和数据治理规则。的变革Denodo认识到GenAI在促进数据民主化方面潜力。Denodo平台不仅可以实现任务自动化，还可以为各种角色的用户赋能，从最终用户到开发人员，再到管理员和数据管理员等。在本意见书中，我们将深入探讨以下几点：1.GenAI在企业中的早期应用场景和成功案例2.在企业中使用GenAI面临的一些挑战3.Denodo平台如何应对这些挑战4.Denodo平台如何利用GenAI©2024DenodoTechnologies2企业中的生成式人工智能应用场景指出，到2026年，预计将有超过80%的企业在运营环境中使用由GenAI驱动的应用编程接口(API)或模型，和/或实施由GenAI支持的应用，这与2023年报告的不到5%相比有显著增长（Gartner，2023年）。整理了六大行业最引人注目的60个GenAI应用场景。最常见的示例包括GenAI可以汇总信息，为“了解您的客户”(KYC)等流程提供深刻见解，并根据这些信息创建有针对性的个性化消息。对于处理跨品产品描述、图片、视频和音频等个性化的内容创作分配时间和资源十分困难。与传统工具相比，GenAI可提供更快、更一致的解决方案，帮助企业高效生成内容。牌组合、采用多种语言的多个网站的组织来说，营销内容管理是一项挑战。为产品发跨行业灵感和简化概念测试方面的局限性困难重。通过将GenAI与CAD及其他辅助软件相结合，就可以加强原型设计、增强创造性思维、集思广益和促进突破传统的想法。设计历来需要时间，而众多创意中只有一个能推向市场。克服人类在产生各种创意、激重开发人员和其他高技能专业人员的需求量很大，且供不应求。为了克服人才缺口，GenAI可以用来辅助开发人员的工作，自动完成代码创建和维护，这样开发人员就可以专注于更复杂的代码编写。©2024DenodoTechnologies3GenAI有可能彻底改变客户互动方式，它利用语音到文本和自然语言输入来产生有同理心的个性化对话，特别是在售后支持和解决客户投诉方面。在工业领域，维护计划对于防止设备故障和昂贵的维修费用、延长资产寿命至关重

要。GenAI可根据运营因素优化时间表，推荐高效、具有成本效益的计划，同时分析设备数据，以最大限度减少停机时间和提高运转率。GenAI赋能的虚拟现场助理可以充当参考工具，快速访问大量技术信息。除了提供相关细节和引导工程师找到合适的资源外，虚拟助理还可以解决特定工程概念、原理或计算方面的问题，从而帮助排除故障。GenAI可以帮助识别和模拟供应链中的潜在中断或风险。通过评估港口拥堵情况、运输路线和N级供应商映射，GenAI可用于预测风险及其对运营的相应影响，也可以建议用来降低这些风险的行动。有关政府和公共服务的数据通常采用多种格式，分布在多个位置（例如，本地、云端等）。GenAI赋能的虚拟助理可以充当公民和政府信息之间的接口，用自然语言回答问题。©2024DenodoTechnologies4企业应用生成式人工智能面临的挑战随着（麦肯锡，2023年）的数据，有

72%的受访组织将数据管理视为使

GenAI支持的客户个性化服务安全有效，基组织认识到

GenAI的变革潜力，他们开始投资相关技术和能力，并尝试初始应用场景。但是，他们很快就遇到了各种数据相关的问题。根据扩展人工智能应用场景的关键挑战。例如，要础客户数据必须准确、及时更新，并需要跨多个不同数据源进行近乎实时的数据访问。问题在于，GenAI依赖于大语言模型

(LLM)，而这些模型本身存在局限性。LLM的智能程度取决于训练它们的数据的智能程度。虽然

LLM对历史事件和所有文献都有百科全书式的了解，但他们对贵组织却一无所知，例如有关组织客户、产品或运营的细节，而且

LLM的数据集也不会实时更新。如果不具备这一点，GenAI对任何需要最新客户或业务背景的操作应用场景都毫无用处。人工智能代理抱歉，我无权访问我们上一季度最畅销的有关产品产品具体信息。或销售的是什么？大语言模型虽然可以利用更多信息对现有基础模型进行训练和微调，并使其了解企业数据和信息，但这种方法往往会带来更多复杂性和挑战。对于大多数组织来说，反复训练

LLM所需的成本和技能不仅令人望而却步，还需要让LLM持续了解最新的数据和信息，这使得不断反复训练

LLM的迭代过程在当今根本不切实际。©2024DenodoTechnologies5此外，为了将公司信息这类知识嵌入模型，而用公司信息（可能是在未来的交互过程中，始终存在数据泄露的风险。精明的用户可能会设计提示，来诱导泄露此类信息，即使模型经过训练可以识别敏感性；但这种训练并不完美。敏感信息）训练

LLM也充满危险性，因为好消息是在

2020年的一篇论文中首次提出了检索增强生成

(RAG)架构，它很快成为一种以经济、安全的方式利用其他数据和信息增强

LLM的首选方法。，一种新兴的实施模式有望克服

LLM的局限性，能以安全有效的方式在企业环境中提供其所需的知识。检索增强生成可以将实时更新的数据纳入

GenAI的结果中，但这仍然需要时提供相关数据，同时确保数据的质量和隐私合规性。一个全面的数据管理解决方案来实人工智能代理+企业数据和知识上一季度最畅销的产品是大型水泵，总销售额我们上一季度最畅销的产品是什么？达到54000美元。大语言模型企业数据存储库在传统的机器学习应用场景中，数据在前期训练过程中发挥着至关重要的作用，而

GenAI和检索增强生成正在改变这种模式，要将知识注入LLM，而是在提示过程中通过额外的上下文窗口添加知识。然后，LLM可以使用提供的其他上下文的响应，而无需将这些知识嵌入

LLM本身。求数据在推理过程中扮演知识扩充层的角色。检索增强生成架构不是通过反复训练模型来生成必要检索增强生成的优势包括减少幻觉，提供最新和实时的信息（克服根据“时间点”数据训练模型的局限性）；特定领域的知识（如上文所述的产品销售示例）；消除成本高昂的反复训练以及对

来源的可视性（福布斯，2023年）。这种简

单的方法可以应用于结构化和非结构化信息，是更安全的方式。结合

LLM强大的代码生成功能（例如用于查询底层企业数据的

SQL），使用检索增强生成的下一代

AI应用可为企业开辟新型的强大用户交互方式和释放数据价值为

LLM提供额外知识和信息的一种更灵活、更经济、的新途径。但是，需要必要的数据管理基础才能在企业环境中实施检索增强生成。虽然现在可以找到大量简

单的，且这些项目旨在证明检索增强生成在桌面设置中对于单个表的强大功能，但在企业环境中针对通常孤立、复杂的企业数据环境中的真实生产数据实施检索增强生成架构可能是一场噩梦。随着组织探索

LLM和企业数据源之间更紧密的集成，他们将不可避免地在克服数据孤岛、处理各种数据源类型以及管理复杂而冗长的数据交付管道方面遇到同样的数据管理挑战。©2024DenodoTechnologies6具体来说，组织在采用

GenAI时应考虑以下数据管理挑战：法规：新的法规、指南和框架正在迅速制定，旨在解决

GenAI系统的运作和用于训练这类系统的数据缺乏透明度、偏见和公平性、潜在的知识产权侵权、可能的隐私侵犯、第三方风险和安全顾虑等问题。新拟议的旨在为高风险的人工智能系统制定全面险评估提出具体要求。美国总统颁布的人工智能

确立了人工智能安全和保障的新标准，旨在保护美国人的隐私，促进公平和公民权利，维护使用者和工人的利益，促进创新和竞争等等。旨在通过对高风险人工智能服务更严格的通知要求和人工智能可信度认证系统等，确保人工智能系统的可信度，从而保护人工智能服务的用户。其他地区的法规和指南提倡甚至强制要求在数据收集中使用隐私增强技术，例如：新加坡提出的的法规，对透明度、数据治理、人工监督和风。此外，这些法规还对

GenAI结果的可审计性和可解释性提出要审计性，确保

GenAI没有偏见，不会对使用者造成伤害，并向使用者说明在特定交互过程中使用

GenAI（例由

GenAI所提供）。要GenAI在生成特定结果时使用了哪些数据，并确保控制措施到位，以监控哪些

GenAI应用场景在何求。例如，《欧盟人工智能法案》要求具有可如，披露他们正在交谈的聊天机器人，或为他们生成的建议是应对此类审计，就必须能够查看时使用了哪些数据。数据质量和可解释性：低质量的数据可能导致不正确或不一致的行为，即“垃圾输入，垃圾输出”。无论是随后通过检索增强生成实时访问企业数据，都是在

LLM的模型训练过程中，还是如此。由此产生的“幻觉”会导致最终用户的不信任，而对于受人工智能使用道德规范约束的企业来说，则可能会违反合规性。，但这还不够。GenAI还需要因此，对数据质量严格把关很必要“数据可解释性”，也即为生成结果访问了哪些数据。这样，GenAI用户就能随时确定所使用的数据是否正确和准确，如果不正确，也能轻松采取补救《欧盟人工智能法案》，要措施。数据可解释性提供了透明度，从而提高了最终用户的信任度。事实上，上述一些法规，特别是求按需提供这种程度的透明度。数据隐私和安全：欧洲的《通用数据保护条例》(GDPR)等隐私法规仍然适用，但挑战不仅限于确保正确的访问控制和落实去标识化措施。GenAI带来了额外的风险。下面叫

JaneDoe，我的电话号码是...”之类的提示可能会导致模型泄露这些信息（Seth&Chang，2024年）。众所周

知，模型会“记住”训练数据，从而使问题变得更加复杂。有几种类型的攻击（如训练数据提取）已被证明会泄露

LLM的敏感数据（Seth&Chang，2024）。上述所有人工智能法规都要我们举例说明

GenAI模型如何带来隐私风险。如果使用“JaneDoe”的私人数据来训练模型，那么“我求组织采取控制措施，以降低发生此类侵犯隐私行为的风险。©2024DenodoTechnologies7Denodo如何应对这些挑战

-逻辑数据管理Denodo认为，组织必须发展和重新构想数据管理，因为这种利害关系之重大是前所未有的。组织必须立即采取行动，建立数据管理基础，为即将到来的人工智能驱动的新竞争格局做好准备。当您回顾推动下一代人工智能应用所需的数据管理考虑因素时，我们认为合乎逻辑的数据管理方法是推动下一代人工智能应用的关键因素。Denodo平台利用数据技术，在增强人工智能应用之前无需迁移或整合数据。它为人工智能应用访问集成数据提供了一个单一的整合网关，并带来了许多其他关键优势，包括：一个统一、安全的接入点，供LLM与所有企业数据[企业资源规划(ERP)、运营数据集市、企业数据仓库(EDW)、应用程序API]交互和查询一个丰富的语义层。为LLM提供所需的业务背从底层技术数据视图中解耦和抽象的（LLM可能难以使用）提供便于LLM使用的宽逻辑表视图，而无需先对多个数据集进行物理组合内置的查询优化功能使LLM无需处理特定的数据源景和知识（如表格说明、业务定义、类别/标签和样本值）。快速交付逻辑数据视图，这些视图是约束或优化的连接策略。凭借这些优势，Denodo平台成为了检索增强生成的良好推动力。语义层使存储在规范数据平台中的数据能够通过一个一致、安全的接口供GenAI应用访问。Denodo平台还拥有必要的元数据，可为GenAI应用提供所需的信息，包括数据模式、带有上下文信息的字段描述以及字段的业务名称。大语言模型平台数据虚拟化查询优化语义层安全/治理200+SaaS传统DB和DW云存储Hadoop和NoSQLOLAP文件应用程序流式数据SaaS数据适配器©2024DenodoTechnologies8对于生成式人工智能应用最关键的组件之一，即您的数据，Denodo平台可成为单一的服务层。LLM和Denodo平台相结合，可大大加快功能强大的人工智能代理的开发速度。Denodo平台提供了以下附加功能，确保为

GenAI奠定坚实的数据基础：数据质量和使用情况监控：Denodo平台提供了一个庞大的转换、过滤和匹配函数库，以及用于验证、清理、丰富、标准化、匹配与合并数据的质量规则，例如，条件处理、分区、用于重

复数据删除和清理的模糊匹配算法，以及基于语法、同义词库或语义映射。此外，Denodo平台可持续监控哪些数据在何时由谁访问。对于通过检索增强生成发起的每次

GenAI查询，Denodo平台都会记录查询和返回的数据，从而提供随时可解释性和透明度。数据安全和隐私合规：作为应用的单一数据接入点，Denodo平台提供了一个中心层，用于强制执行访问安全限制，这些限制可根据具有字段级粒度的规范模型来定义。Denodo平台支持基的权限（如访问

Denodo数据库和视图），又有特定于数据的权限（如访问虚拟视图中的特定行或列）。Denodo平台提供基更高级别管理层的“工资”列，这于用户和角色的身份验证和授权机制，既有模式范围于行和基于列的安全性，包括屏蔽特定字段的可能性（例如，不允许经理查看些单元格将在结果中显示为屏蔽）。这些功能使

Denodo平台非常适合为支持检索增强生成的人工智能应用实施数据安全，帮助组织满足上述各种监管要求。要充分发挥

LLM驱动的人工智能代理的潜力，需要整个行业不断发展技术和创新。Denodo正走在前沿，不断发展我们的产品，以满足人工智能赋能的未来的需求。我们优秀的产品理团队会不断监控和评估人工智能和其他现代技术的最新进展，为数据管理打下更坚实的基础。我们致力于帮助我们的客户有效利用这些创新技术。管©2024DenodoTechnologies9GenAI如何增强数据管理GenAI还被用来改善数据管理。它将极具价值的自动化引入到容易出现人为错误的手动流程中。人工智能可以更高效、更准确地处理基础数据管理任务，而在此之前，这些任务都属于劳动密集型，且容易出错。Denodo已在

Denodo平台中实现了以下功能：自然语言查询。任何用户只需用自然语言输入问题，平台就会将其转换为

SQL代码并执行。这是迈出的一大步，能让不懂

SQL或商业智能

(BI)工具的业务专业人员也能从数据中获得深刻见解。例如，销售美国所有首选客户的姓名和电子邮件”。使用

GenAI的数据平台可以将自然语言查询转化为SQL代码，甚至生成代码的解释。然后，数据平台将执行代码并检索结果。数据民主化经理可以使用日常用语查询数据，例如，“我需要这对于分析师、营销人员、销售人员、医疗保健专业人员等业务专业人士来说具有巨大的潜力，他们可以独立访问数据并从数据中获得洞察，而无需依赖

IT和

（TDWI，2023年）。这将为业务决策者提供所需