GenAI新时代白皮书：采用逻辑数据管理-Denodo

如果说2023年是生成式人工智能(GenAI)被广泛认为具有变革潜力的一年，那么2024年往后将是这种潜力成为现实的时代。实验将让位于商业和财务价值的实现。一些组织已经开始意识到这一价值，并通过降低成本、提高流程效率、创造收入和改善多个行业的服务的形式，对价值进行衡量（德勤人工智能研究所，2023年）。GenAI有72%的受访组织将数据管理视为实施人工智能应用场景的关键要求。GenAIGenAI方式访问数据。然而，尽管存在这些数据管理方面的挑战，GenAIGenAI益，并在不牺牲质量或安全性的情况下，满足业务不断增长的数据需求。例如，Denodo平台就是一个领先的逻辑数据管理平台，可在必要时以所需的形式向所有使用者（包括GenAI）提供数据。这种方法抽象了GenAI和其他使用者对多个数据系统的访问，隐藏了潜在的复杂性，同时保证了数据的交付符合预定义的语义和数据治理规则。DenodoGenAI在促进数据民主化方面的变革潜力。Denodo各种角色的用户赋能，从最终用户到开发人员，再到管理员和数据管理员等。在本意见书中，我们将深入探讨以下几点：GenAI在企业中的早期应用场景和成功案例GenAI面临的一些挑战Denodo平台如何应对这些挑战DenodoGenAI©©2024DenodoTechnologies3Gartner202680GenAI(API模型，和/GenAI20235相比有显著增长（Gartner，2023）。德勤人工智能研究所60GenAI了解您的客户：GenAI”(KYC)有针对性的个性化消息。营销内容助理：对于处理跨品牌组合、采用多种语言的多个网站的组织来说，营销内容管理是一项挑战。为产品描述、图片、视频和音频等个性化的内容创作分配时间和资源十分困难。与传统工具相比，GenAI可提供更快、更一致的解决方案，帮助企业高效生成内容。产品设计助理：产品设计历来需要时间，而众多创意中只有一个能推向市场。克服人类在产生各种创意、激GenAICAD开发人员代码辅助：开发人员和其他高技能专业人员的需求量很大，且供不应求。为了克服人才缺口，GenAI可以用来辅助开发人员的工作，自动完成代码创建和维护，这样开发人员就可以专注于更复杂的代码编写。客户支持：GenAI化对话，特别是在售后支持和解决客户投诉方面。资产维护计划：在工业领域，维护计划对于防止设备故障和昂贵的维修费用、延长资产寿命至关重要。GenAI可根据运营因素优化时间表，推荐高效、具有成本效益的计划，同时分析设备数据，以最大限度减少停机时间和提高运转率。工程师虚拟现场助理：GenAI关细节和引导工程师找到合适的资源外，虚拟助理还可以解决特定工程概念、原理或计算方面的问题，从而帮助排除故障。弹性物流和规划：GenAI线和N级供应商映射，GenAI可用于预测风险及其对运营的相应影响，也可以建议用来降低这些风险的行动。数字公民服务：有关政府和公共服务的数据通常采用多种格式，分布在多个位置（例如，本地、云端等）。GenAI赋能的虚拟助理可以充当公民和政府信息之间的接口，用自然语言回答问题。企业应用生成式人工智能面临的挑战GenAI就遇到了各种数据相关的问题。根据麦肯锡（麦肯锡，2023年）72%GenAI准确、及时更新，并需要跨多个不同数据源进行近乎实时的数据访问。问题在于，GenAI(LLM)，而这些模型本身存在局限性。LLMLLMLLM的数据集也不会实时更新。如果不具备这一点，GenAI何需要最新客户或业务背景的操作应用场景都毫无用处。大语言模型大语言模型或销售的 人工智能代理产品是什么？最畅销的虽然可以利用更多信息对现有基础模型进行训练和微调，并使其了解企业数据和信息，但这种方法往往会带来更多复杂性和挑战。对于大多数组织来说，反复训练LLM所需的成本和技能不仅令人望而却步，还需要让LLM持续了解最新的数据和信息，这使得不断反复训练LLM的迭代过程在当今根本不切实际。人工智能代理+企业数据和知识销人工智能代理+企业数据和知识销的产品是什么？ 一水泵售额54000大语言模型企业数据存储库LLM识。Meta2020(RAG)LLM的首选方法。GenAI时提供相关数据，同时确保数据的质量和隐私合规性。GenAI在改变这种模式，要求数据在推理过程中扮演知识扩充层的角色。检索增强生成架构不是通过反复训练模型将知识注入LLM，而是在提示过程中通过额外的上下文窗口添加知识。然后，LLMLLM本身。检索增强生成的优势包括减少幻觉，提供最新和实时的信息（克服根据“时间点”数据训练模型的局限性）；特定领域的知识（如上文所述的产品销售示例）；消除成本高昂的反复训练以及对检索的数据来源的可视性（福布斯，2023年）。这种简单的方法可以应用于结构化和非结构化信息，是为LLMLLM强大的代码生成功能（SQL），AI应用可为企业开辟新型的强大用户交互方式和释放数据价值的新途径。但是，需要必要的数据管理基础才能在企业环境中实施检索增强生成。虽然现在可以找到大量简单的GitHub项目，且这些项目旨在证明检索增强生成在桌面设置中对于单个表的强大功能，但在企业环境中针对通常孤立、复杂的企业数据环境中的真实生产数据实施检索增强生成架构可能是一场噩梦。随着组织探索LLM业数据源之间更紧密的集成，他们将不可避免地在克服数据孤岛、处理各种数据源类型以及管理复杂而冗长的数据交付管道方面遇到同样的数据管理挑战。具体来说，组织在采用GenAI时应考虑以下数据管理挑战：法规：GenAI明度、偏见和公平性、潜在的知识产权侵权、可能的隐私侵犯、第三方风险和安全顾虑等问题。新拟议的《欧盟人工智能法案》旨在为高风险的人工智能系统制定全面的法规，对透明度、数据治理、人工监督和风险评估提出具体要求。美国总统颁布的人工智能《行政命令》确立了人工智能安全和保障的新标准，旨在保护美国人的隐私，促进公平和公民权利，维护使用者和工人的利益，促进创新和竞争等等。《韩国人工智能法案》旨在通过对高风险人工智能服务更严格的通知要求和人工智能可信度认证系统等，确保人工智能系统的可信度，从而保护人工智能服务的用户。其他地区的法规和指南提倡甚至强制要求在数据收集中使用隐私增强技术，例如：新加坡提出的生成式人工智能模型人工智能治理框架。GenAIGenAIGenAI（GenAI所提供）GenAIGenAI时使用了哪些数据。数据质量和可解释性：低质量的数据可能导致不正确或不一致的行为，即“垃圾输入，垃圾输出”。无论是在LLM的模型训练过程中，还是随后通过检索增强生成实时访问企业数据，都是如此。由此产生的“幻觉”会导致最终用户的不信任，而对于受人工智能使用道德规范约束的企业来说，则可能会违反合规性。因此，对数据质量严格把关很必要，但这还不够。GenAI还需要“数据可解释性”，也即为生成结果访问了哪些数据。这样，GenAI用户就能随时确定所使用的数据是否正确和准确，如果不正确，也能轻松采取补救措施。数据可解释性提供了透明度，从而提高了最终用户的信任度。事实上，上述一些法规，特别是《欧盟人工智能法案》，要求按需提供这种程度的透明度。数据隐私和安全：欧洲的《通用数据保护条例》(GDPR)等隐私法规仍然适用，但挑战不仅限于确保正确的访问控制和落实去标识化措施。GenAI带来了额外的风险。GenAI模型如何带来隐私风险。如果使用“JaneDoeJaneDoe，我的电话号码是...”之类的提示可能会导致模型泄露这些信息（Seth&Chang，2024年）所周知，模型会“记住”训练数据，从而使问题变得更加复杂。有几种类型的攻击（如训练数据提取）已被证明LLM的敏感数据（Seth&Chang，2024）发生此类侵犯隐私行为的风险。 平台查询优化语义层安全/治理SaaS云存储Hadoop和NoSQLOLAP文件应用程序流式数据SaaS200+数据适配器来源数据集成、管理和交付平台平台查询优化语义层安全/治理SaaS云存储Hadoop和NoSQLOLAP文件应用程序流式数据SaaS200+数据适配器来源数据集成、管理和交付平台人工智能代理Denodo认为，组织必须发展和重新构想数据管理，因为这种利害关系之重大是前所未有的。组织必须立即采取行动，建立数据管理基础，为即将到来的人工智能驱动的新竞争格局做好准备。当您回顾推动下一代人工智能应用所需的数据管理考虑因素时，我们认为合乎逻辑的数据管理方法是推动下一代人工智能应用的关键因素。Denodo平台利用数据虚拟化技术，在增强人工智能应用之前无需迁移或整合数据。它为人工智能应用访问集成数据提供了一个单一的整合网关，并带来了许多其他关键优势，包括：LLM[(ERP)(EDW)API]交互和查询一个丰富的语义层。为LLM提供所需的业务背景和知识（如表格说明、业务定义、类别/标签和样本值）。快速交付逻辑数据视图，这些视图是从底层技术数据视图中解耦和抽象的（LLM可能难以使用）LLM使用的宽逻辑表视图，而无需先对多个数据集进行物理组合LLM无需处理特定的数据源约束或优化的连接策略。大语言模型凭借这些优势，DenodoGenAI应用访问。DenodoGenAI需的信息，包括数据模式、带有上下文信息的字段描述以及字段的业务名称。大语言模型对于生成式人工智能应用最关键的组件之一，即您的数据，Denodo平台可成为单一的服务层。LLM和平台相结合，可大大加快功能强大的人工智能代理的开发速度。Denodo平台提供了以下附加功能，确保为GenAI奠定坚实的数据基础：数据质量和使用情况监控：Denodo平台提供了一个庞大的转换、过滤和匹配函数库，以及用于验证、清理、丰富、标准化、匹配与合并数据的质量规则，例如，条件处理、分区、用于重复数据删除和清理的模糊匹配算法，以及基于语法、同义词库或语义映射。此外，Denodo平台可持续监控哪些数GenAI查询，Denodo查询和返回的数据，从而提供随时可解释性和透明度。数据安全和隐私合规：作为应用的单一数据接入点，Denodo平台提供了一个中心层，用于强制执行访问安全限制，这些限制可根据具有字段级粒度的规范模型来定义。Denodo平台支持基于用户和角色的身份验证和授权机制，既有模式范围的权限（如访问Denodo数据库和视图），又有特定于数据的权限（如访问虚拟视图中的特定行或列）。Denodo平台提供基于行和基于列的安全性，包括屏蔽特定字段的可能性（例如，不允许经理查看更高级别管理层的“工资”列，这些单元格将在结果中显示为屏蔽）。Denodo组织满足上述各种监管要求。要充分发挥LLM驱动的人工智能代理的潜力，需要整个行业不断发展技术和创新。Denodo正走在前沿，不断发展我们的产品，以满足人工智能赋能的未来的需求。我们优秀的产品管理团队会不断监控和评估人工智能和其他现代技术的最新进展，为数据管理打下更坚实的基础。我们致力于帮助我们的客户有效利用这些创新技术。GenAI如何增强数据管理GenAI还被用来改善数据管理。它将极具价值的自动化引入到容易出现人为错误的手动流程中。人工智能可以更高效、更准确地处理基础数据管理任务，而在此之前，这些任务都属于劳动密集型，且容易出错。DenodoDenodo平台中实现了以下功能：自然语言查询。SQL代码并执行。这是SQL(BI)GenAI据平台可以将自然语言查询转化为SQL代码，甚至生成代码的解释。然后，数据平台将执行代码并检索结果。这对于分析师、营销人员、销售人员、医疗保健专业人员等业务专业人士来说具有巨大的潜力，他们可以独立访问数据并从数据中获得洞察，而无需依赖IT和数据专业人员（TDWI，2023年）。这将为业务决策者提供所需的数据，使他们能够更敏捷地做出明智的决策。查询优化。De