版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
--PAGE1-2023人工智能和数据伦理:从一般性原则到指导性原则一、概述研究人员、企业、政策制定者和公众已普遍意识到,人工智为了应对上述问题,私营企业、非政府组织和政府实体等许多组织已经开始制定人工智能或数据伦理框架和原则,表明其致力于解决人工智能挑战的承诺和决心,最重要的是,如何切实推动这些框架和原则落地。确定一套伦理概念并利用它们制定一般原则是阐明人工智能和数据伦理的关键组成部分。此外,已经制定的许多框架之间存在相当大的趋同性,虽然这些框架的重点可能是个人、社会或系统(见表1),但它们都将围绕核心概念相互融合。目前基本伦理概念已达成共识,这表明我们在理解负责任的人工智能和大数据开发和应用方面已经取得进展。表1:规范概念个体导向社会导向系统导向隐私公平公正透明度自主民主可解释性包容性/可及性社会福祉责任性人工智能和数据伦理规则围绕若干伦理概念相聚合,其中一些概念重点关注个人利益和权利,如保护隐私、促进自主和确保可及性;另一些概念则聚焦社会问题,如促进公平公正、维护民主制度和提升社会福祉;还有一些概念侧重于技术系统的特性,如系统如何实现充分的透明度或可解释性,从而确保决策的清晰解读以及责任划分。不过,阐明价值观、伦理概念和一般原则只是应对人工智能和数据伦理挑战的第一步,而且在很多方面也是最简单的一步。相关声明文件虽然看似雄心勃勃,但实际上采纳成本很低,只能算是口头承诺。更艰巨的工作包括:具体说明概念、原则和承诺的实质性内容,即阐明公平公正、隐私度、自主性、透明度和可解释性在特定环境中的实际内容和要求;培养专有能力,在实践中实现这些概念、原则和承诺(2)。完成这些任务不仅需要纵向的努力和资源,还需要多学科专业知表2:从价值观到可行性承诺和评估标准伦理根据规范内容,通过治理来指定和满足价值观的工作治理在整个组织内部指定规范指导并根据具体情况加以应用的能力规范内容将基本价值观和核心概念转化为指导行动的具体规范和承诺的实施过程基本组织价值观核心概念原则承诺规范基础实施定指出需要促体现或代表说明尊重概描述遵守将提供衡量承义进和保护的基本组织价念和实现价要采用或实诺实现水平内容值观值观的一般现的原则的的标准规范或指导具体方法原则示不歧视、保是否可以解例释人工智能至上利于顾客明及可说明体实现客户性服务需要多久本报告旨在实现以下目标:说明从一般伦理概念和原则到可以指导行动的实质性内容(以下称为规范内容)转变的重要性和复杂性;对相互关联的两个重要核心伦理概念,即公正以及透明度进行详细讨论;指出从一般伦理概念和原则转变为更具体的规范内容并最终实施这些内容的策略。“规范内容”定义“规范”一词共有两种用法。一种是作为描述性词语,用于法和不平等对待。因此,规范内容指的是关于应该做什么样的指导。相比于单纯描述当前正在做什么,规范内容更是针对个人、团体和组织应该做什么所制定的合理标准、原则和实践。规范内容(从伦理和规定的意义上来看)最终基于社会和组织价值。本报告研究的则是将这些一般价值转化为具体的可行性指导和承诺的过程。因为具体的原则和承诺与情境密切相关,而且不同的价值观有时会彼此矛盾,所以这一过程并非易事。二、案例分析:生物伦理学中的知情同意对现有案例的反思有助于说明从一般伦理概念向指导行动的(informedconsent)被广泛认为是医学伦理临床实践和研究的重要组成部分。但我们将要反思这一原则从何而来,有何含义以及实现这一原则需要什么。知情同意可以保护个体的自主权,因此被视为医学和人体研究的伦理实践要求。尊重个体的自主性意味着不操纵、不欺骗。自主权包括有权选择是否参与研究试验或接受医学治疗。知情同意是实际操作中尊重个人自主权的主要方式。那么,在实践中满足知情同意标准的要求是什么?当明确表示知情同意时,必须满足三个主要条件:披露、理解和自愿(3)。披露是指向患者、研究对象或其代理人说明具体情况,为他们将要作出的决定提供清晰、准确的相关信息。理解是指以患者、研究对象或其代理人能够理解的方式或形式向其呈现信息。自愿是指患者、研究对象或其代理人在没有不当影响或胁迫的情况下作出决定。披露、理解和自愿三个主要条件本身必须具备可操作性,这也是机构审查委员会、医院伦理委员会、专业组织和生物伦理学家的工作。他们负责制定能够满足知情同意条件的最佳实践、标知情同意原则旨在保护自主权的价值,表达对个人的尊重,而对知情同意原则的普遍承诺只是一个开始。我们必须清晰地阐明和实施这一原则,以使其在实践中发挥有效作用。人工智能和数据伦理原则也是如此。表3:在医学研究中尊重个人基本核心价值观核心伦理概念原则承诺说明尊重个人自主知情同意披露理解自愿维持研究对象的同意情境,汇报独立审查员的整体发现在临床医学和医学研究中,最基本的价值观是尊重个人,即尊重病人和研究对象,但若要弄清实现这一价值观的实际需求,就必须对其加以明确和落实。在医学中,尊重个人被理解为赋予个人自主选择权,这就需要患者或研究对象具备知情同意权。生物伦理学家、临床医生和研究人员已经在披露、理解和自愿等某些选择条件下,通过一系列具体实践,比如用病人的母语向其披露信息,保护研究对象的知情权以及清晰表述相关风险信息等,实现自主知情同意,从而实现对个人的尊重。生命伦理学中的知情同意案例为理解人工智能和数据伦理从一般伦理概念到实践指导的挑战提供了一些经验教训:从一般伦理概念(如公平公正、可解释性、隐私)到实践指导,首先需要明确规范内容(如明确一般原则并提供适合具体情境的操作流程);指定规范内容通常需要确定旨在保护或促进知情同意的基本价值观;一般原则在实践中的具体要求可随具体情境不同而存在显著差别;一般伦理概念或原则的实施通常需要整合技术、伦理,及具体情境等各种专业知识;由于各种不可预测的新因素经常出现,我们需要在组织结构和实践的支持下,不断监测、评估和改进原则的执行流程和应用实践。基本核心价值观 核心伦理概念 原则 承诺 说明人工智能和数据伦理包括明确基本价值观和核心伦理概念,明确规范内容(一般原则和具体情境下的原则实施流程)以及在实践中的实施。图1:规范内容指定流程下文将重点讨论相互关联的人工智能和数据伦理概念(公平公正和透明性)从核心概念和原则到实施的复杂性。三、人工智能和机器学习中的公平公正人工智能与数据伦理中的公平公正问题公平和公正被广泛认为是人工智能和数据伦理的关键组成部分。其中一个原因是,许多案例已经表明,机器学习和自动决策系统会导致偏见、歧视或其他不平等的结果。比如,人工智能招聘广告系统会复制业已存在的种族、性别歧视及其他因素;医疗情景下的人工智能系统为非裔美国患者分配的风险评分低于白人患者,导致非裔患者获得日常护理或紧急护理的机会更低;面部识别系统存在种族偏见等。公正在人工智能和数据伦理中是一个至关重要的伦理因素,这已成为共识。机器学习、数据分析以及人工智能的应用至少不应加剧现有不公正现象或引发新的不公正现象。此外,人工智能/(通常是无意的)存在的偏见和歧视来减少不公平现象。“公平”与“公正”的含义在围绕人工智能和数据伦理的讨论中,“公平”和“公正”经常互换使用,这是为了囊括其包含的所有因素。当然,这些术语有时也拥有更具体的含义。如在研究这些问题的计算机科学家看来,“公平”通常指群体之间某种形式的平等。举例来说,如果一个算法系统在受保护群体中具有相同的准确率或假阳性率,总之,“公正”的概念存在复杂性,在不同的情境中可以指代不同的事物。为了确定公正在人工智能和数据使用具体情境中的要求,如在决定贷款申请、社会服务获取或医疗优先级时,有必要明确规范内容和潜在价值。只有这样才有可能说明具体情况下的需要,以及如何(或在何种程度上)在技术和科技社会系统中实现公正。(一)公正的价值和形式公正包含的基本价值是人的价值和政治地位的平等。该领域关注的是如何按照这些价值观组织社会、政治、经济以及其他体系和结构。若法律、制度、流程或算法未能体现这些价值,其便这些核心价值观和公正的普遍原则在很多方面与社会结构和--PAGE10-制度相互关联。因此,如表4所示,我们拥有一套更加具体和多样的公正原则。表4:公正原则程序分配认知非歧视制度或决策流程不应对某些群体存在偏见。平等享有所有人应拥有享受相同/相似福利和服务的权利。平等对待无论属于何种群体,任何人都应被平等对待。机会平等利益分享准确代表所有人应拥有获得成功(如为集体事业作出贡献的人们或其团体不应被误解。教育、社会或经济)的平等所有人都应有权分享集/相似的机会。体成果。参与平等良好地位包容所有人应在社会和政治决所有人应享有较好(或起人们或其团体(及其利益)策情境和流程中享有相似码体面)的社会和经济地不应被忽略或排除。权利。位。劳有所得弱势群体优先补偿性公正人们的社会和经济地位能实践和政策应优先考虑已经发生的不当行为造成的够反映其努力和贡献。最弱势、最孤立无援或最伤害应得到补偿或解决,从需要的人。而避免产生进一步的伤害或未来的不利现象。每一条原则均涉及社会、政治或经济体制和结构,其中部分原则涉及体系运作流程(程序公正),部分原则关注结果(分配公正),还有部分原则关注个人感受(认知公正)。虽然促进公正的方法多种多样,但不公正现象仍不可避免。公正原则在各种具体情境中都非常重要。如机会平等在中小学教育的讨论通常至关重要;参与平等在政治环境中意义重大;在某些社会服务情境中,优先考虑弱势群体影响重大;劳有所得在创新环境中则不可忽略。有关人工智能或大数据的公正原则,最需要考虑的不是原则的正确性或重要性,而是在何种情境或情况下最适用何种原则,及在这些情境或情况中,这些原则的需求或要求是什么。(二)人工智能与数据系统中的公正当某个组织承诺在人工智能和数据实践中维持公正时,它承诺的到底是什么?在决定何种正义原则有效或优先时,情境至关重要。因此,要明确承诺意义(即明确规范内容),第一步是确定对人工智能或数据系统的工作内容或操作环境至关重要的公正原则。在此之后,相关公正承诺才能有效发挥作用并付诸实施。毫无疑问,法律合规(例如关于非歧视原则的法规)与明确最突出的公正因素存在关联,但正如上所述,仅仅遵守法律并不足以落实公正原则。阐明相关公正原则还需要考虑组织使命,所涉及的产品和服务类型,产品和服务对群体和个人产生影响的模式,以及组织对运作范围内出现的不公正现象原因的理解。对识别这些问题的有益做法往往包括反思类似案例,及仔细考虑对人工智能、大数据和自动决策的各种担忧。当再次考虑前面讨论的一些问题案例(参见人工智能和数据伦理中的公平和公正问题)健案例,涉及参与平等、待遇平等以及弱势群体优先、有补偿的公正和利益考虑。在此,我们假设两个简化示例——私人金融服务公司和公共社会服务组织——来说明这一点。私人金融服务公司和公共社会服务组织拥有相同的基本价值观(人们拥有平等的价值观和政治立场)和核心伦理观念(公平和公正),但由于算法系统的功能、制度背景和相关社会因素,它们在如何说明、实施和执行这些基本价值观和核心伦理观念方面存在分歧(见表5和表6)。表5:私人金融服务公司基本核心价值观核心伦理概念原则承诺说明人们拥有平等的公正非歧视避免基于无关鼓励来自不同价值观和政治立公平对待平等特征的差别考群体的申请;场参与平等虑或对待申请人有知情权;具备完善的上诉、报告及审查。试图实现公正和公平的金融服务公司必须致力于实现非歧视、平等待遇和平等参与。如果因为服务适用性之外的原因而采取差别性考虑、对待或参与限制,这些就无法实现。为防止出现这种情况,金融服务公司可鼓励来自不同群体的申请,要求向被拒绝服务的申请人作出解释,并参与定期审查和报告过程。类似这些措施将有助于在实践中促进公平和公正。表6:公共社会服务组织基本核心价值观核心伦理概念原则承诺说明人们拥有平等的价值观和政治立场公正公平非歧视弱势群体受益无差别考虑或对待;资格推定;可及性主动帮助;整合其他服务因为存在相互关联的多种公正因素,所以经常需要对其进行权衡。例如,优先考虑最弱势或长期处于弱势的群体有时可能涉及放弃待遇平等原则;实现机会和参与平等有时可能需要在劳有所得原则方面做出妥协。因此,至关重要的是确定所有与此情况相关的公正原则;原则识别的过程包括最受影响的群体;尽可能全面地考虑所有实施原则;任何妥协均能够基于其他公正因素的相关情境重要性证明其合理性。再犯预测与明确适当公正概念的重要性首先,不存在具备约束性的、优化的或实用的单一性一般公正原则,也不存在一系列等级有序的公正原则。相反,特定情境的专业性和伦理敏感性对于确定公正原则需求至关重要。在一种情境中以密切关注公正原则的方式设计和实现的系统在另一种情境中可能无法体现公正原则,这是因为两种情境中公正原则最显著的方面可能不同。其次,即使已经确定相关公正考虑因素,也会缺少严格的算法方法将公正原则完全纳入决策。如可能存在数据约束;缺少可用的必要数据;技术限制,如相关类型的公正因素在数学上或统计上不可表示;流程限制,如公正因素要求人们对决定负责。因此,我们不得不提出以下问题:公正因素如何并在何种程度上可以通过算法得以实现?在许多情况下,在人工智能中实现公正需要开发基于公正原则的技术系统。人工智能系统可为大学录取决策提供支持,或为专业医疗人员提供诊断支持。这些系统甚至有助于减少这些过程中出现的偏见,但不可能复制或替代该过程。且出于流程、认可或相关公正原因,或者因为尝试使用或收集必要数据会出现问题,这些过程可能完全拒绝使用人工智能或大数据方法,即使此类方法更为准确或高效。如即使有可能建立更准确的(在有罪/无罪判定方面)算法系统,为了实现公正,刑事司法系统仍然需要陪审员。对公正人工智能的承诺包括接受人工智能方法有时可能存在不公正。因此,除技术能力和专业知识外,致力于实现公正的人工智能和数据分析的组织需要强大的组织能力和流程来实现承诺,不能完全依赖技术解决方案或在其他情境中制定的标准。人工智能和大数据中的公正:关键要点公正基于所有人拥有平等价值和政治地位的基本价值观。人工智能和数据分析不应引起或延续不公正现象,而应尽一切努力促进公正原则的实现。明确人工智能中公正的明确规范内容,即公正承诺意味着什么,需要清楚地阐明必须告知自动决策系统的公正因素或原则。公正原则的需求多种多样,并且和具体情境密切相关。最重/服务以及该原则适用的情境。确定最为突出的公正原则和因素需要了解与具体/在人工智能和数据分析中实现公正原则是一个协作和持续的过程,需要强化组织能力。四、人工智能和机器学习中的透明度为评估一个决策系统是否公正或公平,以及决策者是否要承算法决策令人担忧的一点是,许多系统都是“黑箱子”,即这些系统的决策模式有时完全不透明,甚至对系统的构建者也不透明。如果算法决策系统是一个黑箱子,那么受系统决策影响的各方将无法评估自己是否得到公平对待,同时系统用户也无法了解该系统是否实现其有关公正的承诺。雇佣和解雇决定的当事人、假释决定的当事人等通常很乐于理解如何制定决策或如何设计其所使用的产品。由于黑箱算法可能对实现公正和其他重要价值造成障碍,出于对算法决策不透明的担忧,人们呼吁算法决策的透明度。然而透明度也同公正原则一样有很多含义。把透明度需求转化为对算法决策系统设计和使用的指导,需要明确透明度在具体情境下产生重要影响的原因,需要保持透明的对象,及为履行这些义务采取何种形式。(一)透明度背后的价值观和概念透明决策对于实现各种价值观和观念至关重要,有时甚至必不可少。公正原则就是一个很好的例子。缺乏透明度有时会阻碍决策主体,如贷款申请人或假释申请人,确定自己是否真的受到尊重和公平对待。在许多情况下,决策者需要考虑决策主体的具体情况。对决策者而言,倾听别人的意见、尝试理解其观点并在做决定时认真考虑这些观点至关重要。未考虑他人具体情况就单方面做出对他人产生重大影响的决定,往往是不尊重或缺乏充分考虑的行为。例如,当假释裁决委员会决定是否批准假释时,决策对象有权了解决策者已经做出努力来了解各种细节,并在做决定时将这些细节考虑在内。除有助于实现公正,透明度还可在执行其他概念和落实价值观方面发挥重要作用。合规性合规性是与尊重法律这一价值观相联系的规范概念。在缺乏透明度的决策系统中,可能会很难确定某个系统或模型是否符合适用的法律、法规、行为准则或其他道德规范。如果再犯预测系统、定向广告系统或约会应用程序排名系统完全不透明,那么就无法判断该系统是否在决策中存在种族或民族偏见,也就不可能判断该系统是否符合反歧视法或公正原则要求。因此,透明度通常是合理或重要要求,因为可通过透明度确定系统是否满足法律和道德义务。自主自主是与尊重个人的价值观相联系的规范概念。赋予自主权意味着允许人们在知情的情况下做出决定,尤其是当这些决定对人们的生活前景可能产生重大影响时。如果决策系统不够透明,决策主体将难以采用系统决策来指导未来行为或选择。如果决策主体在贷款、工作、入学或社会服务中遭到拒绝时,无法得知原因或者如何获得更令人满意的结果,他们将很难确定未来将如何重新申请相关资格。因此,透明度的价值往往体现在可以告知决策主体如何改变行为并赋予相关权利,从而影响他们关于未来生活轨迹的决定。认知认知是以理解为基础的规范概念,有助于更好地理解这个世界以及我们在其中所处的位置。算法系统在某些情况下可用于揭示大数据集中的隐含模式。即使我们仍然不清楚这些模式,或不了解形成或解释这些模式的潜在机制,它们仍可协助诊断或制定治疗方案。这些领域的相关认知不仅可以帮助从业者通过干预实现更好的结果,还可以促成关于某个领域的新理解、新见解,及新治疗方案。因此,透明度的价值往往体现在它使新发现成为可能。信任信任是与发展良好关系等各种基本价值观相关的规范概念。信任基于透明度原则,因为透明度有助于建立信任。为充分发挥算法工具的优势,从医学到路线绘制系统的利益相关者必须信任这些系统本身,及其对自己的生活行使权力的各种方式。如果不理解这些系统决策的方式和原因,利益相关者不太可能接受并使用这些技术及决策。因此,透明度的价值往往体现在有助于促进人们对决策系统的信任。(二)具体说明透明度承诺正如透明度原则的基础是公正等诸多概念,提高决策系统透可解读性为保证算法决策的透明度,经常提到的方法之一是要求算法决策系统具备可解读性。例如,因为依赖基于大规模数据集的模型或多层模型,一些算法系统非常复杂,以至于数据和计算机科学家自己也无法以精确的方式确定如何将系统输入转化为输出。此外,系统的可解读性与上述许多价值观有关。例如,如果某系统无法解读,系统所依赖的基础推理模式将面临严重障碍,且该系统可能无法保证符合某些规范。无论如何,并非所有人工智能和机器学习系统都不可解读,计算机和数据科学家正在全力开发可用工具,以恢复黑箱系统的可解读性。可解释性关于透明度的另一种承诺是要求算法决策系统具备可解释性。当一个决策系统可以向利益相关者提供决策、行为或结果合理化的解释时,我们认为该决策系统具备可解释性,但一个可解释系统并不一定产生该层面上可解释的输出;知道支持系统决策的推论也并不总是有助于证明系统决策的合理性。可解释性是实现上述价值观的必要条件。决策主体通常需要知道系统做出与他们有关的决策的原因或考虑因素,以确定他们是否受到尊重或是否可以信任决策者。此外,可解释性对于确保系统能够遵守法律和伦理规范往往也至关重要。合理模糊为确保可解读性或可解释性而保持透明度的行为有时会牺牲系统的准确性,也就是说,有时需要在系统准确性和可解读性之间进行权衡,而且这种权衡并非在所有情况下都具备合理性,如在某些情况下,实现最大化的准确性可能比确保算法决策系统的可解读性或可解释性更为重要。即便如此,关于透明度的广泛承诺仍有助于实现信任等核心概念。如患者可能更愿意接受更加准确的工具,即便这种工具不具备可解读性或可解释性。在这种情况下,尽管采用的系统不具备透明性,确保采用该系统的原因透明,便可以用来合理说明其他形式的不透明。可审查性关于透明度的最后一种承诺是可审查性。通过定期审查部分决策集或基于在决策中观察到的特定模式来确定核心价值是否实现,我们有可能对系统进行评估。例如,虽然为自动驾驶汽车系统做出的每项决策提供解释可能并不可行,但审查可以解释某些特定决策,而这对增加信任可能至关重要。审查程序的优点之一是,它们不仅能够确保算法决策的透明度,还能确保融合算法的更广泛系统的透明度。精心构建的审查流程可以在很大程度上保证决策系统值得信赖、可靠并且符合要求。这一过程包括确定在决策环境中需要实现的核心概念和需要遵循的透明度原则,以及最能体现这一原则的具体透明度承诺。提高系统的可解释性可能有助于最大限度地减少安全问题,但对增加信任或提供关于尊重个人的证据却收效甚微。7基本核心价值观核心伦理概念原则承诺说明健康和良好关系健康可靠透明度合理模糊独立审查平均API响应时间信任在使用模糊算法的用户比例;每年审查产品组合的比例低风险健康诊断工具是能够为患者的某些疾病提供可靠诊断的一种工具,但是这种工具的诊断失败成本较低。在这种情况下,透明度原则源于以健康和良好关系价值观为基础的健康、可靠和安全概念。因为这里的透明度以这些核心概念为基础,适当的透明度是指承诺在系统准确性方面能够证明使用不透明系统的合理性,并承诺对诊断结果进行审查,以确保结果准确、可靠并值得信任。关键要点不透明妨碍实现公正等各种价值观和核心伦理观念。为克服这些障碍制定透明度标准,需要认识到透明度在特定环境中能产生价值或重要影响。制定透明度标准还需确定在可解读性、可解释性、合理模糊或可审查性中,何种承诺是在特定情境中实现相关价值观和概念的必要和充分条件。满足透明度标准并不是要求所有人任何时候都能够了解如何制定各项决定。在某些情况下,过高的透明度不仅没有必要,而且会损害系统的效率
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 机械专业液压的课程设计
- 机房上机C语言课程设计
- 机床加紧机构课程设计
- 机场规划与设计课程设计
- 广东省肇庆市高中英语 Unit 3 The Million Pound Bank NoteExplain the paper of the exercises at night(the second week)教案 新人教版必修3
- 机器仿生鱼课程设计
- 2024年合同样本:知识产权转让与许可协议
- 本科校外课程设计
- 2024年光伏扶贫项目合作协议
- 本班同学体重的研究报告
- 功能性卫生巾调研报告
- 拉弯矫培训ppt课件
- 怎样提出好的改善提案5篇
- 口腔诊疗前、中、后牙椅消毒流程(全)
- 《服装市场营销》课程标准.
- xx医院三季度药事管理委员会会议纪要
- 保护野生动物的英文宣传标语
- 茶叶审评细则 - 茶业大赛
- 杜瓦罐使用说明书
- 红色沉稳大气商务通用微立体企业公司介绍公司简介公司产品宣传营销策划方案动态ppt模板
- 园林景观施工界面划分(参考模板)
评论
0/150
提交评论