评估未来人工智能的潜在风险、效益和政策（中文）

OECPubll·shl·ng2024年11月No.27》ECDBETTERPOLICESFORBETTERLIVES本报告回顾了关于未来人工智能潜在好处、风险和政策行动的研究和专家观点。它包括经合组织人工智能未来专家组（“专家组”）成员的贡献，该专家组由经合组织人工智能报告还审议了现有的公共政策和治理工作以及仍然存在的差距。该专家组由StuartRussell（加州大学伯克利分校;人类兼容人工智能中心），FrancescaRossi（IBM）和MichaelSchönstein（德国联邦珠宝店）共同主持。关于AIfutures的成员和相关输出的完整列表可以在https://oecd.ai/site/ai-futures上找到。由于本报告的部分内容具有前瞻性，而且对某些专题缺乏严谨的研究，因此其内容中许多面向未来的方面必然是推测性的。本报告于2023年9月至2024年7月由专家组成员讨论及审阅。经合组织人工智能治理工作组（AIGO）在2023年11月的会议上也讨论了这一问题本文件于2024年10月30日由数字政策委员会通过书面程序批准和解密，并由经合组织秘书处准备出版。该报告为经合组织的人工智能在工作，创新，生产力和技能（AI-WIPS）计划做出了贡献，该计划为政策制定者提供了新的证据和分析，以跟上人工智能能力和传播的快速发展AI-WIPS得到了德国联邦劳动和社会事务部（BMAS）的支持，并将补充德国人工智能观察站在该部数字政策实验室工作社会的工作有关更多信息，请访问https://oecd.ai/wips和https://denkfabrik-bmas.de。它还为经合组织关于预测和管理新兴全球变革的横向前瞻性倡议做出了贡献，该倡议旨在制定政策框架和风险管理方法，以加强对人工智能，合成生物学和其他潜在变革发展的准备有关详细信息，请访问https://oe.cd/global-transformations。本报告由JamieBerryhill（AIEDT）、HamishHobbs和DexterDocherty（SFU）与专家组共同主席和成员密切合作起草。战略指导和编辑工作由AIEDT负责人KarinePerset和经合组织战略财务高级顾问RafaitiKierzenkowskiRiccardoRapparini、RobinStaes-Polet、MichaelaSullivan-Paul、PabloGomezAyerbe和MoritzvonKnebel提供了分析和起草材料。小组感谢专家组成员以及经合组织科学、技术和创新局的同事JerrySheehan、AudreyPlonk、Hanna-MariKilpelainen、GalliaDaor、MollyLesher、JeremyWest、LuisAranda、AlistairNolan、SarahBérubé和RashadAbelson;SFU的UmaKalkar;金融和企业事务局的RichardMay提供的投入;就业、劳工和社会事务局的StijnBroecke和CharlesBaubion、GiuliaCibrario、JamesDrummond、AndrasHlacs、BeckyKing、CraigMatasick，公共治理局的MauricioMejia和ArturoRiveraPerez。该团队还感谢JohnTarver和AndreiaFurtado的编辑支持。各代表团注意本文档也可在ONEMembersPartners上获取，参考代码：DSTI/CDEP/AIGO（2023）13/FINAL本文件以及本文件所载的任何数据和地图均不损害任何领土的地位或主权，不损害国际边界和疆界的划定，不损害任何领土、城市或地区的名称。封面图片：©Kjpargeter/S.©OECD2024年版本作品在知识共享署名4.0国际许可下提供。使用本作品即表示您接受本许可证条款的约束（https：///licenses/by/4.0/）。署名--你必须引用作品。译文-您必须引用原文，指出对原文的修改，并添加以下文字：如果原文和译文之间存在任何差异，只有原文才应被视为有效。改编--你必须引用原著，并添加以下文字：这是经合组织对原著的改编。本适应中表达的意见和采用的论点不应被报告为代表经合组织或其成员国的官方观点。第三方材料-许可证不适用于作品中的第三方材料如果使用此类材料，您有责任获得第三方的许可，并对任何侵权索赔负责。未经明确许可，您不得使用OECD徽标、视觉标识或封面图像，也不得暗示OECD认可您使用该作品。因本许可证引起的任何争议应根据2012年常设仲裁法院（PCA）仲裁规则通过仲裁解决。仲裁地点为巴黎（法国）。仲裁员人数应为一人。政府应考虑AI8的中长期影响今天的政策行动有助于实现未来的理想情景8政府的人工智能前瞻工作正在扩大10专家组为加强政策重点确定了人工智能的十大优先好处11效益1：加速科学进步11效益2：更好的经济增长、生产力提高和生活水平12效益3：减少不平等和贫困13好处4：更好地解决紧迫和复杂的问题，包括减缓气候变化改变和推进其他可持续发展目标13好处5：更好的决策、意义制定和预测14效益6：改进信息的制作和传播15好处7：更好的医疗保健和教育服务15效益8：提高工作质量16好处9：赋予公民、民间社会和社会合作伙伴权力效益10：提高机构透明度和治理，促进监测和评估政策努力认识到潜在的未来利益，但可能存在差距专家组确定了十个优先的人工智能风险，以加强政策重点19风险1：为日益复杂的恶意网络活动提供便利20风险2：操纵、虚假信息、欺诈及其对民主和社会的危害凝聚力20风险3：由于缺乏对人工智能安全性和可信度的足够投资，风险4：使AI系统目标与利益攸关方的偏好和价值观22风险5：权力集中在少数公司或国家风险6：在关键系统中发生轻微到严重的AI事件和灾难23风险7：侵入性监视和侵犯隐私24风险8：治理机制和机构无法跟上人工智能的快速发展风险9：人工智能系统缺乏足够的可解释性和可解释性，削弱了问责制风险10：国家内部或国家之间的不平等或贫困加剧25政策努力可有助于管理未来风险，但可能存在一些差距26专家组确定了十项优先政策行动29政策行动1：为人工智能伤害建立更明确的规则，包括责任规则30政策行动2：考虑限制或防止某些“红线”人工智能用途的方法政策行动3：要求或促进披露某些类型的AI系统31政策措施4：确保在整个生命周期内遵循风险管理程序可能构成高风险的人工智能系统32政策行动5：缓解人工智能开发和部署中可能限制公平竞争并导致伤害的竞争动态33政策行动6：投资于人工智能安全和可信度方法的研究，包括人工智能调整、能力评估、可解释性、可解释性和透明度政策行动7：促进教育、再培训和再培训机会，以帮助应对劳动力市场中断和对人工智能技能日益增长的需求政策行动8：增强利益攸关方和社会的能力，帮助建立信任，democracy民主36政策行动9：缓解过度的权力集中36政策行动10：有针对性的行动，以促进未来人工智能的具体利益37图B.1.专家们确定并排名了21个潜在的未来人工智能好处人工智能技术的快速发展要求政策制定者考虑并积极管理人工智能驱动的变革。经合组织人工智能未来专家组的成立旨在帮助满足这一需求，并预测人工智能的发展及其潜在影响。该计划旨在为政府提供见解，以制定前瞻性的人工智能政策。本报告讨论了关于未来人工智能益处、风险和政策必要性的研究和专家见解在为决策者提供指导的同时，鼓励决策者保持对不确定性的意识，积极寻求不同的观点，并警惕地监测人工智能创新的社会影响。专家组通过调查、讨论和情景探索确定了理想的人工智能未来的特征。这些措施包括广泛分布的人工智能利益;尊重人权，隐私和知识产权;更多更好的工作;弹性的物理，数字和社会系统;最大限度地提高人工智能安全性和防止滥用的机制;防止权力过度集中的措施;强有力的风险管理实践，用于培训，部署和使用可能带来高风险的人工智能系统，以及国际和多利益相关者合作，以获得值得信赖的人工智能。这些特征体现了AI的好处的实现和降低其风险。政府可以采取行动，帮助实现积极的人工智能未来。经合组织通过调查和讨论与专家组成员合作，确定政策和治理优先事项。附件A详细介绍了这样做的方法。专家组确定了未来人工智能的21个潜在好处。如附件A所述，通过对这些利益进行排序和综合，它提出了值得政策重点关注的十项优先利益：1.加速科学进步，例如通过设计新的医疗方法;2.更好的经济增长、生产力提高和生活水平;3.通过减贫努力和改善农业，减少不平等和贫困4.更好地解决紧迫和复杂的问题，包括减缓气候变化和推进其他可持续发展目标;5.通过改进对当前事件的分析和对未来的预测，改进决策、判断和预测6.改进信息生产和分发，包括新形式的数据访问和共享;7.更好的医疗保健和教育服务，如量身定制的健康干预措施和辅导;8.提高工作质量，包括将危险或无法完成的任务分配给人工智能;9.增强公民、民间社会和社会伙伴的权能，包括加强参与;10.改善体制透明度和治理，促进监测和评价。专家组确定了38个潜在的未来人工智能风险。通过对它们的排序和综合，提出了阻碍加强政策重点的十大优先风险1.为日益复杂的恶意网络活动提供便利，包括对关键系统的恶意网络活动;2.操纵、虚假信息、欺诈以及由此对民主和社会凝聚力造成的危害3.由于缺乏对人工智能安全性和可信度的足够投资，开发和部署人工智能系统的竞赛造成了危害;4.将人工智能系统目标与人类目标对齐的方法不充分导致意外伤害利益相关者的偏好和价值观;5.权力集中在少数公司或国家;6.在关键系统中发生轻微至严重的AI事件和灾难7.侵犯人权和自由的侵入性监视和侵犯隐私8.治理机制和机构无法跟上人工智能的快速发展;9.人工智能系统缺乏足够的可解释性和可解释性，削弱了问责制;10.国家内部或国家之间的不平等或贫困加剧，包括就业风险。一些风险没有被列为优先事项，因为它们总体上被评为不太重要，尽管专家组成员的排名差异很大。尤其是关于人类失去对通用人工智能（AGI）控制的潜在风险，人们的观点存在分歧。这是一个假设的概念，机器可以在广泛的背景下拥有人类水平或更高的“智能”。专家组确定了66种潜在的政策方法，以获得人工智能的好处并减轻风险。通过对这些问题的排名和综合，它提出了十个政策重点，以帮助实现理想的人工智能未来：1.为人工智能危害制定更明确的规则，包括责任规则，以消除不确定性并促进采用;2.考虑限制或阻止某些“红线”人工智能用途的方法3.要求或促进披露有关某些类型人工智能系统的关键信息4.确保在可能构成高风险的人工智能系统的整个生命周期中遵循风险管理程序5.缓解人工智能开发和部署中可能限制公平竞争并导致伤害的竞争性竞争动态6.投资于人工智能安全和可信度方法的研究，包括人工智能对齐，能力评估，可解释性，可解释性和透明度;7.促进教育，再培训和再培训机会，以帮助解决劳动力市场中断和对人工智能技能日益增长的需求;8.增强利益攸关方和社会的权能，帮助建立信任和加强民主;9.缓解权力过度集中;10.采取有针对性的行动，以促进未来人工智能的具体利益。政策举措认识到这些问题的重要性。最近的发展包括修订经合组织人工智能原则;最终确定欧盟人工智能法案和欧洲委员会人工智能与人权，民主和法治框架公约;美国等国家的行政行动，国家人工智能安全和研究机构的启动;人工智能公司认可的承诺;努力增加政府的相关人才并将现有法规应用于人工智能;对人工智能研究和开发的公共投资以及联合国及其机构的倡议。即将到来的努力，如欧盟责任指令，也可能推动有益的人工智能。然而，有机会采取更具体的行动。各国政府应考虑如何最好地实施优先政策行动，并加强其帮助预测和塑造人工智能未来的能力。快速发展的人工智能系统的中长期影响在很大程度上仍然是未知的，并存在激烈的争论。专家们提出了人工智能的一系列潜在未来风险，其中一些已经变得显而易见。与此同时，专家和其他人预计人工智能将带来重大甚至革命性的好处。以未来为重点的活动可以帮助更好地理解人工智能可能的长期影响，并在当前开始为此，经合组织人工智能未来专家组（“专家组”）是一个由70位领先的人工智能专家组成的多学科小组，通过提供对人工智能可能轨迹和影响的见解，并为政府提供制定前瞻性人工智能政策所需的知识和工具，帮助应对未来的人工智能挑战和1专家组通过调查、讨论和情景探索活动，提出了对社会和治理中理想的人工智能未来特征的看法（见附件A中的方法）。这些理想的未来体现了未来人工智能潜在利益的实现和未来关键风险的缓解。积极的未来不会自动发生;它们需要政策制定者、公司和其他人工智能参与者采取具体行动。人工智能可以加速科学研究，并产生有助于在医疗保健和气候变化等领域取得突破的解决方案某些政策可以促进值得信赖的人工智能的创新，其好处将在国家内部和国家之间广泛分享，并在利益相关者群体、部门和公众之间公平分配，同时防止系统部署或使用具有重大危害潜力所有国家，包括新兴和发展中经济体，都将受益于人工智能的社会经济潜力。人们将通过人工智能获得权力，例如通过新的数据驱动工具做出更明智的决策，包括关注妇女和边缘化社区。政府将通过利用人工智能与公民接触并将他们的观点纳入决策来促进这一点，从而加强民主和参与公共生活。民间社会组织和工会等社会合作伙伴的能力将通过人工智能得到加强，使他们能够更好地与公民和工人联系并收集他们的见解通过分析开放政府数据和产出的新手段，人工智能将使世界各地的民间社会组织能够对政府进行更有力的独立监督。这种监督作用将通过某些人工智能系统的披露要求或规范来进一步促进，这些要求或规范有助于了解它们的运作并培养独立评估者的生态系统在工作场所，人工智能的使用将是值得信赖的，其好处将得到公平分配，工人和社会合作伙伴也能够利用人工智能来加强组织和通知集体谈判。公众将能够获得可靠、真实的信息，获得增强的个性化教育和再培训机会。人工智能系统的开发者和部署者以及审计师等第三方将广泛使用基准、评估和技术工具来检测、减轻和纠正有害的偏见和歧视。确保人工智能系统的设计、开发、部署和使用符合人权的框架和实践将可用并被广泛采用。保护个人数据的政策和解决方案将到位，特别是对于可能带来高风险的用例和可能影响弱势群体的系统。模型开发人员将有明确的指导，哪些数据可以用于训练模型，哪些数据受版权保护。权利持有者和其他内容生成者将有权就如何使用其数据和内容做出明智的决定。人工智能参与者--那些积极参与人工智能系统生命周期的人，包括部署或操作人工智能的组织和个人--可以利用强大的程序、技术方法和其他方法来提供强有力的保证，确保人工智能系统是安全和值得信赖的。这将包括确保适当的透明度和可解释性，并使系统行为符合人类利益攸关方的价值观。针对人工智能促进的恶意网络活动的技术工具和其他保护措施将被开发并提供给人工智能开发人员和部署人员。关键基础设施、物理和信息安全要求将进行调整，以反映使用人工智能带来的风险。为了帮助确保社会系统的复原力，政府的举措将有助于劳动力市场的转型，包括努力进行技能再培训和考虑建立新的社会安全网。此外，在国际和国内层面的一系列努力将加强民主和信息完整性，包括通过有效的进程，促进自由和公正的选举，减少大规模散布虚假信息。人工智能系统的设计、部署和监督将以最大限度地减少恶意行为者滥用的风险的方式进行。更广泛地说，人工智能安全风险将通过标准化流程进行识别、缓解和监控。与对社会和经济产生重大影响的人工智能系统的开发、部署和使用有关的决策将尽可能分散，并采取适当的透明度措施、问责程序、责任规则和有效监督。关于人工智能和关键投入和推动因素，将建立机制，以减轻市场，经济或政治权力过度集中在一个或极少数供应商手中。将有适当定义和执行的风险管理方法来开发，部署和使用人工智能系统，特别是那些可能带来高风险的系统。这些方法将包括透明的风险评估、风险缓解程序以及禁止具有不可接受风险的用途的红线。参与监督风险管理的组织，包括公共部门的组织，将有足够的任务、权力和内部跨学科技能和能力来理解和监督这些方法。强有力的合作将带来全球性的、跨部门的集体规则、承诺和信息共享，以促进人工智能的安全和可信度。各国政府正在通过经合组织政府展望社区和公共部门展望工作等方案（经合组织，2024年[1];2023年[2];经合组织/CAF，2022年[3]）努力建设战略展望能力（框1.1）。考虑到人工智能的快速发展、其未知性以及落后的潜在成本，这一点至关重要。专家组成员和经合组织工作2鼓励各国政府发展强大的人工智能前瞻能力，以持续预测可能出现的未来。这可以帮助他们了解何时何地以及如何进行干预，包括为可能的变化做好准政策制定者可以通过为政策和决策系统和流程中的前瞻性工作定义具体的价值主张，投资于战略前瞻性，并确定和解决阻碍全面战略前瞻性方法的挑战，例如官僚主义筒仓和与非政府行为者对话的障碍，以了解人工智能的影响，来建立他们的战略前瞻能力。由于人工智能对未来的广泛影响，战略远见研究人员通常来自一系列学科，使用各种方法并提出各种论点。战略远见将这些方法结合起来，以建立对假设的细致入微的理解，包括通过：.专家调查和咨询用于以潜在人工智能发展和里程碑的时间表形式生成预测它们可以为如何解决相关的道德、社会和技术问题的分析和建议这种方法也有助于确定专家之间的共识和分歧领域。.情景规划和路线图创建和探索基于不同假设和变量的假设性未来叙述通过捕捉特定人工智能轨迹的不确定性、相互关系和可能的时间框架，可以识别和理解潜在的风险和机会。.趋势和数据分析涉及收集、处理和解释与人工智能当前状态相关的大量然后可以推断出这些来解读未来的人工智能前景。.地平线扫描意味着检测潜在变化的迹象，例如通过考虑早期信号，相邻领域的趋势，外卡（低概率，大影响事件）以及挑战过去假设的当前思维边缘的问题。.他人文献综述揭示了现有的知识，差距或争议。咨询和民意调查可以帮助衡量公众对人工智能及其影响的认识、信任和期望。经验证据可以帮助验证和改进理论模型和场景，而哲学分析可以帮助更好地理解该领域的当前发展。.人工智能未来专家组提出了加强政策重点的十大优先利益1.加速科学进步;2.更好的经济增长、生产力提高和生活水平;3.减少不平等和贫困;4.更好地解决紧迫和复杂的问题，包括减缓气候变化和推进其他可持续发展目标;5.更好的决策、判断和预测;6.改进信息制作和分发;7.更好的医疗和教育服务;8.提高工作质量;9.增强公民、民间社会和社会伙伴的权能;10.改善体制透明度和治理，促进监测和评价。.在人工智能政策和举措中更好地促进人工智能潜在利益的主要考虑因素包括：o国家和国际政策倡议往往认识到上述利益的重要性o对工作质量的考虑很重要，但目前它们往往被对工作数量的担忧所掩盖（经合组织，o人工智能在提高机构透明度、增强民间社会和社会合作伙伴能力方面的潜力应该得到更广泛的认可，对具体用例的研究也应该得到更人工智能未来专家组（“专家组”）确定了21个未来人工智能潜在的好处。通过对这些方面的排序和综合，它提出了加强政策重点的十项优先效益这些好处有助于实施基于价值观的经合组织人工智能原则（2024[7]）：1.1）包容性增长，可持续发展和福祉;1.2）尊重法治，人权和民主价值观，包括公平和隐私;1.3）透明度和可解释性;1.4）稳健性、安全性和安全性;1.5）问责制。人工智能的关键进展领域包括机器人、核聚变、药物发现、数字模拟、抗体生成和蛋白质折叠，AlphaFold是一个关键例子（Azizzadeneshelietal.，2024[8];Stanford，2023[9]）。然而，人工智能对科学的贡献才刚刚开始。在某些领域，该技术可能具有取得的成绩低于预期。例如，一些人发现人工智能在COVID-19大流行期间对研究的贡献很小（经合组织，2023[10]）。此外，到目前为止，人工智能主要为自然科学和物理科学的突破做出了贡献，而其他学科（如社会科学）的类似变革尽管期望很高，但进展较小（Manning，Zhu和Horton，2024[11]）。人工智能可以帮助科学家提高生产力。通过基于大型语言模型（LLM）的研究助理，实验室机器人和促进科学和技术突破，许多人预计人工智能将继续重塑科学和创新（Franca，2023[12];OECD，2023[10]）。人工智能可以被视为“发明方法的发明”（Griliches，1957[13]），导致人工智能工具和助手可以执行越来越多的研究任务（Bianchini，Müller和Pelletier，2022[14]）。专家组成员强调，生成人工智能系统可能会越来越多地用作代理人工智能系统的组成部分，这些系统执行一系列功能，具有越来越大的自主性和更少的人类参与，以及对不断变化的条件的适应性越来越强（OECD.AI，2023[15]）。许多专家预计，人工智能将在未来几十年内改变科学进步，并帮助解决广泛的医疗挑战，例如治疗癌症和阿尔茨海默氏症等神经退行性疾病（Gruetzemacher，Paradice和Lee，2019[16];OECD，2023[10]）。有证据表明，采用人工智能的公司往往比不采用人工智能的公司更具生产力，但因果关系尚不清楚。这背后的部分原因是人工智能采用者已经倾向于拥有坚实的数字采用和能力（Calvino和Fontanelli，2023[17]）。人工智能通过发现新的想法和新的高效和有效的工作方式来促进经济增长和生产力（Jones，2022[18]）。现有的LLM可以提高工人的生产力，但不能执行许多任务（Dell'Acqua等人，2023[19]）。与其他技术一样，采用人工智能和随着组织适应而实现生产力提高之间存在时间差。经合组织的AI趋势数据显示，2015年至2022年间，全球风险资本对AI初创企业的投资增长了400%从2018年到2023年，对具有人工智能技能的专业人士的需求增加了一倍多，而生成式人工智能的最新发展只会增加这一势头。预计今天的投资和技能需求将影响明天的经济增长。对使用人工智能的未来经济收益的预测各不相同，一些估计从到2033年全球GDP增长1-7%到几十年来假设形式的人工智能（AGI）的投机性增长十倍不等（Acemoglu，2024[20];高盛，2023[21];罗素，2022[22]）。4加速创新并将人工智能工具整合到业务流程中可以创造新的就业机会，在几乎所有行业提高生产率，并提高工人目前由精英主题专家处理的许多任务的生产率（Autor，2024[23];OECD，2023[24]）。专家组成员强调，这可能采取“J曲线”的形式，由于集成和采用人工智能的成本，生产率最初会下降，随后这些投资的价值会显着增长（Brynjolfsson，Rock和Syverson，2020[25];OECD.AI，2023[15]）。许多国家和机构强调，从人工智能驱动的经济增长中受益需要投资于技能等互补资产，也需要投资于系统性变革，例如减少经济和性别不平等以及建立更能抵御破坏的社会体系（经合组织，2023年[24];[6];Anderson和Sutherland，2024年[26];UNESCO/OECD/IDB，2022年[27]）。加剧在经合组织国家中，迄今没有迹象表明人工智能影响了职业之间的工资不平等。尽管如此，有证据表明，人工智能可能与职业内较低的工资不平等有关（Georgieff，2024[28]）。一种解释是，一个职业中的低绩效者从使用人工智能中受益更多，产生了均衡效应。除了工资不平等之外，一些专家和研究人员认为，人工智能可能会加剧现有的数字鸿沟，例如城乡差距和性别数字鸿沟，因为缺乏人工智能教育，基础设施和资源。与此同时，人工智能也可能有助于解决数字包容性问题，例如通过增加远程个人的经济机会（Božić,2023[29];Gottschalk和Weise，2023[30];Bentley等人，2024[31]）。在国际上，人工智能的发展高度集中在少数几个国家，这引起了人们对人工智能利益分配不均匀的担忧（经合组织，2024[32]）。发达经济体对人工智能的暴露程度更高，因为它们在高技能工作中的就业比例更高，这些工作更容易接触人工智能。尽管如此，他们的工人更有可能被人工智能补充而不是取代，他们的经济更有可能从生产力的提高中受益。相比之下，发展中经济体的低工资可能会减少人工智能的采用激励和相关的生产力效益。在少数国家开发的人工智能系统可能不适合其他国家的社会和制度环境，限制了其部署和使用的潜力。对人工智能人才和计算等重要投入的获取也在全球范围内分布不均，正如第3章中关于权力集中的风险5所讨论的那样。一些专家提出，如果利益得到公平分配，每个人都可以拥有目前被视为舒适的生活水平（加州大学伯克利分校，2021年[33]）。其他人指出，人工智能可以根据及时和相关的数据，促进强有力和有针对性的减贫工作，帮助提高农业活动的弹性和效率，并帮助改善其他导致不平等的条件，例如获得教育，卫生，金融计划和福利服务（Goralski和Tan，2022[34];Javaid等人，2023[35];Mhlanga，2021[36];OECD，2019[37];WEF，2024[38]）。扩大人工智能的利益范围取决于成功的、有针对性的集体行动。如果没有这一点，专家组成员和其他人担心人工智能可能会增加不平等（第3章，风险10OECD.AI，2023[15];Gates，应对复杂的全球挑战，如可持续发展目标中的挑战，需要具备综合、理解和处理大量信息的先进能力，并在国内和国际上协调应对措施。专家咨询发现，各种形式的机器学习（ML）和人工智能可以帮助实现169个可持续发展目标中的大部分目标，但可能会阻碍69个目标的实现（Vinuesa等人，2020[40]）。例如，人工智能通过跟踪天气模式变化、海平面上升和灾害风险的系统来帮助减轻气候变化的影响，政策制定者还考虑到人工智能本身可能造成的环境负担（Earthna，2023[41];OECD.AI，2023[42];OECD，2022[43]）。通过增强人类理解和执行复杂任务的能力，并提供新形式的协作工具，人工智能可以在预测、缓解和管理“大趋势”的复杂挑战和影响方面发挥重要作用，因为它们可能在全球范围内演变（Haluza和Jungsouth，2023[44];美国国务院，2023[45]）。专家组成员和各国政府强调，人工智能的进步可以通过能源系统、气候建模和许多其他相关领域的创新带来更好的社会成果（OECD.AI，2023[15];白宫，2024[46]）。人工智能还可以支持更好的国际合作，这是应对全球挑战所必需的，通过测试新机制来激励和促进信息共享，并更好地监测和评估签署国对协议的遵守情况（Clarke和Whittlestone，2022[47]）。LLM可以支持个人推理，有证据表明人工智能辅助决策在现实世界中的好处（Brynjolfsson，Danielle和Raymond，2023[48]）。人工智能系统可以通过帮助人类过滤掉可能导致不一致和不准确决策的“噪音”和不相关影响来克服推理错误和偏见（Du，2023[49]）。人工智能系统做出数据驱动决策的潜力正在导致其在包括公共部门在内的一系列部门中的采用。[5]鉴于生成型人工智能在相关测试中取得高分的能力越来越强，它可能越来越能够为这种决策做出贡献（经合组织，2023[50]）。然而，用于评估人工智能性能的测试的有效性仍然存在不确定性。截至2023年，机器无法在各种环境中与顶级人类表现者的推理和创造性决策相匹配，这表明需要进一步改进和增强，以充分实现人工智能的好处（Koivisto和Grassini，2023[51]）。机器输出的准确性也仍然存在争议，诸如生成AI“幻觉”等问题仍然没有得到解决。人工智能系统可以产生新的见解，包括从过去的数据中推断特别是，如果这种人工智能支持的外推变得更长范围或更抽象，它们可以为公司和个人提供自动决策帮助，并在不同领域快速生成概率估计这可能看起来像是天气预报应用于更长时期的政治，社会经济或环境发展特别是关于生成式人工智能系统，专家组成员指出，这种系统开始嵌入自主人工智能代理中，执行越来越复杂的任务。通过人机协作，这些系统可以帮助指导最佳决策，并充当研究助理和顾问（Horvitz，2014[52];Russell，2019[53]）。企业可以使用生成式人工智能系统进行有针对性的战略咨询，以了解全球经济中众多同时发生的复杂变化。这些系统可以提供一系列服务，从咨询到个人援助，通过支持家庭决策，如财务规划，使日常生活更容易。这些服务的提供可以对整个市场产生积极的溢出效应，例如降低消费者的搜索成本和增加供应商之间的竞争这种竞争的加剧政策制定者可以通过政策制定模拟来使用人工智能支持政治决策，以评估实现预期结果的可能性，并为政策审查中的适应和改进提供信息。这包括自动检测和识别图像、音频记录或视频中的项目。支持人工智能的传感设备的能力和普及率已经取得了快速进展，允许自动语音转录，运动检测，实时图像识别和以前需要人工劳动的各种任务（Zhang，Wang和Lee，2023[54];OECD，2023[10]）。卫星图像等几种新的数据收集形式的同时发展，可能会产生新形式的地理空间情报和全球建模（Sathyaraj等人，2024[55]）。嵌入在所有类型设备中的自主系统-例如无人机，自动驾驶车辆和其他与人工智能集成的机器人和遥感仪器-也产生了新的数据收集能力。人工智能还可以帮助最大限度地提高数据的质量和效用，以及人类和机器处理和分析数据的能力（Jarrahi等人，2023[56]）。然而，专家组成员强调，数据收集应具有针对性和故意性，以减轻侵入性监视的风险（第3章，风险7）以及与存储和处理此类数据可能留下的环境足迹相关的危害（经合组织，2022[43]）。智能助理和人工智能客户服务代理展示了人工智能驱动服务的潜力。在医疗保健领域，人工智能系统提供有关患者的实时数据和见解它们可以通过检测异常情况和促进预防行动来拯救生命，尽管目前在一定程度上是有限的人工智能系统在医疗决策试验中显示出了希望，尽管实施还处于早期阶段（Vasey，2022[57]）。人工智能在教育领域也具有巨大潜力，但与其他行业相比，人工智能在教育系统中的采用速度缓慢，而且过去的教育技术，包括基于机器学习的技术，有时未能实现（Barnum，2023[58]）。截至2023年，教育领域的大多数人工智能工作涉及与在课堂上使用LLM相关的指导，并且该领域的大多数人工智能使用都没有利用最新的生成方法，并且仅限于提供建议，诊断或反馈（Fadel等人，2024[59]）。利用人工智能，人们可以访问“一切即服务”（EaaS）或代理套件，这些代理可以帮助他们通过人机协作完成任务（Russell，2019[53]）。医疗保健和教育是特别有前途的重点领域，专家在最近的一项调查中对人工智能在这些领域的潜在影响表达了积极的看法（Rainie和Anderson，2024[60]）。例如，在医疗保健领域，人工智能可以带来量身定制的预防性干预措施和明智的行为“轻推”，从而获得更好的结果，帮助卫生专业人员提供更多的护理时间，并产生新技术，从大量的健康数据资产中释放价值-其中97%在经合组织国家尚未开发（Sumner等人，2023[61];贝内特研究所，2024[62];经合组织，2024[63]）。人工智能的进步还可以帮助缓解经合组织国家预计到2030年将出现的350万医疗保健劳动力短缺（经合组织，2024[63]）。人工智能可以降低教育准入门槛，特别是在低收入和中等收入国家。通过增加可访问性和降低知识获取的价格，人工智能可以开辟新的熟练劳动力供应（Fan和Qiang，2023[64];WEF，2023[65];Demaidi，2023[66]）。人工智能可以通过个性化辅导提供针对个人需求的支持，包括为有特殊需要的人提供支持，从而帮助自主学习民主化（Bond，2023[67]）。通过重新定义学生学习的方式、地点和内容，可以提高学生的成绩（经合组织，2023年[68];Fadel等人，2024[59];Fariani，JunusandSantoso，2023[69]）。开发量身定制的人工智能辅导系统目前是一项工程挑战，但在短期内，诸如聊天机器人、人工智能生成的教学内容以及教师和学生支持工具等更简单的工具预计会越来越大（Huang和Rust，2021[70];人工智能已经对工作质量产生了积极影响，通常是通过自动化一些危险或繁琐的任务，从而改善工人的福祉（经合组织，2023[6]）。经合组织调查的近三分之二的工人报告说，人工智能提高了他们的工作乐趣。作为人工智能应用的一个例子，可穿戴人工智能设备和人工智能传感器已经提供了对汽车行业中威胁工人安全的高风险运动或情况的实时评估（Hart，2023[72]）。雇主们利用由此产生的见解来保护工人的人身安全，改善工厂条件并防止事故发生。然而，必须谨慎行事，以确保人工智能的这种使用不会对工人造成不利影响。在最近对数百名跨领域专家的调查中，77%的人表示，到2040年，人工智能将对人们的日常工作活动产生积极影响（Rainie和Anderson，2024[60]）。然而，对工人的民意调查显示，32%的ICT从业者和14%的酒店、服务和艺术行业从业者预计人工智能对他们的好处大于伤害（Kechhar，2023[73]）。这表明人工智能对工作的预期影响并不是平均分布的。如果人工智能系统分配给人工智能系统的刺激性较低的任务，并且工人可以将时间投入到更有成就感的追求中，那么人工智能可能有助于在工作场所产生积极的心理影响（Jia等人，2024[74]）。例如，在公共部门，人工智能可以减少公职人员在单调任务上投入的时间（经合组织，2024[75]）。专家组成员指出，从历史上看，通用技术在新领域创造了新的高质量工作，这可能有助于提高工作质量和数量（OECD.AI，2023[15]）。在建筑和制造业等行业，人类可以通过人工智能机器人远程完成危险的任务，高质量的模拟可以减少事故。在一个例子中，一个民间社会组织（CSO）使用人工智能系统来审计公共开支，“在一周内发现的可疑索赔比负责政府机构一年内发现的还要多”（Savaget，Chiarini和Evans，2019[76]）。慈善机构等民间社会组织越来越意识到人工智能的潜力：2024年，英国61%的受访慈善机构报告称每天使用人工智能，几乎是2023年的两倍（Legraien，2024[77]）。然而，只有不到25%的受访者表示准备好应对人工智能的机遇和挑战。在工作场所，工会和商业协会等社会合作伙伴就人工智能的使用进行谈判和建立社会对话，但他们也使用人工智能来告知工人他们的权利并更好地了解他们的经验（经合组织，2023[24]）。尽管最近人工智能的吸收以及其他人工智能参与者对支持这些组织的机会的兴趣增加，但他们对人工智能的广泛使用往往受到资金，技能和运营限制的限制（Savaget，Chiarini和Evans，2019[76];丹麦政府，2024[78];经合组织，2023[24]）。人工智能可以帮助扩大监督和代表活动的规模和范围人工智能可以通过促进新形式的数字社会服务和参与能力来支持民间社会组织和社会合作伙伴（Sanchez，2021[79]）。专家组成员强调，助理可以帮助广泛的组织，包括基层和社区组织，承担更复杂的任务或扩大其业务（OECD.AI，2023[80]）。通过透明和可访问的机构实现的协同效应可能会进一步促进这一好处（好处10）。人工智能已经应用于公共部门数据集，以识别和管理腐败风险，并促进廉正和效率（Ugale和Hall，2024[81]）。人工智能支持机构交流，帮助促进参与性活动。6它还在政府内部建立机构能力，以便更有效地监测、执行和评价政策，减轻政府和企业的负担，提高政策效力。许多政府已采取措施确保其算法和人工智能的使用是透明和负责任的（经合组织，2023[82]）。人工智能技术可以为政府提供与公民沟通的替代渠道，并提供收集和分析社会观点的有效工具（经合组织，2023[83];2022[84]）。一些政府已经成功地尝试使用人工智能来进行偏好汇总、大规模审议和共识协调（Tsaietal.，2024[85]）。人工智能对大量信息进行分类、过滤和总结的能力可以降低信息披露的障碍，使政府更容易向公众透明。它还可以帮助公民了解复杂的政府程序，并为更广泛的公众参与和民间社会组织的监督提供机会这可以加速机构改革，人工智能工具可以帮助民间社会组织完成监测和评估以及更好地定位服务，信息传播和宣传材料等任务（Efthymiou，Alevizos和Sidiropoulos，2023[86]）。这些进步可以加强对政府的信任并加强民主（经合组织，2022[87]）。经济合作与发展组织（OECD）对人工智能政策效果的审查发现，它们经常强调人工智能在加速科学进步、促进经济增长和生产力提高以及提高生活水平方面的潜力的重要性。在较小程度上，他们承认人工智能在解决复杂和加速问题方面的潜力;协助决策，感知和预测以及为有益的服务提供动力。然而，对工作质量的积极影响的认识往往受到工作数量问题以及相关的培训和能力建设问题的限制和掩盖（经合组织，2023[24]）。对组织透明度和赋予民间社会权力的好处的认识似乎很轻，除了开放政府数据以支持训练人工智能系统和提供自动决策的透明度（例如，解释公共利益的确定）。行动的非详尽例子包括：.科学进步。欧盟（EU）AI法案（2024）规定了某些规则的豁免，并限制了用于科学研究的AI系统的版权保护。法国开发了一个人工智能促进科学，科学促进人工智能中心（AISSAI）。8英国投资1.17亿欧元（相当于）在相关领域建立人工智能研究中心（UKRI，2024[89]）。美国《关于安全、可靠和值得信赖的人工智能开发和使用的行政命令》（AIEO2023）包括为应用科学建立基础模型和支持医疗保健AI研究的要求。9.增长、生产力和福祉的提高。许多国家的人工智能计划为增长和生产力投资提供资金，包括促进就业机会的转变和创造。例如，德国在2025年前预算50亿欧元用于实施其国家战略（经合组织，.减少不平等和贫困。《欧盟人工智能法》规定了促进多样性、不歧视、公平和无障碍的措施。2023年举办的首届人工智能安全峰会的成果涉及英国和全球合作伙伴进行投资，以促进人工智能的努力，加快新兴和发展中经济体的发展（英国FCDO，2023[91]）。.处理复杂和加速的问题。由16家AI公司签署的前沿AI安全承诺开发AI系统以帮助应对全球挑战（英国DSIT，2024[92]）。联合国机构的努力可以在国际电信联盟（ITU）的AIforGood网络研讨会系列中看到，该系列帮助AI参与者连接和确定AI解决方案，以及教科文组织对JožefStefan研究所国际AI研究中心（IRCAI）的支持。10欧盟人工智能法案包括允许在某些用例中在沙箱中处理个人数据，包括解决绿色过渡和气候变化问题。英国的人工智能研究中心包括对环境和电力效率的关注。美国AIEO包括使用AI提供清洁电力的要求，开发简化环境审查的基础模型，同时改善结果，并鼓励私营公司和学术界开发AI工具以缓解和适应气候变化。.决策、感觉和预测。许多国家的人工智能计划包括使用人工智能在各个领域实现这一利益的行动。例如，芬兰（2023[93]）关于自动化决策的立法和以色列（2023[94]）公开呼吁确定公司使用人工智能来支持公共决策过程。然而，这些努力更多地侧重于决策，而不是感觉和预测。与之前的好处相关，人工智能正在被用于为管理气候变化的决策提供信息，例如通过数字孪生来模拟实时能源网络管理，以预测和优化能源消耗（OECD.AI，2022[95]）。.改进信息的制作和传播。许多政府已经采取措施，包括通过使用人工智能来生产和提高公共信息和数据的价值和可重用性（经合组织，2023[96];2024[75]）。美国国家人工智能资源（2024[97]）旨在将美国研究人员与推进人工智能研究所需的计算，数据和培训资源联系起来。.有益的人工智能服务。许多国家的人工智能工作都集中在增强的数字服务上。例如，美国（2023[98]）列出了700多个政府AI用例，其中许多是数字服务。英国（2023[99]）特别在人工智能医疗服务方面进行了大量的金融投资。一些国家正在教育领域推行人工智能，包括通过黑客马拉松和为创建人工智能工具提供资金投资（经合组织，2023[68];英国DfE，2023[100]）。然而，专家组成员发现，与其积极潜力相比，对教育中人工智能的公共投资和使用较低。.提高工作质量。这里的努力更多地集中在减轻人工智能工作场所的危害，而不是使用人工智能。修订后的欧盟指令2002/14EC（2002[101]）和一些国家政策，如美国AIEO，试图通过促进员工参与AI和抵制工作场所监控等行动来减轻AI可能造成的工作质量危害（欧洲议会，2021[102];Bell和Korinek，2024[103]）。政府间组织也积极开展相关分析，如经合组织的工作、创新、生产力和技能中的人工智能（AI-WIPS）计划以及国际劳工组织（ILO）的努力。.增强民间社会和社会伙伴的权能。美国国家人工智能资源（2024[97]）和英国人工智能研究资源（2024[89]）旨在确保人工智能研究资源的广泛获取。《经合组织就业展望》（2023年）研究了与社会合作伙伴有关的努力。.提高体制透明度。有几项计划试图将人工智能用于公众参与，例如政府使用开源的人群参与人工智能应用程序Polis（ComputationalDemocracy，2023[104]）。一些举措还旨在使公共部门对人工智能的使用更加透明，例如英国（2024[105]）的计算机透明度记录标准。.经合组织人工智能未来专家组提出了加强政策重点的十大优先风险1.为日益复杂的恶意网络活动提供便利2.操纵、虚假信息、欺诈以及由此对民主和社会凝聚力造成的危害3.由于缺乏对人工智能安全性和可信度的足够投资，开发和部署人工智能系统的竞赛造成了危害4.·将人工智能系统目标与人类利益相关者的偏好和价值观相结合的方法不足导致意外伤害5.权力集中在少数公司或国家;6.在关键系统中发生轻微至严重的AI事件和灾难7.侵入性监视和侵犯隐私8.治理机制和机构无法跟上人工智能的快速发展;9.人工智能系统缺乏足够的可解释性和可解释性，削弱了问责制;10.加剧了国家内部或国家之间的不平等或贫困。.在人工智能政策和举措中更好地降低人工智能潜在风险的关键考虑因素包括：o人工智能安全科学、研发和测试的国家、多边和区域机构的建立反映了对许多潜在风险的关注。o可能需要更加敏捷和灵活的方法和网络来跟上人工智能进步的步伐。o仍然需要有效的方法来确保人工智能系统的目标与人类目标保持一致利益相关者的偏好和价值观。o公司和国家之间的竞争性“竞赛”动态以及关键人工智能领域的人工智能未来专家组（“专家组”）确定了38个潜在的未来人工智能风险。通过对这些风险进行排序和综合，它提出了十个需要加强政策重点的优先风险，其中许多风险已开始显现（方法见附件A）。虽然第2章中讨论的好处促进了值得信赖的人工智能，正如经合组织人工智能原则所体现的那样，但优先风险代表了潜在的障碍。尽管强调了十个优先风险，但其他风险也值得关注。值得注意的是，专家之间产生最大分歧的风险（附件B，图B.2中的红色）可能需要进一步讨论。关于人类失去对人工智能（AGI）系统控制的可能性和后果，人们的观点尤其这种差异表明需要进行更深入的调查，专家组成员同意，其产出应讨论不同的观点，而不是要求达成共识（经合组织，AI，2023[106]）。AGI是指假设的未来AI系统，在广泛的背景下具有人类水平或更高的智能（OECD，2024[107]）。对于是否或何时开发此类系统，甚至里程碑是否明确界定，专家们之间存在大量辩论和不确定性。然而，AGI的发展是几家AI公司的目标（Altman，2023[108];Deepmind，2024[109]）。尽管许多努力涉及使用人工智能来减轻网络安全风险，但人工智能系统已经减少了恶意网络活动所需的工作量，而这些活动以前需要人类专家投入大量时间（UKDSIT，2023[110]）。大型语言模型（LLM）生成软件“漏洞”的能力是人们关注的焦点（Klimek，2023[111];Maraju，Rashu和Sagi，2024[112]）。据估计，生成式人工智能在2023年上半年导致网络攻击增加了8%，特别是以钓鱼电子邮件、恶意软件和勒索软件的形式出现（Mascellino，2023[113]）。有证据表明，一些国家的参与者正在使用LLM来寻求新的网络攻击方法，包括识别漏洞和协助生成钓鱼活动的内容（OpenAI，2024[114]）。虽然目前先进的人工智能系统可以帮助执行基本的网络攻击，但它们似乎无法进行复杂的多步自主攻击（UKDSIT，2024[115]）。多年来，研究人员警告说，支持AI的基础设施黑客和勒索软件攻击可能会增加和发展。人工智能工具可以增加恶意行为者造成损害的能力，特别是通过降低执行恶意网络活动所需的技能和成本，这些活动可能破坏社会稳定并造成虚拟或物理伤害（Fassihi，2023[116];Brundage等人，2018[117]）。例如，人工智能系统可以促进恶意网络活动渗透到核或医疗设施，能源基础设施或其他关键数字系统（Gerstein和Leidy，2024[118];Puwal，2024[119]）。人工智能可能会通过颠覆人工智能集成系统来导致新型恶意网络活动，例如黑客攻击自动驾驶汽车导致其坠毁或篡改医学图像以生成虚假癌症检测阳性（Brundage等人，2018[117];Yamin等人，2021[120]）。与其他数字系统一样，人工智能系统可能成为恶意网络活动的目标（NIST，2024[121]）。专家们担心，如果安全性跟不上不断扩大、不断演变的威胁，在线生态系统、数字技术和数字化基础设施的价值可能会受到侵蚀（OECD.AI，2023[15];Pupillo等人，2021[122]）。虽然人工智能在帮助打击网上虚假和误导性内容方面具有巨大潜力，但人工智能支持的错误和虚假信息是政府的首要关注点（OECD.AI，2022[123];OECD，2023[124]）。11现有的人工智能系统可以产生令人信服的虚假信息，许多关于敏感政治问题的人工智能虚假信息的案例达到了广泛的收视率（Bontcheva等人，2024[125]）。关于人类如何识别人工智能生成的文本的证据是混合的（经合组织，2024[126];Casal和Kessler，2023[127]）。关于图像，人类已经被证明可以感知人工生成的面孔比实际面孔更“真实”（Nightingale和Farid，2022[128]）。许多专家提出，人工智能支持的错误和虚假信息可能对选举系统构成重大威胁，但迄今为止的证据表明，相关影响有限（Simon、McBride和Altay，2024年[129]）。未来的人工智能系统可以放大错误和虚假信息的规模和严重程度，并帮助扩大欺诈和诈骗，如鱼叉式网络钓鱼（英国DSIT，2024[115]）。复杂的模型可以帮助精确地定制和广泛地部署基于心理概况的个人信息，通过“个性化的说服”（Matzetal.，2024[130]）。“合成深度伪造”可以帮助制作可信但不真实的叙述，并使区分事实与虚构变得越来越困难（Horvitz，2022[131]）。一些人认为人工智能系统可以促进对人的大规模操纵，犯罪胁迫，如自动勒索和欺诈，如通过数字模拟（Horvitz，2022[132];Khan，2023[133];Fletcher，Tzani和Ioannou，2024[134]）。这些风险可能会因拟人化的人工智能系统而加剧-使其看起来像人类（Deshpande等人，2023[135]）。一个相关的挑战是信息污染，其中人工智能生成的输出越来越普遍，导致在线信息质量下降，导致错误信息（Vincent，2023[136];Lorenz，Perset和Berryhill，2023[137]）。在社会规模上，人工智能支持的错误和虚假信息是对信息生态系统和支撑科学和民主的基于事实的信息交换的根本威胁（Ognyanova等人，2020[138];OECD，2022[139]）。这些问题可能会对社会凝聚力、民主原则和人权造成持久损害（经合组织，2024年[140]）。然而，这种未来风险存在不确定性，一些专家认为，对人工智能支持的错误和虚假信息的担忧可能被夸大了（Simon，Altay和Mercier，2024[141]）。提供人工智能服务的有效竞争可能对于确保消费者和经济体充分受益于该技术至关重要（经合组织，2024[142]）。然而，一些专家认为，这种压力-以及不明确的责任和问责制分配和监管要求-可能会导致对人工智能道德和安全的关注不足（Chow和Perrigo，2023[143];Li，2023[144]）。自2022年底以来，人工智能公司迅速发布了新的或增强的产品，这些产品有时在之后被发现存在重大缺陷。与此相关的是，一些公司和个人在这些系统可用时立即采用和使用这些系统的压力可能会加剧风险（Clarke和Whittlestone，2022[47]）。除了公司之外，竞争压力也可能导致国家之间的种族动态（NSCIA，2021[145];deNeufville和Baum，2021[146];Bremmer和Suleyman，2023[147]）。种族动态可能会增加人工智能事件的风险，一些专家认为，在缺乏有效治理和监管的情况下，短期收益可能会以牺牲长期社会目标为代价（Hendrycks，Mazeika和Woodside，2023[148]）。关于公司之间的竞争，过早部署产品可能会造成损害，而没有足够的安全措施来击败竞争对手进入市场。在明显的先发优势和“赢家通吃”的动态（Askelletal.，2019[149];Vipra和MyersWest，2023[150]）存在。由于可能的权衡，一些专家建议，公司可能被迫将性能和速度优先于安全性，或者将计算和人才等重要资源用于开发产品，而没有相应的资源用于安全性和可信度（Askell等人，2019[149];Leike，2022[151];Kahn，2024[152]）。一些专家还警告说，国家之间的人工智能竞赛动态可能会在无意中加剧国际冲突，并导致知识产权，监管或国际治理方法的国际合作紧张局势（Johnson，2020[153];Garfinkel，2019[154];Roberts等人，2024[155]）。AI系统的目标可以是明确的或隐含的。对于人工智能系统的开发人员或用户来说，以确保系统以符合人类意图的方式实现明确的目标可能具有挑战性。例如，拼出用户的真实目的通常太困难或导致系统效率低下（Gabriel，2020[156]）。因此，编程到AI系统中的目标通常是高级、概念或代理目标。这可能会导致意想不到的后果。人工智能系统在寻求实现明确目标时的行动与人类的意图或价值观之间的差异程度有时被称为错位。一些专家认为，某些类型的人工智能可能会发展自我保护，自我改善和资源获取的目标（Bales，D'Alessandro和Kirk-Giannini，2024[157]）。另一个问题是泛化，或“确保输出从他们的培训环境转化为现实世界的预期”（英国DSIT，2024[115]）。确保人工智能系统按照用户意图或人类共同的价值观（只要这些价值观是可识别的）行事被一些专家称为“未解决的问题”（Hendrycksetal.，2022[158]）。如今，在奖励黑客中可以观察到人工智能错位的证据，人工智能系统发现了实现目标的不可预见且可能有害的方式（Skalse等人，2022[159]）。虽然存在一些增加对齐的方法，例如在训练AI模型时使用特定类型的人类反馈，但它们通常具有有限的可扩展性，并且可能引入新的偏差（Casperetal.，2023[160]）。一些研究领域，包括有时被称为AI对齐的领域，研究了可验证地确保AI系统的行为与人类偏好一致的方法（Russell，2019[53];Dung，2023[161];Bekenova等人，2022[162]）。然而，其他研究人员认为，对齐应该关注与系统功能相关的规范2024[163]）。一些专家认为，这个问题可能导致人工智能系统的行为方式破坏了潜在的、隐含的人类利益，随着人工智能更深入地融入社会和经济，这种情况可能会升级。以不可预料和不受欢迎的方式追求人类定义的目标的错位人工智能系统可能会产生从有害偏见和有害建议到潜在灾难性后果的影响（Skalse等人，2022[159];Russell，2019[53];OECD.AI，2023[164]）。专家组成员预计，生成式人工智能系统将越来越多地用作人工智能代理的组件，这些代理执行各种功能，自主程度不断提高（OECD.AI，2023[15]）。这些不断提高的自主性和集成到复杂的任务序列中，减少了人类的监督，这可能会增加对齐的重要性。人工智能的市场力量集中通常与对资源访问的控制有关，包括训练高级人工智能模型所需的数据和计算（布坎南，2020[165]）。特别是对计算的需求急剧增长（OECD，2023[166]）。获得计算的能力，受可用性和成本的影响，影响哪些组织可以构建人工智能系统，构建的系统类型以及谁从系统中受益以及提供它们所产生的利润（Vipra和MyersWest，2023[150]）。12半导体供应链中的漏洞使这一点进一步复杂化（Haramboure等人，2023[167]）。将产品和服务“捆绑”在一起等行业实践推动了自我强化的网络效应，从而拥有更多的用户和数据，反过来又有助于进一步改进人工智能模型（UCBerkeley，2021[33];OECD，2024[142]）。与此相关的是，合并、收购、战略投资和合作伙伴关系，以及企业在价值链多个层面运营的垂直整合，可能会阻碍竞争，使没有这种整合或与主要参与者合作能力的公司难以生存（英国CMA，2023[168];2024[169]）。开源人工智能模型可以帮助民主化访问，尽管专家们对开源某些高性能人工智能模型是否会带来超过收益的风险存在争议（Mozilla，2023[170];Seger等人，2023[171]）。缺乏获得人工智能资源的机会以及规模经济、先发优势、收购和合作伙伴关系等结构性因素，对人工智能市场的竞争构成了风险（经合组织，2024[142]）。如果市场力量集中在一个或几个占主导地位的公司手中，他们可以获得重大的经济收益，可能会以缺乏资源赶上的小公司，政府和学术机构为代价（Vipra和MyersWest，2023[150];Cockburn，Henderson和Stern，2018[172]）。这种市场或经济力量的集中可能会改变政治权力的动态，现任者有可能在影响政策方面发挥不成比例的作用（Bettelle，2023[173];AINowInstitute，2023[174]）。这可能对发展中国家和新兴经济体产生特别不利的影响专家组成员警告说，如果很少有供应商主导人工智能市场，社会可能会依赖它们（OECD.AI，2023[15]）。这可能使关键基础设施和服务的决定由有限的几个供应商控制，从而有可能对基本上是公司的决定缺乏有意义的选择或民主监督。如果政府无法建立内部能力和专业知识并促进有效竞争，一些人认为不平等可能会恶化（见风险10）。他们还建议，政策制定者应该制定方法，帮助确保开发人员的决策符合公共利益，并为人工智能产品和服务提供健康、竞争激烈的市场。如果这种风险进一步扩大，一些专家认为，那些对关键人工智能系统或生态系统拥有市场控制权的人可以利用这种优势来加强政治权力，可能会促进大规模的征服和/或威权主义，特别是在国家行为者的使用方面（Funk，Shahbaz和Vesteinsson，2023[175];Clarke和Whittlestone，2022[47];Dizikes，2023[176]）。这些系统包括空中交通管制、金融、核和军事系统（Laplante等人，2020[177];Zwetsloot和Dafoe，2019[178]）。关键部门的失败可能会导致连锁反应，正如2010年股市“闪电崩盘”所观察到的那样，与高频交易机器人相关的问题导致道琼斯工业平均指数在几分钟内下跌9%（Makhija，Chacko和Kukreja，2024[179]）。美国证券交易委员会（SEC）主席警告说，除非监管到位，否则随着人工智能被进一步用于管理金融市场，金融崩溃可能会发生（Carter，2023[180]）。预计人工智能将越来越多地集成到关键系统中，如果它们以意想不到的方式证明不可靠，或者如果使用了不适当的保证系统，则可能会带来严重的风险（Laplante等人，2020[177];OECD.AI，2022[181]