人工智能革命的前景与风险：风险管理（中文版）

人工智能革命的前景和危险©2023伊萨卡。保留所有权利。©2023伊萨卡。保留所有权利。2.人工智能革命的承诺和危险：管理风险CONTENTS446678确认信息3.人工智能革命的前景和危险：管理风险ABSTRACT这是许多科幻电影的前提：技术超越了人类的智力，造成了严重的破坏，并最终接管了人类。虽现在现实生活中，但最近发行的ChatGPT感觉就像片头字幕——而这只是许多生成式人工智能（AI）工智能项目“可能对社会和人类构成深远的风门用于人工智能的新监管机构的必要性。不过，其他行业领导者认为，生成式人工智能的好处和风们正在面对的技术有限，这些技术不如我们最大的希望那么有用，也不如我们最但有一个结论是肯定的：人工智能已经席卷了我们的业务和我们的世界，需要首席信息安全官（CISO理、高管和IT高级管理人员来跟上快速发展的风险1Futureoflife.该组织，“暂停巨型人工智能实验：一封公开信”，2023年3月22日，/open-letter/pause-giant-ai-experiments/2Rundle，J.；“网络安全主管导航人工智能风险和潜在回报”，《华尔街日报，2023年5月25日，/文章/cybersecurity-chiefs-navigate-ai-risks-and-potential-rewards-9138b76d©2023伊萨卡。保留所有权利。4.人工智能革命的前景和危险：管理风险当企业智慧遇到人工智能时人工智能的现状际上都是由机器学习技术或大型语言模型（。例如，在输入一个3000亿个单词的数据集后，53Openai.“介绍ChatGPT”，2022年11月30日，/blog/chatgpt4巴特。谷歌。试试巴德，Google，“/的人工智能实验5Iyer，A.；“ChatGPT的智慧背后：3000亿字，570GB数据”，《分析印度》杂志，2022年12月15日，https://分析印度语。com/behind-chatgpts-wisdom-300-bn-words-570-gb-data/6D，“威震天-图灵自然语言生成”，NVIDIA开发者，2022年10月3日，https://开发人员。英伟达。com/megatron-turing-natural-language-generation©2023伊萨卡。保留所有权利。5.人工智能革命的前景和危险：管理风险期到制定饮食计划的各种任务。ChatGP软Office365中，作为微软365副驾驶。7微软Word、Excel或PowerPoint的人都数级增长。爆炸性增长的一个例子8在使用Ch7Spataro，J.；“介绍微软365副驾驶-你的工作副驾驶，”微软官方博客，2023年3月16日，https://博客。微软。com/blog/2023/03/16/introducing-microsoft-365-copilot-your-copilot-for-work/8Ruby，D.；“30+详细的ChatGPT统计数据-用户和事实”，需求页，2023年7月7日，/chatgpt-statistics/ ©2023伊萨卡。保留所有权利。6.人工智能革命的前景和危险：管理风险对人工智能还是不人工智能议所证明的那样。从自动化日常任务到生成创造性内容，听起来自信和合法，导致用户在寻找他们的问题的相关答案时感到困惑或误导。三星电子公司总部所在地11苹果12摩根大通13和威瑞森通信14出于安全考虑，严重限制了生成式人工智能的职场使用。从车轮到汽车，历史表明，任何能让我们用更少的努力做更多事情的技术都广受欢迎——作为生成技术人工智能已经证明。识别人工智能的风险和回报布什内尔，S。T.；关于亨利·福特的真相，莱利和李公司，美国，1992年10元。stackoverflow.“临时政策：ChatGPT被禁止”，/questions/421831/temporary-policy-chatgpt-is-banned11考利；“三星限制代码泄露后使用生成人工智能。2023年5月8日，https://tech。co/news/samsung-restricts-generative-ai-use#:~:text=New%20Policy%20Bans%20Samsung%20Employeesz蒂利12岁；M。Kruppa；“苹果公司限制员工使用ChatGPT，和其他公司一样担心泄密，”《华尔街日报》，2023年5月18日，/articles/apple-restricts-use-of-chatgpt-joining-other-companies-wary-of-leaks-d44d7d34?mod=文章内联13卢克帕特；“摩根大通限制员工使用ChatGPT”，《华尔街日报》，2023年2月22日，/articles/jpmorgan-restricts-employees-from-using-chatgpt-2da5dc34?mod=文章内联14Moneylife.在文章中，“摩根大通限制工人使用ChatGPT”，2023年2月23日，https://www。moneylife.in/article/jpmorgan-chase-restricts-workers-from-using-chatgpt/69948.html©2023伊萨卡。保留所有权利。7.人工智能革命的前景和危险：管理风险1.确定人工智能的好处。2.识别人工智能风险。3.采用持续的风险管理方法。4.实施适当的人工智能安全协议。进行人工智能效益分析丰富好处，15从将医疗保健和教育带给服务不足的人，再15盖茨；“人工智能的时代已经开始”，2023年3月21日，https://www。gatesnotes.ai时代已经开始了16奥，一个；“AI机器人ChatGPT通过美国医疗执照考试，”Medscape，2023年1月26日，https://www.麦德景。com/viewarticle/987549；斯隆，K；“ChatGPT通过法学院考试，”路透社，2023年1月25日https://www.路透社。com/legal/transactional/chatgpt-passes-law-school-exams-despite-mediocre-performance-2023-01-25/;businesstoday.在“人工智能的下一步”：ChatGPT通过美国医学执照考试和沃顿商学院的MBA考试”中，《今日商业》，2023年1月25日，https://www.businesstoday.in/technology/story/next-step-for-ai-chatgpt-clears-us-medical-licensing-exam-and-whartons-mba-exam-367569-2023-01-25；部落的健康状况。“人工智能正在通过医学院考试”，2023年1月24日，/chatgpt/；惠特福德，E；福布斯如何让ChatGPTAI在20分钟内写2篇大学论文”，福布斯，2022年12月9日，/sites/emmawhitford/2022/12/09/heres-how-forbes-got-the-chatgpt-ai-to-write-2-college-essays-in-20-minutes/？sh=313d2f3b56ad；哈特森先生；“人工智能学会了以惊人的进步编写计算机代码”，《科学》，2022年12月8日，https://www.科学org/content/article/ai-learns-write-computer-code-惊人的进步©2023伊萨卡。保留所有权利。8.人工智能革命的前景和危险：管理风险公司会做什么，他们为什么要这样做？公司会做什么，他们为什么要这样做？他们是怎么做的？该公司的竞争对手是如何利用人工智能工具的呢？他们依赖什么工具和才能，他们成功的标准是什么？对人工智能的投资成本是多少，它能带来多少投资回报？该公司对其安全协议和机制将有助于确保数据质量、完整性和机密性（例如，知识产权、个人可识别信息等）有多少信心？当人工智能消除了重大的成本和人才障碍时，该公司当前的战略和目标将如何发展？员工和合作伙伴可以给人工智能创新桌带来什么？A公司是一个行业领导者，凭借一种旗舰产品主导识别人工智能风险。17Vallance,B.;C.变异；“AI“教父”杰弗里·辛顿退出谷歌后警告会有危险，”BBC新闻，https://www。bbc.世界-美国-加拿大-65452940©2023伊萨卡。保留所有权利。9.人工智能革命的前景和危险：管理风险络攻击，并可能引入新的攻击。从数据泄露社会风险18岁的琼斯，J.；“人工智能可以使3亿个工作岗位实现自动化。以下是最危险（也是至少）危险的因素，”ZDNET，2023年5月27日，/article/ai-could-automate-25-of-all-jobs-heres-which-are-most-and-least-at-risk/；Elder，B.；“把你的办公桌工作交给人工智能生产力奇迹，高盛说，《金融时报》，2023年3月27日，/content/50b15701-855a-4788-9a4b-5a0a9ee10561；尼尔-贝利，M.；E。布林霍尔夫森。核心；“思维机器：人工智能生产力繁荣的案例”，布鲁金斯学会，2023年5月10日，/research/machines-of-mind-the-case-for-an-ai-powered-productivity-boom/；卡利亚瓦口；“研究：量化GitHub副驾驶对开发者生产力和幸福感的影响”，GitHub博客，2022年9月7日，https://github.blog/2022-09-07-research-quantifying-github-copi-lots-impact-on-developer-productivity-and-happiness/；Korinek，A；经济研究的语言模型和认知自动化”，国家经济研究局，/10.3386/w30957；BrynjolfssonE.；D。李；L。雷蒙德；“生成人工智能”，国家经济研究局，/10.3386/w31161；ChuiM.；R。罗伯茨。是的；“生成型人工智能在这里：像ChatGPT这样的工具如何改变你的业务，”麦肯锡，2022年12月20日，https://www.麦金赛。com/capabilities/quantumblack/our-insights/generative-ai-is-here-how-像聊天的工具可以改变你的业务19邦德，美国；“五角大楼爆炸的假病毒图片可能是由人工智能创建的，”NPR，2023年5月22日，/2023/05/22/1177590231/fake-viral-images-of-an-explosion-at-the-pentagon-were-probably-created-by-ai©2023伊萨卡。保留所有权利。人工智能革命的前景和危险：管理风险过3亿个工作岗位20将受到ChatGPT模型的IP泄漏和无效ChatGPT泄露了公司的专有信息。21另一个OneDrive上搜索公司内部数据，有可ChatGPT分享敏感信息。22不过，还有更无效的所有权理概念”。”20岁的琼斯21麦迪森，L.；“三星员工使用ChatGPT犯了一个重大错误，”技术雷达，2023年4月4日，/news/samsung-workers-leaked-company-secrets-by-using-chatgpt22森格普塔；“亚马逊警告员工关于ChatGPT，说不要与聊天机器人分享敏感信息，”今日印度，2023年1月27日，https://www。indiatoday.in/technology/news/story/amazon-warns-employees-chatgpt-do-not-share-sensitive-info-with-chatbot-2327014-2023-01-2723麦肯德里克；“谁最终拥有ChatGPT和其他人工智能平台生成的内容？”，《福布斯》，2023年2月22日，https://www。福布斯。com/sites/joemckendrick/2022/12/21/who-ultimately-owns-content-generated-by-chatgpt-and-other-ai-platforms/?sh=21cf9785542324Brittain,B.;"U.S.版权局表示，一些人工智能辅助的作品可能受版权保护，”路透社，2023年3月15日，/world/us/us-copyright-office-says-some-ai-assisted-works-may-be-copyrighted-2023-03-15/25达菲，J.；“为什么作家知道使用ChatGPT是个坏主意”，PCMAG，2023年1月25日，/opinions/why-writers-know-usingchatgpt-is-a-bad-idea©2023伊萨卡。保留所有权利。人工智能革命的前景和危险：管理风险对网络安全和弹性的影响像PentestGPT这样的人工智能渗透预测试工具，以及一个提示，“为我找到一个特定技术的安全漏洞，如ChatGPT已被用来创建一个信息窃取器户的垃圾邮件中，英语语法和语法都有显著提高。攻击上升47%的一个因素31Zscaler在2022年看到的。$等《rruescpnusn个业务连续性计划，两knentOhneepoefrhpetrisvteopfpaotnI-irtoifinesdeilnI.ap良p是对内部系统的优化他们同事的工资和其他敏感信息。虽然这种风险人工智能特有的，但考虑一下如何使用像PassGPT用于猜测和生成密码的LLM）这样的工具33这极大26门，J.；“网络安全面临着来自人工智能的挑战technology/2023/05/11/hacking-ai-cybersecurity-future/2728 《华盛顿邮报》，2023年5月11日，/ ，“OPWNAI：网络罪犯开始使用”ChatGPT，2023年1月6日/2023/opwnai-cybercriminals-starting-to-use-chatgpt/反对不断发展的网络威胁景观的组织，包括生成的2023年4月3日，反对不断发展的网络威胁景观的组织，包括生成的2023年4月3日，,,/news/风景darktrace-email-defends-organizations-against-evolving-cyber-threat-29同上。“2023年6月2日，https://www.“2023年6月2日，/video/6328691103112 /resources-industry-reports-threatlabz-phishing-report31Zscaler。“网络钓鱼报告”，https:// /resources-industry-reports-threatlabz-phishing-report黑莓，2023年2月2日/32辛格；“黑莓，2023年2月2日/baacyeeespesahgeedtadsge/;C2ibtlsaedceurirfeadci-hcapll-negnearl-cayreifiritalicn-lalie-niem'sinentt-xol-/nn3an,11©2023伊萨卡。保留所有权利。人工智能革命的前景和危险：管理风险技能差距过度反应预期和意外使用制，以防止滥用其知识。例如，由于Cha利用越狱的方法36提示或使用诸如WormGPT等工具37为了数据完整性ChatGPT、Bard和其他节目往往会产生看起，不同的人工智能程序会提供不同的答案39对历史问题特曼在推特上承认40“现在对任何重要的事面，我们有很多工作要做。”34W，“事实表：拜登-哈里斯政府宣布国家网络安全战略”，2023年3月2日，/briefing-room/statements-releases/2023/03/02/fact-sheet-biden-harris-administration-announces-national-cybersecurity-strategy/麦克唐纳；“拜登敦促考虑联邦数字身份框架，”生物识别更新，2022年4月18日，/202204/biden-urged-to-consider-federal-digital-identity-framework36Loynds，J.；“如何越狱ChatGPT：最佳提示&更多”，Dexerto，2023年8月1日，/tech/如何越狱-2143442/37凯利；“WormGPT-网络罪犯使用生成人工智能工具发动BEC攻击，”，|SlashNext，2023年7月13日，/blog/wormgpt-the-generative-ai-tool-cybercriminals-are-using-to-launch-business-email-compromise-attacks/38，“幻觉（人工智能）”，/wiki/Hallucination_（artificial_intelligence）#：~：text=For%20例子%2C%20a%20幻觉%20聊天机器人39麦克拉肯，H.；“如果ChatGPT不能更好地理解事实，其他事情就无关重要了，”《快公司》，2023年1月11日，/90833017/1740奥特曼，S；“ChatGPT非常有限，但在某些事情方面足够好，足以制造对伟大的误导印象。现在依赖它来做任何重要的事情都是错误的。这是进步的预览；在稳健性和真实性方面，我们有很多工作要做。，推特，2022年12月10日，/sama/status/1601731295792414720?lang=en©2023伊萨卡。保留所有权利。人工智能革命的前景和危险：管理风险高了。这种情况于2023年5月在曼哈顿联41b；“当你的律师使用聊天GPT时发生的事情，”纽约时报，2023年5月27日，/2023/05/27/航空公司诉讼。html©2023伊萨卡。保留所有权利。人工智能革命的前景和危险：管理风险采用持续风险管理方法评估方法。例如，新的框架，如AI风险管理框架1.0）42从美国国家标准与技术研究所（NIST）开始，旨1.识别该公司的整体人工智能风险。2.定义该公司的风险偏好。3.监控和管理风险。第一步：识别风险第二步：定义风险偏好42NIST，“人工智能风险管理框架（AIRMF1.0）”，2023年1月，/10.6028/nist.ai.100-1©2023伊萨卡。保留所有权利。人工智能革命的前景和危险：管理风险第三步：监视器和管理风险向所有员工传达风险愿景优先考虑风险管理活动解决所有需要采取行动的风险（如新的安全控制），并指导团队成员解决他们的风险领域分配所有权和个人责任确定风险监测的频率构建人工智能安全程序：八个协议和实践优势——这些组织可能没有CISO或专门的一个：信任但要验证©2023伊萨卡。保留所有权利。人工智能革命的前景和危险：管理风险击和渗透。2023年5月，OpenAI证实二：设计合格使用策略三：指定一个人工智能领导四：进行成本分析带来财务负担。对人工智能进行了全面的成本一种工具的成本效益，还需要计算安全控制的43Poremba，美国；“ChatGPT确认数据泄露，引发安全问题，”安全情报，https://安全情报。com/articles/chatgpt确认数据泄露44伯吉斯先生；《对ChatGPT的黑客行动才刚刚开始》，《连线》杂志，2023年4月13日，/story/chatgpt-jailbreak-生成性黑客攻击45Wodecki，B.；“遇见羊驼：开源ChatGPT制造不到600美元，”人工智能业务，2023年3月20日，/nlp/meet-alpaca-the-open-source-chatgpt-made-for-less-than-600©2023伊萨卡。保留所有权利。人工智能革命的前景和危险：管理风险五：适应和创建网络安全程序智能为中心的安全实践(e。g.,安全的设82%的IT专业人员46将考虑在未来两IP泄漏：安全和隐私团队应该具备适当的技能和控制措施，以防止IP泄漏。组织可以使用基于权限的访问、可见性工具、防火墙和应用程序控件来确定员工在哪里和如何使用人工智能工具。这些措施可以防止未经授权的转移有价值的公司数据，并限制潜在的损害。例如，当对数据建立适当的基于角色的访问控制时，人力资源经理可以向LLM询问来自LLM的工资，但只有公司律师可以询问公开的人力资源案件。此外，数字过滤器还可以阻止用户访问私有的内部存储库。培训和政策承诺还可以让员工了解与人工智能工具共享敏感信息的严重后果。灾难恢复和事件响应：人工智能可以通过多种方式协助进行业务连续性和事件响应规划。通过分析运营数据，人工智能工具可以识别对业务连续性的威胁，帮助设计响应策略，并在模拟场景中进行测试。当意外的中断发生时，人工智能可以将业务恢复计划的某些阶段自动化，例如优化资源分配，以保持关键操作的运行。连续性：人工智能在组织内的使用为业务连续性带来了独特的挑战。严重依赖人工智能进行业务流程和功能的组织可能会发现，如果人工智能工具停止运行，它们自己就无法运营。因此，在制定人工智能计划和战略时，必须特别考虑到业务的连续性。威胁情报：虽然市场上的许多威胁情报和网络监控工具已经以某种方式整合了机器学习，但最新的生成式人工智能工具可以提供关于输出的新见解，甚至可以检测到以前遗漏的威胁警报。谷歌发布了谷歌云安全AI工作台47该公司可以分析代码、周边安全和网络中的漏洞。该平台创建了一个个性化的威胁档案，帮助团队通过可操作的情报和跨数据源的可见性主动加强防御。实施这样的工具的组织可能会受益于关于威胁意识和补救措施的效率的提高。六、授权审计和可追溯性46岁的辛格，美国；“IT领导人预测，chatgpt支持的网络攻击即将到来，”黑莓，2023年2月2日，https://blogs.黑莓。com/en/2023/02/it-leaders-predict-chatgpt-enabled-cyberattacks-are-imminent47Potti，美国；“谷歌云计划如何用生成式人工智能增强安全性”，谷歌云博客，2023年4月14日，/blog/products/identity-security/rsa-google-cloud-security-ai-workbench-generative-ai©2023伊萨卡。保留所有权利。人工智能革命的前景和危险：管理风险七：开发一套人工智能伦理学关于人工智能伦理的建议492021年11月。像I织50以及美国国防部51已经采用了人工智能的伦理原关。人工智能技术在许多领域都带来了重大好处，八：社会适应。48.微软负责任的人工智能标准，v2对外部发布的一般要求。(2022).https://query.推动。cms.rt.微软。com/cms/api/am/binary/RE5cmFl49日联合国教科文组织。《人工智能伦理》，https://www。