为国民可信的人工智能时代提出AI隐私风险管理模式（韩）

안전한인공지능(AI)·데이터활용을위한

AI프라이버시리스크관리모델

2024.12.

【일러두기】

◆발간목적

-본모델은AI프라이버시리스크관리의방향과원칙을제시하기위해마련되었으며,AI모델·시스템개발자및제공자등은개별여건에맞게적용할수있습니다.

-본모델은개인정보보호위원회가구성·운영중인「AI프라이버시민·관정책협의회」논의를바탕으로마련되었으며,향후법·제도·기술발전에따라지속적으로수정·보완될수있습니다.

◆주요대상

-AI기술을도입,적용하면서프라이버시관련내부관리체계를마련,정립,정비하고자하는기업·기관등을주요잠재독자층으로상정하였습니다.

-본모델은AI모델사전학습및추가학습,AI시스템개발및제공등AI전주기를망라하는리스크관리체계를안내한것으로,향후소규모조직,스타트업등세부대상과영역에

특화된안내자료를구체화해나갈예정입니다.

◆문의처

-내용관련문의:인공지능프라이버시팀(☎02-2100-3073,3078)

-혁신지원원스톱서비스:전담담당관(☎02-2100-3045/onestoppipc@korea.kr)

※개인정보위「혁신지원원스톱서비스」란?

▸기업지원에특화된위원장직속기구로서,기업현장의애로사항에대해부서간칸막이를넘어빠르고안전하게실질적해결책을제공하는서비스

▸신청기업에원칙적으로5일(근무일기준)이내에답변을제공하며,추가지원절차*가필요한경우에는지원방향에대한1차답변제공후분야별검토진행

*△규제샌드박스,△사전적정성검토제,△개인정보안심구역,△법령적극해석등

목차

Ⅰ.개요 1

口논의배경 1

②적용범위 3

③개인정보보호법및타안내서등과의관계 5

Ⅱ.AI프라이버시리스크관리의절차 6

口AI의유형·용례파악 7

②용례에대응하는리스크의식별 8

③리스크의측정 8

囚리스크경감방안의검토와도입 9

[붙임1]AI리스크관련글로벌논의현황 10

[붙임2]지향되는리스크관리체계의원리 12

[붙임3]AI리스크관리관련표준 13

Ⅲ.리스크의식별 14

口기획·개발단계 14

[붙임4]AI학습데이터수집·이용의적법근거예시 17

②서비스제공단계 20

Ⅳ.리스크의경감 26

口관리적조치 26

②기술적조치 31

Ⅴ.AI프라이버시리스크관리체계 36

[부록1]AI개인정보리스크자율평가항목 39

[부록2]언어모델(LLM)대상프라이버시리스크경감기술의유형및효과 46

[부록3]AI프라이버시리스크유형및경감방안도식화 59

-1-

Ⅰ.개요

1

논의배경

1.인공지능과프라이버시리스크의관계

□인공지능(AI)의발전은개인정보를포함한대규모데이터처리에기초하고있어AI와프라이버시리스크는불가분의관계임

○AI기술이요구하는데이터처리방식의근본적변화는개인정보유·노출등전형적인프라이버시리스크를심화시키고,나아가기존정보처리환경에서예측하지못한새로운유형의리스크를유발

○AI기술발전과함께복잡한변화양상을보이는프라이버시리스크의적정관리·완화는지속가능한AI발전의선결요건

【AI시대데이터처리방식의변화】

참고AI기술이프라이버시리스크에미치는영향1)

.개인정보보호법상의전형적인프라이버시리스크를확대·악화

、AI학습에필요한개인정보규모와범위의증대로적법근거없는무분별한개인정보수집·이용및추적·감시리스크악화

、AI데이터처리의복잡한가치망으로인해보안상취약점확대

.AI기술이새로운유형의프라이버시리스크를유발

、개인에대한사소하거나식별성없는파편화된정보를연결→학습데이터에포함되지않은행동·의도예측(예:범죄발생위험예측)

、개인에대한물리적속성(예:안면사진)으로부터개인의성격,감정추론、AI가암기한개인정보를원본그대로노출할위험(예:이름,집주소등)、개인의신원을도용하여가짜이미지·오디오등을생성

1)HaopingLeeetal.,Deepfakes,Phrenology,Surveillance,andMore!ATaxonomyofAIPrivacyRisks,CHI‘24,1-9(2024).

-2-

2.리스크기반접근의필요성

□AI프라이버시리스크에대한체계적이해는AI기술발전을선험적,일률적으로규제하기보다는사회적으로필요한AI개발과혁신활동을지원하는안전장치역할을수행

☞불확실성이높은AI영역에서‘리스크기반접근’을통해AI의부정적영향을관리·완화하면서AI기술의이점을극대화할필요

3.목적과한계

□본모델은디지털시대의핵심경쟁력인AI가프라이버시친화적으로활용될수있도록AI프라이버시리스크요인을체계화하고,리스크관리의방향과원칙을제시하기위해마련되었으며,

○현시점에서학계·정부등에서논의되고있는AI데이터처리특성,리스크유형,국제적상호운용성등을고려해마련되었음

○본모델의준수는자율사항으로서,AI기업등은개별여건에따라구체적인AI프라이버시리스크관리체계를수립할수있음

□또한본모델은AI기업·기관등의개인정보보호법준수가능성을높이고,안전관리체계마련에대한유인을제공하기위한것으로,

○기업·기관등이본모델에적시된안전성확보를위한최선의노력을다하였을때개인정보보호법준수사실을인정하거나행정제재시참작사유로고려될수있음

□다만,AI프라이버시리스크관리체계는전세계적으로초기단계에있어본모델은향후기술,정책,표준발전등에따라수정·보완될예정임

【안내서적용방안예시】▸AI모델·시스템개발및제공자는기존에수행하고있던개인정보영향평가또는

개인정보보호를위한검토항목등에본모델의내용을추가반영하거나,

-동안내서를참고하여별개의독립적평가를수행할수있음

내용을기획에참고할수있음

-또한,PbD(PrivacybyDesign)관점에서AI시스템의초기구상단계부터본모델의

▸정부·연구기관등이AI시스템의위험관리와관련한정책등을수립할때개인정보보호관련사항은본모델의내용을참고할수있음

-3-

2

적용범위

□(적용대상)AI모델·시스템개발자및제공자등

○(모델·시스템2))AI시스템은AI모델을포함하여데이터수집·저장·전송·접근관리등데이터처리를수행하는여러구성요소를포괄

-AI모델은특성값(feature)간의상관관계를표상하는파라미터(parameter)의집합으로서,그자체로는개인정보를포함하거나처리하지않는다는일부견해도있으나,

-파라미터값으로부터개인정보가추론될가능성이있을뿐아니라,AI모델이개인정보처리를수반하는AI시스템의일부로작동할수있으므로AI모델개발자·제공자또한동안내서를참고할수있음

참고

AI시스템의개념도3)

■AI시스템은①외부환경에서입력데이터를수집하는센서,②데이터를해석하고출력을제공하는운영논리(AI모델등),③출력에따라환경을변경하는장치(actuator)세가지주요요소로구성

※OECD“Howartificialintelligenceworks"재구성

2)최근AI모델과AI시스템을구분하여개인정보처리여부및프라이버시리스크수준을달리보는견해가존재하며,이와관련한글로벌논의가지속될전망.

부인

LLM의개인정보암기·저장가능성

인정

독일함부르크

미국

CCPA,학계연구

※(독일함부르크개인정보감독기관(HmbBfDI)의견서(’24.7.15.))LLM에는개인정보가저장되지않기때문에LLM을단순히저장하는것은GDPR에따른개인정보처리에해당하지않음.단,LLM등으로구성된AI시스템이쿼리나출력등을통해개인정보를처리하는한,그처리는GDPR의요구사항을준수해야함

※(미국캘리포니아개인정보보호법(CCPA)개정안(AB-1008)(‘25.1.1.시행))AI시스템의개인정보암기및유·노출위험을전제,개인정보가존재할수있는‘추상적디지털포맷’에‘개인정보를출력할수있는AI시스템’을포함

※(연구동향)대규모언어모델(LLM)이데이터를손실없이압축·복원하는고성능무손실압축기(losslesscompressor)로작용할수있다는연구존재(GrégoireDelétang,AnianRuoss,Paul-AmbroiseDuquenne,ElliotCatt,TimGenewein,ChristopherMattern,JordiGrau-Moya,LiKevinWenliang,MatthewAitchison,LaurentOrseau,etal.Languagemodelingiscompression.arXivpreprintarXiv:2309.10668v2,2024.)

3)OECD,"Howartificialintelligenceworks",

https://oecd.ai/en/inside-artificial-intelligence

-4-

○(개발자4))AI모델·시스템개발자는모델아키텍처및매개변수설정등AI데이터처리*의목적,범위,수단등의결정에영향력을행사하고,

-개발이후다운스트림(downstream)단계에서발생할수있는예견가능한리스크를예측·통제할일정한책임을부담한다는점에서본모델을참고

*AI모델을사전학습(pretrain)하기위한대규모학습데이터투입뿐만아니라,(1)AI모델미세조정,도메인적응적학습(DAL)등추가학습,(2)퓨샷러닝등문맥내학습(in-contextlearning),

(3)인적정렬(alignment),(4)검색증강생성(RAG)과정에서추가투입된데이터처리포함

○(제공자)AI모델·시스템제공자는개발완료된AI가쿼리(query)등을통해최종이용자와상호작용하면서,

-정보주체의권리·의무에영향을미치는결정,추론등을출력하는단계의리스크를예측·통제할일정한책임을부담한다는점에서본모델을참고

□(리스크의범위)AI모델·시스템의개발및제공과정에서파생될수있는다양한리스크중프라이버시측면에서국내외에서중점적으로논의되고있는리스크를상정

○문헌조사,기업인터뷰등을통해파악한AI기술의고유한특성,기능및데이터요구사항등으로인해새롭게나타나거나심화되는정보주체권리침해,개인정보보호법위반리스크등을중점적으로다룸

※(예)▲생성AI의합성콘텐츠→딥페이크로인한인격권침해등새로운위협유발

▲AI의자동화특성,대규모데이터를연결하는능력→대중감시,프로파일링위협증폭

▲AI학습에요구되는대규모데이터→무분별한개인정보수집·이용가능성확대

○다만,본모델에서제시된리스크라는사실이모든AI모델및시스템에대해보편적으로현실화될수있는리스크라는것을의미하지않음

4)본모델에서‘개발자’는AI모델또는시스템을기획,설계,학습및테스트,조정등을통해구축하는자를의미하며,‘제공자’는AI모델또는AI시스템을유상또는무상으로시장에출시하여배포하는자를의미.

다만,AI가치망참여자에대한분류체계,정의등은다양한방식으로논의되고있으며,프라이버시영역에서는AI개발및제공과정에서개인정보처리행위가이루어지는지여부가주된쟁점임

※(인공지능발전과신뢰기반조성등에관한기본법안)인공지능산업과관련한사업을하는자(‘인공지능사업자’)를인공지능개발사업자,인공지능이용사업자로분류

※(EUAIACT)공급자(provider),배포자(deployer)등으로분류

※(NISTAIRMF)AI설계(design)행위자,개발(development)행위자,배포(deployment)행위자등으로분류※(ISO/IEC42001)AI제공자(provider),AI생산자(producer)등으로분류

-5-

◈‘리스크’의정의:피해(harm)의발생확률(probabilityofoccurring)및규모(magnitude)에있어서의불확실성(uncertainty)

※(NISTRMF1.0)리스크를“한사건의발생확률과해당사건의결과의규모및정도의복합적측도(compositemeasureofanevent’sprobabilityofoccurringandthemagnitudeordegreeoftheconsequencesofthecorrespondingevent)”로정의

※(EUAIACT)리스크를“위해의발생확률과강도의결합(combinationoftheprobabilityofanoccurrenceofharmandtheseverityofthatharm)”으로정의

3

「개인정보보호법」및타안내서등과의관계

□안전조치의무와의관계(法제29조)

○전통적인개인정보파일을전제로하는안전조치의무조항을AI모델·시스템에그대로적용하기는어려우나,동조항의취지·목적을참고하여AI환경에적합한안전조치를마련·시행하는것이바람직함

※(예)본모델의제4장(리스크의경감)을참고한안전조치를법제29조에따른내부관리계획에포함하고개인정보처리방침에공개등

□개인정보영향평가와의관계(法제33조)

○공공기관의AI시스템구축·운영이영향평가의무대상에해당하는경우*,영향평가를의뢰받은평가기관은Γ개인정보영향평가수행안내서」外본모델을보충적으로참고할수있음

*개인정보보호법시행령제35조에해당하는개인정보파일을구축·운영하거나기존시스템을변경또는연계하려는공공기관

○의무대상이아닌민간기업등은AI모델·시스템개발및제공시본모델을참고한영향평가수행을자율적으로고려할수있음

※의무대상기관이아님에도불구하고개인정보보호법제33조에따라영향평가를수행하는경우개인정보보호법위반과징금에대해1차조정금액의최대30%를추가로감경받을수있는근거규정마련·시행중

(개인정보보호법위반에대한과징금부과기준제10조제2항,2023.9.15.제정)

□타안내서와의관계

○본모델은개인정보위의타안내서(가이드라인,정책방향등)내용을일부포함하고있지만구체적내용은개별안내서참고필요

○본모델은개인정보위의‘인공지능(AI)개인정보보호자율점검표(’21.5.31.)’를대체※개인정보보호법개정(’23.2월)사항등반영

-6-

≫

Ⅱ.AI프라이버시리스크관리의절차

□오늘날AI는경제·사회전분야에서매우다양한맥락,목적으로활용되는범용기술이며,용례에따라데이터요구사항(종류,형태,규모등),처리방식(알고리즘유형등)이상이

○따라서AI의구체적유형과용례를파악하는것은개인정보처리의목적과범위,프라이버시리스크성격을결정짓는출발점

○이를토대로구체적인리스크를식별·측정하고리스크에비례하는안전조치를마련함으로써체계적인안전관리를구현할수있음

□리스크관리는리스크의조기발견및완화를위해AI모델·시스템의기획·개발단계부터이루어지는것이바람직하며,

○이후에도AI시스템의기능및기술의보강이지속될수있고,의도하지않은용례로사용되거나침해환경이악화되는등외부요인이변화할수있으므로주기적·반복적위험관리가권장됨

□리스크관리절차는세부적으로다양할수있으나➊AI의유형·용례파악,➋리스크식별(mapping),➌리스크측정(measuring),➍경감방안의검토·도입(mitigation)으로이어지는4단계절차가권장됨

○이와같은절차는개인정보보호의원칙5)및리스크기반접근방식(risk-basedapproach)의토대에서구현되며,

○국제적논의중인AI리스크관리프레임워크·표준*의접근방식과유사

*NISTAIRiskManagementFramework(AIRMF1.0),ISO/IEC42001:2023등➊➋➌➍

AI의

유형·용례파악

AI모델및시스템의

목적,범위및

처리되는데이터등

구체적맥락을파악

≫

용례에대응하는리스크의식별

파악된AI모델및

시스템의유형·용례에

따라발생할수있는

리스크를식별

≫

리스크의측정

리스크의발생확률,중대성,수용가능성,우선순위등을판단

리스크경감방안의검토·도입

리스크경감을위한

관리적,기술적

방안을검토하고실행

5)[개인정보보호법상보호원칙(法제3조)]①목적적합성,②적법처리,③정확성,완전성,최신성,④투명성,⑤안전관리,⑥정보주체권리보장,⑦사생활침해최소화

-7-

1

AI의유형·용례파악

○전세계적으로통용되는개인정보보호원칙은개인정보처리의목적을명확히하고처리목적에필요한범위에서처리할것을요구

○한편,AI의프라이버시리스크는AI모델·시스템의목적,범위및처리되는데이터등구체적맥락에따라달라짐

-따라서,개인정보보호기본원칙下맥락특유적리스크를식별하기위해서는개발·제공하고자하는AI의유형·용례파악이선행될필요

○AI프라이버시리스크는크게AI생애주기(life-cycle)및서비스목적등에따라구분할수있음

-학습데이터가수집·이용되는기획·개발단계,학습이완료된AI와실제이용자간상호작용이이루어지는서비스제공단계등AI의생애주기에따라리스크가달라질수있음

-실제서비스제공단계에서도범용성이높은생성AI시스템,특정문제해결에특화된판별AI시스템등AI의의도된목적,용례에따라리스크유형이상이

【AI유형·용례분류예시】

구분

개념

기획·개발

■(프로젝트기획)모델·시스템의범위및용례등AI의목적을정의하고,필요한데이터및오픈소스사용여부등을결정

■(데이터수집·전처리)AI목적달성에필요한학습데이터를수집하고,특징선택,특징추출,데이터통합등의전처리수행

■(모델학습)데이터를투입하여패턴,구조,배열등상관관계를학습

※데이터의추가투입에의한미세조정,도메인적응적학습등추가학습,개발과정에서의퓨샷러닝등맥락내학습,인적정렬,검색증강생성(RAG)등포함

서비스제공

■(생성AI)이용자의입력값과문맥등을활용하여텍스트,이미지,오디오,비디오등을생성하는시스템

■(판별AI)이용자의입력값을특정클래스로분류하거나점수를매김하여예측하는시스템

▸사람의평가및분류를수행하는시스템

※채용AI,신용평가AI,랭킹,사기탐지시스템(FDS),형사사법AI등

▸추천시스템

※AI기반개인맞춤형광고/추천등

▸사실의인지를수행하는시스템

※의료보조AI,자율주행차센서,생체인식정보인지AI등

-8-

2

용례에대응하는리스크의식별(mapping)

○식별한AI유형과용례에대응하는프라이버시리스크를식별

○이하예시에포함된AI의일반리스크와프라이버시리스크는AI생애주기및용례별리스크로서대표적으로고려될수있으나모든리스크를포괄하는것은아니므로자율적으로참고

【리스크맵핑방안예시】

구분

일반리스크

프라이버시리스크

기획·개발

■권리침해

(저작권,개인정보,DB권)

■적법하지않은학습데이터수집·이용

■AI학습데이터의부적절한보관·관리

■AI가치망의다양화에따른데이터흐름및정보주체권리보장책임복잡화

서비스제공

생성AI

■AI합성콘텐츠오용

■권리침해

■안보,보안문제

■학습데이터암기및개인정보유·노출※판별AI의리스크에도해당

■악의적AI합성콘텐츠로인한정보주체권리침해(정보주체의사에반하는생체정보이용등)

판별AI

사람의평가/분류

■편향,차별,품질편차

■불투명성

■자동화된결정으로인한정보주체권리약화

추천시스템

■프로파일링,정치적양극화

■대중감시및민감정보추론위협

사실의인지

■편향,품질편차

3

리스크의측정(measuring)

○기업·기관은적절한지표및측정도구를활용6)하여△리스크의발생확률,△리스크가실현되었을때조직·개인·사회에미치는결과의중대성등을정량적·정성적으로평가하고,△리스크의수용가능여부,

△우선순위등을판단

6)현재AI안전성측정도구·지표개발은전세계적으로초기단계이며,특히프라이버시리스크관련지표개발은더욱초기수준임.다만,국제기구및AI안전연구소등에서제공하는다음의AI안전성평가도구,방법론을참고할수있음

￭“Dioptra”(

/dioptra/

)-미국NIST는AI행정명령(E.O.14110)에따라AI소프트웨어평가플랫폼개발·공개

￭“CatalogueofTools&MetricsforTrustworthyAI”(

https://oecd.ai/en/catalogue/overview

)

-OECD는AI의안전성,투명성,공정성등의정성적,정량적측정도구/지표카탈로그제공중

￭“Anopen-sourceframeworkforlargelanguagemodelevaluations”(

.uk

)

-영국AI안전연구소(UKAISafetyInstitute)가개발하여오픈소스로공개한AI안전성평가플랫폼.핵심지식,추론능력및자율기능등다양한영역에서모델을평가하는데사용할수있음

￭“GuidetoRedTeamingMethodologyonAISafety”(

https://aisi.go.jp/assets/pdf/ai_safety_RT_v1.00_en.pdf

)

-일본AI안전연구소(JapanAISafetyInstitute)는AI시스템개발자및제공자가공격자의관점에서AI안전을평가하기위한레드팀방법론을발표

-9-

-리스크수용가능여부,우선순위에대한판단은개인정보보호법등관련법률및규제현황,사용되는데이터의민감성,조직의목표·문화·자원등경영환경,기술환경등을기반으로이루어질수있음

4

리스크경감방안의검토와도입(mitigation)

○리스크의식별·측정결과에따라리스크를경감하기위한기술적,관리적방안을검토하고도입

-관리적조치의경우식별된위험의주기적인측정및모니터링,결과의문서화,위험관리를위한담당조직구성·운영,조직내·외부피드백수렴·반영등을포함할수있음

-기술적조치의경우다양한프라이버시향상기술(PET)의도입을포함할수있으나이에한하지않음

참고

개인정보보호위원회

관련

정책연구

사례[부록]

◈개인정보위는한국어거대언어모델(LLM)을대상으로다양한프라이버시리스크경감기술의유형별효과를분석하기위해정책연구를수행하였음

※(연구명)’생성형AI관련프라이버시리스크경감기술평가연구‘,(연구기간)’24.5.~‘24.10.(연구기관)(주)제이씨레이다,경북대학교

.(연구내용)한국어LLM모델4종에대해중복제거(de-duplication),입출력필터링,섭동(perturbation),가지치기(pruning)기술을적용하고적용전후개인정보암기·재현정도를비교

.(주요결과)한국어언어모델에대해서도중복제거,입력·출력필터링,섭동,가지치기등의경감기술이유효하다는사실을확인

-다만,경감기술적용에도완전한암기리스크제거는어려우므로정보주체권리보장을위한추가적안전조치가필요하며,경감기술적용과AI모델의성능사이에유의미한상충관계(trade-off)가존재함을확인

.(의의및한계)선행연구가부족한한국어LLM모델대상프라이버시경감기술의효과성을실증함으로써과학에기반한AI프라이버시리스크관리정책·제도토대마련

-다만,한정된컴퓨팅자원(GPU)·예산·기간등으로실험조건및연구범위가제약된한계→본연구결과의일반적적용에한계가있고,후속연구를통한보완필요

-10-

붙임1

AI리스크관련글로벌논의현황

◈인공지능의급속한발전에따라AI안전을적절히관리하기위해AI리스크의체계적분류와과학적평가에대한전세계논의활발

-프라이버시리스크는글로벌격차심화,저작권침해,일자리대체등과함께시스템적리스크(systemicrisk)유형의하나로논의되고있음

□AI안전성정상회의(1차‘23.11.블레츨리,2차‘24.5.서울)

○주요국정상은AI안전성정상회의를통해AI의위험관리,인류와AI의공존을위한AI글로벌거버넌스형성에기여

※(참가국및조직)대한민국,영국,미국,캐나다,프랑스,일본등28개국,EU,UN,구글딥마인드,메타,오픈AI등기업대표등

-신뢰기반AI개발·사용,위험식별등AI안전성확보(1차회의),AI안전·혁신·포용향상(2차회의)에대한선언발표

-또한,‘첨단AI의안전성에관한국제과학보고서*’를공동으로발간하여개인정보보호위험등범용AI의잠재적위험을분류

*InternationalScientificReportontheSafetyofAdvancedAI(‘24.5.interimreport)

【범용AI위험분류】

리스크분류

악의적인사용위험

오작동으로인한위험

시스템적위험

교차위험요소

주요위험

■가짜콘텐츠로인한개인피해*,허위정보및여론조작,사이버범죄,이중사용과학위험

*피싱공격,딥페이크등개인의동의없는가짜·유해콘텐츠생성

■제품기능문제로인한위험,편향성(편견과과소대표로인한위험),통제력상실

■노동시장리스크,글로벌AI격차,시장집중위험및단일장애지점,환경에대한위험,개인정보보호에대한위험*,저작권침해

*적대적인입력사용시,모델에서개인에대한정보가포함된학습데이터추출가능

-민감한개인정보(건강,금융등)로학습된모델의경우,심각한개인정보유출가능

-민감한데이터를효과적·효율적으로검색하여개인정보를유추,남용할가능성

■기술적위험요소의교차차단,사회적위험요소의교차차단*

*기술발전속도와규제대응속도사이의불균형등

-11-

□G7히로시마프로세스

○G7정상회의(’23.5.)에서AI기술의잠재적인위험에대해국제규범을구체화하기위해‘히로시마AI프로세스’수립에합의

※(참가국)미국,일본,독일,영국,프랑스,이탈리아,캐나다,EU

-의장국(일본)이G7회원국을대상으로실시한설문조사결과(‘23.9.)G7회원국은프라이버시침해위험을생성AI의주요위험으로인식

【설문조사주요결과】

조사항목생성형AI의주요위험

생성형AI에관한

시급성,중요도에따른

원칙우선순위

순위결과

①허위정보및조작,②지적재산권침해,③프라이버시침해,

④편향성및차별성악화,⑤안전성위협,⑥사이버보안위협

①책임있는기술사용,②허위조작정보해결,③거버넌스,

④투명성촉진,⑤지식재산권보호

※(기타시급성)프라이버시및데이터거버넌스,인권및기본권등

-AI시스템개발위험관리를위한개발자행동강령*발표(’23.10.)

*AI생애주기위험관리,투명성.책임성강화,개인정보보호정책을포함한위험관리정책개발,개인데이터및지적재산보호등11개조치포함

□ML커먼스(MLCommons)AI안전벤치마크

○민간컨소시엄인ML커먼스*는대규모언어모델(LLM)의안전성테스트를위한벤치마크인‘AILuminate’**를개발

*(ML커먼스)AI기술의신뢰성,안전성,효율성구축을위해업계및학계연구자,엔지니어,실무자들로구성된컨소시엄으로(‘23년~),구글,메타,NVIDIA,삼성전자,네이버,퓨리오사AI등이회원으로참여

**(AILuminate)12가지위험범주에걸친24,000개이상의테스트프롬프트에대한LLM의응답을기반으로안전성을평가하는벤치마크(’24.12월V.1.0발표)

-AI안전벤치마크마련을위해AI의위험범주(hazardcategories)를12개로분류했으며,그중하나로프라이버시를포함

①아동성착취

②무차별무기(CBRNE)

③성관련범죄

④자살및자해

⑤폭력범죄

⑥명예훼손

⑦증오

⑧비폭력범죄

⑨지적재산권

⑩프라이버시

⑪성적콘텐츠

⑫전문조언

-12-

붙임2

지향되는리스크관리체계의원리

◈본모델을참고하여리스크관리체계를수립및시행하고자하는기업·기관은다음원리를고려하는것이권장됨

□맥락특유적접근(context-specificapproach)

○개별AI의용례와유형에따라개별맥락을고려하여리스크를식별·평가하여대응하는맞춤형·핀셋형접근을지향

※개별AI특성에대한고려없이일률적통제를가하는방식지양

□일관성(coherent)

○다만,일관되고정연한리스크관리를위해AI의용례들을처리단계및사람과의상호작용방식에따라유형화

□비례성(proportional),점진성(granular)

○리스크관리를위한통제강도는평가된리스크수준에비례하여점진적으로상향되도록설정

□원칙기반접근(principle-basedapproach)

○빠르게변화하는기술환경을고려하여개별기술에대해과도하게세세하게정하기보다는원칙중심으로관리하여기술중립성을견지

□측정가능성(measurable),비교가능성(commensurable)

○원칙기반접근을하더라도AI개발·서비스현장에서곧바로적용할수있는리스크의측정및경감수단을명확히마련

□이해관계자의참여(stakeholderparticipation)

○특히AI의활용에의하여영향을받는이해관계자,정보주체들과시민들의참여를보장하고적극적으로의견을수용

□상호운용성(interoperability)

○우리나라의문화적특성,다양성,포용성을담아내는범위내에서국제표준등과의상호운용성을확보

-13-

붙임3

AI리스크관리관련표준

□미국국립표준기술원(NIST),AIRMF1.0(2023)

○4단계(거버넌스,맵핑,측정,관리)의표준적인AI리스크관리체계제시

단계

I.

거버넌스(Govern)

II.맵핑(Map)

III.

측정

(Measure)

IV.

관리

(Manage)

주요내용

①조직내AI리스크의맵핑·측정·관리정책·절차·실무의마련,투명한공개,효과적시행

②적절한부서·개인들에게AI리스크의맵핑·측정·관리의권한·책임을부여하고교육을시행하여책임구조를마련

③생애주기에걸친AI리스크의맵핑·측정·관리에있어인력의다양·형평·포용·접근성절차를우선고려

④인사부서는AI리스크를고려하고효과적으로의사소통하는문화에헌신

⑤관련AI주체들과의견고한협력을위한절차마련

⑥제3자소프트웨어,데이터,기타가치망문제에서발생하는AI리스크/편익에대응하는정책·절차마련

①맥락(context)을설정·이해

②AI시스템의범주화이행

③AI의역량,타겟팅된사용,목표,예상편익·비용을적절한벤치마크(benchmark)와비교하여이해

④제3자소프트웨어,데이터를포함한모든AI시스템구성요소의리스크·편익을맵핑

⑤개인·그룹·커뮤니티·조직·사회에미치는영향을특성화

①적절한방법과측정지표를식별·적용

②AI시스템의신뢰성을평가

③식별된AI리스크를시간경과에따라추적하는메커니즘마련

④측정의효과에대한피드백을수집·평가

①맵핑·측정기능의평가및기타분석결과를기반으로AI리스크에우선순위를매기고대응·관리

②관련AI주체들로부터의입력을통해AI의편익을극대화하고부정적영향을최소화하는전략을계획·준비·시행·문서화

③제3자기관으로부터의AI리스크와편익을관리

④식별·측정된AI리스크에대한응답·복구·소통계획을포함한리스크처리를문서화,정기모니터링

□ISO/IEC42001:2023-정보기술-AI-관리시스템

○AI리스크관리시스템을다음과같이유형화

관리시스템

조직의맥락리더십

계획지원운용

성능평가개선

주요내용

■조직과그맥락의이해,이해관계자의필요와기대의이해,AI관리시스템의범위의결정,AI관리시스템

■리더십과전념,AI정책,역할·책임·권한

■리스크와기회를다루기위한조치들(AI리스크평가,AI리스크처치,AI시스템영향평가),AI관련목표와이들을달성하기위한계획,변화의계획

■리소스,역량,인식,소통,정보의문서화

■운용계획및관리,AI리스크평가,AI리스크처치,AI시스템영향평가

■모니터링/측정/분석/평가,내부감사,경영검토

■지속적개선,부적합성과시정조치

-14-

Ⅲ.리스크의식별

1

기획·개발단계

口개요

□AI시스템기획·개발단계는AI시스템의구체적인목적설정,목적달성에필요한데이터수집기준마련,사용할AI모델및시스템구성방안설정,모델학습등이이루어지는단계로서,

○PbD(PrivacybyDesign)*원칙을기반으로AI의전체생애주기에걸친리스크관리체계의토대를마련하는단계임

*PrivacybyDesign:제품·서비스개발시기획단계부터개인정보처리의전체생애주기에걸쳐이용자의프라이버시를고려한기술·정책을설계에반영하는원리

【기획·개발단계에서고려할수있는사항】

구분

주요내용

예측시스템

(목적)미래결과예측(예:주가예측,수요예측등)(데이터)시계열데이터

(모델아키텍처)회귀분석,순환신경망(RNN),트랜스포머등(프라이버시리스크)이용자소비성향등행동패턴노출위험

분류시스템

(목적)주어진데이터를특정범주로분류(예:스팸필터링,질병진단,이미지분류등)(데이터)라벨이있는데이터셋(예:이메일텍스트,이미지데이터등)

(모델아키텍처)로지스틱회귀,의사결정나무,합성곱신경망등

(프라이버시리스크)분류의기초가되는개인이메일·건강기록등민감정보유·노출

추천시스템

(목적)이용자의취향에맞는항목추천(예:영화,음악,쇼핑추천등)(데이터)이용자프로필데이터,과거대화이력데이터등

(모델아키텍처)컨텐츠기반필터링,강화학습을활용한추천모델등(프라이버시리스크)맞춤형추천과정에서의민감정보프로파일링우려

자연어시스템

(목적)텍스트데이터이해및생성(예:채팅봇,번역기,감정분석등)(데이터)텍스트데이터(예:채팅기록,뉴스기사,리뷰데이터등)(모델아키텍처)트랜스포머기반의BERT,GPT모델등

(프라이버시리스크)민감정보의노출,감정예측과정에서의심리상태노출

컴퓨터비전시스템

(목적)이미지또는영상데이터이해및분석(예:얼굴인식,자율주행등)(데이터)이미지,영상데이터,라벨링데이터

(모델아키텍처)CNN,R-CNN,트랜스포머기반모델등(프라이버시리스크)안면인식통한식별,감시위험

□AI모델은AI시스템의핵심구성요소로서,컴퓨터가대규모데이터를통해데이터의패턴,구조,배열등통계적상관관계를파악하는AI학습과정을통해개발7)

-15-

○학습데이터는AI모델·시스템의의도된목적등에따라공개된데이터,이용자데이터,제3자제공데이터,자체생성데이터등으로구성되며개인정보가포함될가능성이큼

□학습데이터에포함된개인정보는토큰화,임베딩등압축·변환과정에서일종의집합화(aggregation)가이루어져개인식별성이낮아지는특성이있음

○또한,AI시스템은반드시AI모델만으로구성되는것은아니고사용자인터페이스,입력·출력처리시스템,기타요소(검색증강생성*등)등여러구성요소를통해개발·운영됨

*RAG(Retrieval-AugmentedGeneration):생성모델과검색엔진을통합하여사용자질의와관련된데이터베이스검색결과를프롬프트보강에활용해답변을생성하는방식

○따라서AI시스템이배포되어데이터입력·출력단계에이르기전까지는AI모델개발자체로리스크가현실화된다고단정할수없음

○다만,학습데이터에개인정보가포함된경우학습데이터의수집및이용은개인정보처리에해당하므로AI모델·시스템개발자는모델학습단계의리스크를관리할필요

□한편,AI학습에막대한컴퓨팅및데이터자원이요구됨에따라자체개발AI모델대신오픈소스,API8)형태의타사AI모델활용활발

○이는개인정보의불필요한이전,목적外이용,안전성미흡등으로이어질우려가있으므로기획단계에서부터사업자간책임분배등을사전검토할필요

7)범용AI모델은주로자기지도학습(self-supervisedlearning)방식을통해대규모데이터로사전훈련된모델로서, 미세조정(fine-tuning),도메인적응훈련(domainadaptivelearning;DAL)등추가적학습을거쳐다양한하류 작업을위해적응됨.특정작업을위한AI모델의학습은전통적인지도학습,비지도학습,강화학습방식으로훈련됨.￭지도학습(supervisedlearning):AI가레이블된데이터를통해학습하는방법으로,AI응용분야에서가장널리사용됨￭비지도학습(unsupervisedlearning):AI가레이블이없는데이터를통해학습하는방법으로,복잡하고대량의데이터

에서숨겨진패턴·구조등을찾는데유용함

￭자기지도학습(self-supervisedlearning):AI가데이터간의관계성을기반으로데이터의레이블을스스로획득해학습하는방식으로서,데이터의특정부분을다른부분으로부터예측또는복구하는작업에유용

￭강화학습(reinforcementlearning):AI가주어진환경에서행동을선택하고그결과로서‘보상’이나‘처벌’을받도록함으로써AI가더나은행동을선택하도록유도

8)OpenSource:소스코드가플랫폼(AI분야의허깅페이스등)등을통해공개되어있어누구나자유롭게사용,수정,배포할수있는소프트웨어를의미(다만,오픈소스라이선스에따라일부제한이있을수있음).비용절감,투명성,개발자커뮤니티에의한지속적수정등장점이있으나,소스코드가공개되어있어소스코드취약점을악용한공격에노출될가능성이있으며,문제발생시공식적기술지원이부족할수있음.

API(ApplicationProgrammingInterface):서로다른소프트웨어가상호작용할수있도록정의된인터페이스.소스코드는공개되지않으나,API호출을통해특정서비스또는정보를제공받을수있음.개발효율성향상,API제공사의지속적유지보수등장점이있으나,서비스개발비용(유료의경우),외부종속성등이증가할수있음.

-16-

@리스크유형

a적법하지않은학습데이터수집·이용

○학습데이터의규모는모델성능에직접적인영향을미치기때문에AI기술의발전·확산은대규모개인정보수집·이용필요성을확대

-이는개인정보수집·이용의적법성확보(法제15조,제17조,제18조등)등기업의법준수리스크를확대하고,목적명확성,최소수집원칙,사생활침해최소화,파기등개인정보보호원칙구현을어렵게함

○AI학습데이터는▲공개된정보를수집하는방안,▲既보유한데이터를AI학습목적으로재사용하는방안,▲동의·계약등에기반하여정보주체로부터직접수집하는방안,▲협력사등제3자에게제공받는방안등다양한형태로수집·이용되고있음

-한편,AI학습데이터의규모,종류,주된수집출처등은AI모델의개발단계,학습목적에따라상이

※(예)▲거대언어모형(LLM)등기반모델성격의모델개발→대규모학습데이터가요구되므로웹스크래핑데이터등을활용,▲LLM의미세조정→목적에따라비교적소규모학습데이터가요구되므로직접구축한데이터등활용

○AI모델·시스템개발자는학습데이터수집출처별로개인정보수집·이용의적법성을확보했는지를확인하고,정보주체에게필요한투명성을제공하기위해노력해야함

※(1)AI모델미세조정,도메인적응적학습(DAL)등추가학습,(2)개발과정에서의퓨샷러닝등문맥내학습(in-contextlearning),(3)인적정렬(alignment),(4)검색증강생성(RAG)등을거쳐모델을사용하고자하는AI시스템개발자는추가투입한데이터에대하여적법성확인

-특히,개인정보보호법에서특별히보호하고있는민감정보,고유식별정보,주민등록번호,계좌정보·신용카드정보,만14세미만아동의개인정보가포함되는경우별도검토필요(法제22조의2,제23조,제24조,제24조의2,제34조의2등)

※학습데이터수집출처에따라상기데이터가포함될개연성이높다고판단될경우,사전학습단계에서보다강화된안전조치를취할필요

(△개인식별정보제거,△개인정보보호위원회·한국인터넷진흥원등에서제공하는‘한국정보주체의개인정보노출페이지(URL)’에대한웹크롤링배제등)

-17-

붙임4

AI학습데이터수집·이용의적법근거예시

◈대표적으로AI학습수요가높은공개된개인정보,이용자데이터의AI학습목적수집·이용적법성은다음의예시를참고할수있음

□웹스크래핑데이터등공개된개인정보

○공개된개인정보는누구나합법적으로접근가능한개인정보로서,주로AI학습을위해웹스크래핑기술을이용하여공개적으로접근가능한출처에서수집한데이터셋에개인정보가포함된경우를의미

-정보주체스스로공개한개인정보에국한된것은아니며,법령에의해공시·공개된개인정보,출판물,방송매체등에포함된개인정보도포함

○(적법근거)AI개발의구체적맥락을고려할수있는정당한이익조항(法제15조제1항제6호)이실질적인적법근거가될수있음

※구체적내용은「AI개발·서비스를위한공개된개인정보처리안내서」(’24.7.)참고

-‘정당한이익’이인정되기위해서는△목적의정당성,△처리의필요성,△구체적이익형량세가지요건을충족해야함

(제6호)개인정보처리자의정당한이익을달성하기위하여필요한경우로서명백하게정보주체의권리보다우선하는경우.이경우개인정보처리자의정당한이익과상당한관련이있고합리적인범위를초과하지아니하는경우에한한다.

요건

주요내용

목적의정당성

처리의필요성

구체적이익형량

.개인정보처리자의정당한이익의존재

-공개된개인정보처리를통해개발하려는AI의목적·용도를구체화하여정당한이익을명확화

※(예)의료진단보조,신용평가,텍스트생성·분류·번역등을수행하는LLM등

.공개된개인정보수집·이용의필요성과상당성·합리성이인정될것

※(예)의료진단보조AI개발시개인의소득·재산등관련없는정보는학습배제

.개인정보처리자의정당한이익이정보주체권리에명백히우선

-‘명백성’요건충족을위해(i)정보주체권익침해방지를위한안전성확보조치및(ii)정보주체권리보장방안마련·시행을통해개인정보처리자이익이우선하도록조치

-18-

□이용자개인정보

○서비스제공과정에서적법하게수집된계정정보(ID,연락처등),이용자콘텐츠(개인정보포함입력프롬프트등),개인정보에해당하는행태정보등이용자개인정보의경우에도적법근거를갖출경우활용가능

-특히AI환경에서는기존AI서비스의개선,신규AI서비스개발등다양한목적의이용자개인정보활용수요존재

○(적법근거)기업ㆍ기관등은당초수집한목적과의관련성을기준으로자체평가를거쳐자율적으로적법근거를선택하여운용가능

-서비스개선등당초수집목적범위안에있는경우에는이용자개인정보를AI학습·기술연구·통계작성등에이용할수있음

사례

온라인플랫폼사업자가자사플랫폼을이용하는사업자의부정행위

방지및정상적인이용자의이익보호를위하여수집한기존보유이용기록등을AI기술을도입한부정행위탐지시스템(FDS)운영에이용할수있음

-당초수집목적과합리적관련성*이있는신규서비스개발의경우,추가적이용(법§15③)을적법근거로검토할수있음

*예:특정AI개발이당초서비스,해당이용자편익과연결되는경우합리적관련성인정

사례

당초쇼핑몰서비스이용계약을체결한회원을대상으로효율적인AS

상담을제공하기위해기존보유한서비스이용정보를AI챗봇상담기능개발에이용하는경우합리적관련성이인정될여지가있음

-당초서비스와별개의신규서비스개발목적으로AI학습을하려는경우에는가명처리(법§28의2)또는별도동의(법§15①(1))후이용

사례

특정질병을진단또는보조하는의료AI연구개발을위해병원이보유한

MRI,CT,X-Ray사진,영상을가명처리후학습데이터로이용하는경우

◆개인정보위는이용자개인정보를AI모델학습등에활용하고자할때적용할수있는적법근거해석기준을향후구체화,안내할예정임

-19-

@학습데이터의부적절한보관·관리

○학습데이터를보관하는서버등이보안에취약하거나,학습데이터에대한접근권한제한및접근통제를위한조치가미흡할경우유출등개인정보침해위협*이조직내·외부에존재할수있음

*(내부)접근권한이없는내부직원이학습데이터서버에접근하여개인정보유출,부적절한데이터분리·보관으로인한개인정보결합및개인식별위험등

(외부)학습데이터서버에백도어가삽입되어악의적인공격자가서버에접근

○학습데이터셋은일반적으로그규모가방대하여유출시다수의개인에게중대한영향을미칠수있어안전한보관·관리가요구됨

圆AI가치망의데이터흐름의복잡화

○AI시스템을개발·운영하는과정에서특정기능을구현하기위하여타사AI모델을API등을통해이용하는경우,개인정보를포함한입력프롬프트등이타사로이전되어처리될수있으며,

-이경우,개인정보처리업무의위탁(法제26조)및개인정보의국외이전(法제28조의8)등에해당하는지검토하고관련규율준수필요

사례AI서비스운영을위한개인정보처리업무위탁및개인정보국외이전사례

‣SKT는에이닷서비스를통해데이터요약등의기능을제공하기위하여MS에개인정보처리를위탁(AzureOpenAI서비스*사용)하고,통역콜기능제공을위해Googlecloudplatform과네이버클라우드주식회사에개인정보처리를위탁

*MS가Azure에호스팅된서비스의프라이빗인스턴스를통해프라이빗API호출로OpenAI의AI모델에대한엑세스를제공하는서비스

※(참고)제3자제공과처리위탁의구분(대법원2017.7.4.선고2016도13263판결中)

‣(제3자제공)본래의개인정보수집·이용목적의범위를넘어정보를제공받는자의업무처리와이익을위하여개인정보가이전되는경우(法제17조적용)

‣(처리위탁)본래의개인정보수집·이용목적과관련된위탁자본인의업무처리와이익을위하여개인정보가이전되는경우(法제26조적용)

-수탁자는위탁자로부터위탁사무처리에따른대가를지급받는것외에는개인정보처리에관하여독자적인이익을가지지않고,정보제공자의관리·감독아래위탁받은범위내에서만개인정보를처리

-20-

田AI가치망의정보주체권리보장책임복잡화

○AI가치망참여자*의다양화는최종AI서비스에대한관리책임(안전조치등)과정보주체권리보장책임을모호하고복잡하게할우려

*▲AI모델을개발하여배포하거나자체사용하는자,▲타사모델을호스팅하는자(예:MS의AzureOpenAIservice)▲오픈소스,API등을통해타사모델을사용하여최종AI시스템을개발·배포하는자등을포함

-AI가치망참여자간적절한역할분배및실행이보장되지않을경우정보주체권리침해및서비스에대한신뢰하락으로이어질수있음

○참여자별로취할수있는AI위험관리·완화조치,정보주체의권리행사지원방안,리스크통제범위가다를수있으며서로영향을끼칠수있으므로면밀한검토필요

2

서비스제공단계

Φ개요

□학습등을거쳐개발완료된AI시스템은배포이후사람과의상호작용을통해다양한맥락(context)에서활용됨

○AI시스템의활용영역은지속확장되고있으며,AI시스템결과의영향도단순보조를넘어완전자동화9)에이르기까지확대되고있음

□AI시스템은AI기반제품,서비스제공을위해이용자로부터데이터를입력받아합성콘텐츠,평가·분류결과등AI모델의추론결과를출력하며,이과정에서정보주체의권리침해가현실화될수있음

○AI시스템의입력데이터,출력데이터에는이용자의사생활등민감한정보가포함되어있거나,정보주체가예측하지못한방식으로수집·추론된개인정보가포함되어있을수있음

9)AI시스템은인간에가까운인지능력으로목표를달성하기위한조치를자율적으로결정·실행하여사람의감독을최소화하는방향으로진화중

※(예)자율적으로상황을분석하여결제,예약등인간의사무를대행하는AI에이전트(AIAgent)의개발등

-21-

□다만,모든AI시스템이동질적인프라이버시리스크를갖는것은아니며AI시스템의목적과출력에따라상이하므로개별검토필요

○텍스트·이미지·영상등합성콘텐츠를출력하는생성형AI시스템의경우출력된합성콘텐츠그자체에개인정보가유·노출되거나,합성콘텐츠의오용으로인해정보주체권리가침해될수있음

○정보에기반한평가·분류·인지결과를출력하는판별AI의경우추론을위한과도하거나부적법한개인정보의수집·이용,AI의블랙박스특성*에서기인하는투명성약화등의이슈가존재

*인공신경망의구조적복잡성으로인해AI의예측이어떤논리·과정을통해도출되었는지파악하기어려운특성

□한편,AI시스템은배포이후에도추가학습,기능업데이트등을통해지속적으로수정·보완될수있으며,

○이경우,학습데이터수집·이용의적법성확보등AI시스템기획·개발단계에서검토한리스크를재검토하는등의노력필요

참고

AI시스템의배포전후개념도10)

10)OECD,"WhatisAI?Canyou