신뢰 가능한 인공지능(Trustworthy AI) 제대로 훑기
인공지능(이하 AI)을 바라보는 각양각색의 시선과 함께 전 세계적으로 ‘신뢰 가능한 AI(Trustworthy AI)’에 대한 개념이 빈번하게 거론되고 있습니다. 저희 스켈터랩스 디자인팀 또한 국제적 흐름을 사전에 대비하고, 제품 및 서비스 관점에서 적용할 수 있는 방안에 대한 고민을 지속하고 있습니다.
이번 글에서는 산업계에 조금이나마 보탬이 되고자 저희가 스터디한 신뢰 가능한 AI가 무엇인지, 대표적인 가이드라인과 주요 테크 기업의 동향을 소개해 드리겠습니다.
*주관은 최소한으로 개입하여 조사한 내용들로 구성하였습니다.
1. 인공지능 모델의 윤리적 딜레마
미완성된 AI 모델의 오류로 인해 사회는 윤리적 딜레마를 겪어왔습니다. 대표적으로 아마존의 편향된 채용 시스템, 마이크로소프트의 AI 채팅봇 테이(Tay)와 국내의 이루다 등 사회적으로 큰 논쟁거리가 되었던 사례들이 존재합니다.
직접적인 차별이나 부당함으로 비치는 AI의 편향을 방지하고 대응하기 위해서는 주요 원인에 대한 이해가 필요합니다. 포브스(Forbes)는 기계학습에서 편향성을 발생시키는 주요 원인을 아래와 같이 크게 다섯 가지로 구분해 소개하기도 하였습니다.
첫 번째 Human Bias는 인간의 편향이 개입된 사례입니다. ‘충분한 불빛’이 부족하다며 흑인 얼굴을 인식하지 못해 부정행위로 오인한 AI 서비스가 미국 변호사 모의시험(UBE Mock Test)을 치르지 못하게 했습니다. 두 번째 Hidden Bias 같은 경우 판단에 직접적인 근거가 되는 특징이 데이터에 포함되지 않아 알 수 없는 이유로 적합한 면접자가 탈락하기도 하였습니다. (참고)
이 밖에도 특정 성별이 자주 사용하는 단어나 정보로 인해 채용 과정에서 Data Sampling Bias가 발생했으며 Long-tail Bias나 Intentional Bias도 AI 도입에 앞서 주의해야 하는 대표적인 사례입니다. 이러한 사례들은 자연스레 잠재적 위험성을 가진 AI에 대한 의심을 증폭시켰죠.
발전하고 있는 인공지능의 목적
학계에서는 이전부터 이러한 AI 기술이 갖게 되는 부작용을 최소화하기 위한 논의를 지속했고, 적절한 호칭을 정해왔습니다. 이에 따라 그 개념과 접근 방식도 달라졌습니다.
AI의 목적은 우리 사회의 목적에 맞춰야 한다고 주장한 2001년 ‘우호적인 인공지능(Friendly AI)’으로 시작해 2015년 ‘유익한 인공지능(Beneficial AI)’ 그리고 2019년 EU를 중심으로 대두된 ‘신뢰 가능한 인공지능(Trustworthy AI)’으로 발전해왔습니다. (참고)
발전하게 된 배경을 살펴보겠습니다. 가장 먼저 우호적 임의 기준이 되는 우리 사회 목적에 대해 어떻게 채택하고 정의할 것인지에 대한 방향성이 모호하다는 문제가 제기됩니다. 이를 보완하기 위해 미국 보스턴의 연구단체인 생명의미래연구소(FLI)를 중심으로 ‘우호적인 인공지능’ 보다 명확하고 세세한 원칙 정의가 가능한 ‘유익한 인공지능’에 대한 연구가 진행되었습니다.
그러나 계속되는 부작용과 더불어 다소 포괄적인 원칙 중심 개념이었던 ‘유익한 인공지능’ 보다도 더욱 체계화된 개념이 필요해졌습니다. 이러한 흐름에 따라 최종 사용자인 인간에게 실현 가능한 ‘신뢰 가능한 인공지능’이 그 다음 단계로 주목받게 된 것입니다.
신뢰 가능한 AI는 이렇듯 현재의 발전 속도를 지속하되 부작용은 최소화하여 우리의 삶을 더 이롭게 하는 새로운 접근 방식으로 부상하였습니다.
2. 신뢰 가능한 AI 가이드라인
세계 주요국의 다양한 정부와 기업, 국제 기구는 AI 융합‧확산 과정에서의 부작용을 최소화 하기 위한 대책을 마련하고 있습니다. 아래의 타임라인 외에도 최근 몇 년 동안 발표된 가이드라인과 원칙만 수십여개가 됩니다.
궁극적으로, AI의 신뢰성을 위한 윤리 기준의 의의는 다양한 이해관계자가 참여할 수 있는 거버넌스와 프레임워크 적용에 두고 있습니다.
대표적으로 단순 원칙이 아닌 구체적인 실천 수단을 마련해 체계성이 돋보이는 유럽연합 집행위원회(EU)와 최초로 국제기구 차원에서 수립된 경제협력기구(OECD) 그리고 국내의 과학기술정보통신부는 이러한 흐름 속에서 어떻게 대응하고 있는지 개괄해보겠습니다.
2–1. 유럽연합 집행위원회(EU) AI 윤리 가이드라인
-인간의 기본권에 뿌리를 둔 7가지 구현 방안과 실행 방법
EU의 AI 윤리 가이드라인이 체계적이라고 평가받는데에는 준수해야 하는 기본 원칙과 가치에서 구현 방안 그리고 이에 대한 평가 방향까지 제시하고 있기 때문입니다.
좀 더 자세히 살펴볼까요? 인간의 기본권 존중(인간의 존엄성, 개인의 자유, 평등, 비차별)을 AI 개발의 가장 기본적인 원칙으로 삼는것을 시작으로 신뢰할 만한 AI의 속성으로 적법성, 윤리성, 견고성을 제안하고 있습니다.
EU는 3가지 필수 요소가 시스템의 전 주기에서 만족되어야 한다고 합니다. 이 중에서도 사실상 첫 번째 요소인 적법성은 이미 국제적 수준에서 많은 규정이 적용되거나 관련되고 있기 때문에 두 번째와 세 번째 요소에 집중하고 있습니다.
결국 AI 시스템을 신뢰할 수 있으려면 의도치 않은 피해를 대비하는 안전장치까지 준비되어야 하는데요, 때문에 윤리적이고 견고한 AI는 밀접하게 관련되어서 서로를 보완해야 한다고 합니다.
더불어 신뢰할 수 있는 AI 시스템이 보장될 수 있도록 4가지 가치를 기반으로 하는 7가지 구현 방안과 실행을 가능케 하는 기술, 비기술적 방법까지 구체적으로 제시하고 있습니다.
-AI 윤리 가이드라인 자가 평가 서비스, ALTAI(The Assessment List for Trustworthy Artificial Intelligence)
EU는 가이드라인 제시에 그치지 않고, ALTAI 서비스를 통해 140여가지 되는 항목들이 AI 개발 수명 주기에서 잘 충족되고 있는지 확인할 수 있게 하였습니다.
단, 이와 같은 가이드라인이 지침을 제공한다고 해도 언제든 윤리적 딜레마가 발생할 수 있습니다. 가령 ‘예측적 치안(Predictive Policing) 알고리즘’ 사례와 같은 치안을 위한 피해 방지 가치와 프라이버시 침해로 인한 자율성 존중가치가 상충되는 상황이 충분히 발생할 수 있습니다. 때문에 EU는 이를 인지하고 절충점을 찾아 해결하라고 가이드합니다.
2–2. 경제협력개발기구(OECD) AI 권고안
세계 42개국이 만장일치로 채택한 OECD AI 권고안은 유럽 연합의 윤리 원칙과 크게 다르지 않은 ‘5가지 일반 원칙’과 더불어 ‘5가지 정책 권고 사항’을 통해 신뢰가능한 AI에 관한 구체적인 정책 개발을 촉진하고 있습니다.
더불어 AI 정책 관측소(OECD AI Policy Observatory)의 실시간 대시보드를 통해 인공지능으로 인해 발생하는 이슈나 연구 개발 현황을 지속적으로 살피며 신뢰가능한 인공지능에 대한 국제적 합을 맞추는데에 집중하고 있습니다.
그뿐만 아니라 디지털 페이퍼를 발행해 접근 방향별(기술, 운영, 교육 등)로 분석할 수 있는 각국의 툴을 한데 모아 취사선택할 수 있게끔 하고 있으니 관심 있으신 분들은 더 들여다보시길 추천해 드립니다.
요약하자면 OECD의 권고안은 국제적 활용 격차를 줄여 세계 각국의 AI로 인한 부작용과 사회적 갈등을 해결하는데에 목표를 두며 아래와 같은 특징을 갖고 있다고 할 수 있겠습니다.
- 통일성: 최초로 국제 수준의 합의가 이루어진 권고안으로 높은 영향력
- 지속가능성: AI 정책 관측소를 마련해 여러 기구와의 협력을 통해 지속적으로 관리, 지원
- 실현성: 접근 방향별 비교할 수 있는 전 세계의 프레임워크 툴 큐레이션
2–3. 과학기술정보통신부 AI 윤리기준
우리나라도 이러한 OECD AI 권고안에 대한 적극적인 후속 대응을 하고 있습니다. 과학기술정보통신부(이하 과기정통부)에서는 글로벌 추세에 맞춰 윤리 기준의 최고 가치를 인간성으로 설정하고, 가이드와 지침을 통해 실천 방안을 구체화함에 이어 AI 편향성을 진단하고 문제를 제거할 수 있는 기술 개발을 추진하고 있습니다.
과기정통부의 AI 윤리기준은 인간 존엄성,사회의 공공선, 기술의 합목적성의 세 가지 원칙에 근거를 두며 이를 보장하기 위해 준수해야 하는 10대 요건으로 구성하고 있습니다. 또한 구현 환경을 조성하기 위해 제품 및 서비스 구현 단계에 따른 개발 가이드북, 검증 체계, 인증과 같은 신뢰를 확보할 수 있는 기준과 방법론을 제시하였습니다.
실천하기 위한 노력들
지난 11월에는 ‘자율점검표 초안’을 발표하며 윤리기준이 구체화된 표를 통해AI 서비스 기획 과정에 참여하는 모든 주체가 핵심 요건을 실천할 수 있도록 하였습니다.
이 외에도 AI ‘개발 가이드북’을 통해 개발 단계에서 참고할 수 있는 기술적 요구사항과 검증 항목 및 방법을 확인할 수 있도록 하였고, 교육 콘텐츠를 통한 윤리 교육 강화 계획을 지속하고 있다고 발표하였습니다.
신뢰성을 위한 가이드라인의 교집합, ‘투명성 원칙’
흥미롭게도 위의 세 가지 사례 모두 AI 윤리 원칙 발표에 이어 순차적으로 구체적인 실천 수단을 마련하는 모습을 보이고 있습니다.
하버드 버크만 센터(Harvard Berkman Center)의 주요 가이드라인을 비교 분석한 백서에 따르면 AI 원칙과 가이드라인 관련 문서의 94%가 ‘투명성 원칙’ 을 포함하고 있다고 합니다.(참고)
AI의 투명성은 결과의 원인을 판단할 수 없는 문제를 개선하는 수단이 되어 여러 상황에 기여합니다. 가령 알고리즘을 설명할 수 없거나, 학습 데이터의 편향을 파악하지 못했거나 모델의 가시성 부족함 등이 이에 해당합니다.
결국 투명성의 원칙을 실제 기술로 구현하기 위해서는 사람들이 이해하고 스스로 결정할 수 있게 언제, 어디서, 어떻게 사용 되었는지에 대한 정보를 제공해야 합니다. 주요 테크 기업들은 이러한 알고리즘의 태생적 불완전성을 프레임워크 개발로 대응하고 있습니다. 대표적으로 마이크로소프트, 구글, IBM의 사례를 소개해드리겠습니다.
3. 주요 테크 기업은 어떻게 대처하고 있을까
3–1. 마이크로소프트의 Transparency note와 Interpret ML Toolkit
-투명성 노트(Transparency note)
마이크로소프트는 의도한 목적에 적합한 AI 시스템을 만들기 위해선 기술이 작동하는 방법과 역량, 그리고 한계치의 성능을 달성하는 방법에 대한 이해가 필요함을 강조하고 있습니다.
“Creating a system that is fit for its intended purpose requires an understanding of how the technology works, its capabilities and limitations, and how to achieve the best performance.” — Transparency note.
이를 위한 투명성 노트는 사람들이 AI 기술이 작동하는 방법을 이해하고 시스템 소유자가 전 주기에서 책임감 있게 사용하기 위한 고려사항과 개념 및 사례, 지침, 행동강령으로 구성되어 마이크로소프트가 지향하는 바를 잘 담아내고 있습니다.
-Interpret ML Toolkit
일반적으로 머신러닝 모델이 설명이 잘 됨과 동시에 높은 성능을 가지는게 어렵다고 합니다. 인터프릿ML 툴킷은 이를 보완하기 위한 해석 가능한 Glassbox 모델을 학습시켜 Blackbox 시스템을 설명할 수 있도록 지원하였습니다.
쉽게 말해 모델 동작 방식이나 예측 결과를 이해할 수 있는 오픈소스 패키지로 이를 통해 다른 모델이 산출한 설명을 비교, 대조할 수 있으며 모델 디버깅이나 인간-AI 협력이 필요한 경우 등 필수 활용 케이스를 제안하고 있습니다.
3–2.구글의 Model Card와 Toolkit
구글은 모델카드(Model Card)에 대해 AI 투명성이 공익이어야 하며 다양한 목소리로 발전되어야 한다고 강조합니다. 전문가와 비전문가 모두를 대상으로 편향성을 최소화하겠다는 목적을 가지고 있어, 이를 위해 특정 기술에 대한 소개와 더불어 실제로 구현하기 위한 가이드와 데모를 전문성의 경계 없이 접할 수 있도록 구성하고 있습니다.
일반적으로 꽤나 많은 시간과 노력이 들어가는 모델 카드 작성은 머신러닝 실무자들의 몫이라고 합니다. 모델 카드 툴킷은 이러한 프로세스를 간소화하여 개발자가 해당 툴킷에 간단한 정보만 입력하면 시각화된 템플릿으로 모델 측정법, 윤리적 고려 사항 등의 추가 정보를 확인할 수 있도록 지원한다고 합니다. 보다 많은 개발자가 모델의 편향성을 진단하고 보완하는데 시간을 할애할 수 있도록 기대해볼 수 있을 것 같습니다.
3–3. IBM의 AI FactSheets, 360 툴킷 시리즈
IBM은 AI 팩트시트(Fact Sheets) 툴을 식료품 겉면에 표시된 영양성분표로 비유하며 기업이 알고리즘 자체를 공개하지 않더라도 결과의 영향을 받는 소비자에게 설명할 수 있어야 함을 강조하였습니다.
AI 팩트시트는 다양한 분야의 관계자가 AI 수명 주기 전반에 걸친 모델의 팩트를 수집할 수 있도록 하는것을 목적으로 합니다. 소비자가 모델이 자신의 상황에 적합한지 결정할 수 있도록 템플릿과 가이드라인을 통해 데이터를 적절하게 활용했는지, 방향성이 명확한지 등과 같은 정보를 상세하게 담고 있음을 확인할 수 있습니다.
IBM은 리서치팀은 이 외에도 6가지의 360 툴킷 시리즈로 AI 시스템이 설명 가능하고 사회의 가치에 부합할 수 있는 다양한 접근 방식을 연구하고 있는데요, 각 툴킷별 데모 혹은 예제들로 누구나 경험해볼 수 있게 하였습니다.
다만, 이러한 툴을 활용한 AI 모델도 편향성이 일체 없음을 보장하진 않으며 이미 알려진 편향과 부당함을 최소화할 수 있는 툴과 기술적인 프로세스의 적극 사용을 권고한다며 어쩔 수 없는 기술의 한계와 범용적인 의식 개선에 목소리를 냈습니다.
마치며
효율만 고려한 AI는 그만, 이제는 돌아보아야 할 때.
IT 컨설팅 회사 캡제미니(CapGemini)의 ‘인공지능과 윤리의 난제’ 설문조사에 따르면, 90%의 기업이 AI 도입으로 인한 윤리적 문제를 겪었으며 45%의 소비자가 부정적인 AI를 경험하고 비추천 했다고 합니다.
조사 내용 중 핵심적이라고 생각하는 문장을 추려서 정리해드리겠습니다.
1. 신뢰 가능한 AI 개념은 현재의 발전 속도는 지속하되 부작용은 최소화하여 우리의 삶을 더 이롭게 한다는 목적 아래 부상한 접근 방식입니다.
2. 단순한 원칙 중심에서 나아가 실제 거버넌스와 프레임워크에 AI 신뢰성을 적용하기 위한 세계 각국 산업계의 노력이 지속되고 있습니다.
3. 주요 테크 기업은 투명성을 위한 개발 지침과 툴킷을 범용적으로 배포해 실질적인 대안책을 마련하고 있습니다.
급진적으로 효율만 고려한 AI의 도입은 우리에게 양날의 검으로 돌아왔습니다. 이번 조사 내용을 정리하며 저희 스켈터랩스 뿐만 아니라 동일 산업계의 모든 인원이 경각심을 갖고 다시금 AI 시스템 내부를 살피며 사람-기계의 상호 신뢰 관계 구축을 위한 방법을 모색해야 할 때가 아닐까 생각해볼 수 있었습니다.
/
참고 문헌
Paper
AI and the Ethical Conundrum-Cagemini
NAVER-SAPI AI REPORT 2021
유럽의 인공지능 윤리정책 현황과 시사점
신뢰 가능 AI 구현을 위한 정책 방향 -OECD AI 권고안을 중심으로 -
EU 인공지능(AI) 윤리 가이드라인 연구-김창화
인공지능 신뢰성 제고를 위한 공개 정책세미나
GitHub
MS InterpretML — Alpha Release
Google Model Card Toolkit
Article
How AI Can Go Terribly Wrong: 5 Biases That Create Failure
인공지능의 실수? 세계 곳곳서 대입, 수험 공정성 논란
인간과 인공지능(AI)의 공존을 위한 사회‧윤리적 쟁점- 한국과학기술정보연구원
신뢰받는 AI는 AI 거버넌스에서 시작
Google tackles the black box problem with Explainable AI
바티칸 AI윤리 ‘Rome Call for AI Ethics’제안
[XAI] EBM(Explainable Boosting Machine) 알고리즘 소개
“인공지능 신뢰성 확보해야” 공개세미나 개최
