[AI News #06] AI Seoul Summit

 

최근 몇 년간 인공지능(AI) 기술이 급속도로 발전하면서 우리의 삶을 편리하게 해주고 있지만, 이와 동시에 AI의 오용 또는 오작동으로 인한 위험성에 우려를 표하는 목소리도 늘어나고 있다. 생성형 AI로 정치인의 사진을 만들어서 가짜뉴스를

퍼뜨린다던가, 챗봇의 답변이 인종 또는 성차별적 경우 등이 그 예시이다. 이러한 이유로 AI의 안전성과 관련된 논의가 활발히 이루어지고 있으며, AI 거버넌스에 대한 관심이 높아지고 있다.

 

AI 거버넌스는 AI 기술의 개발, 배포, 사용 과정에서 발생할 수 있는 윤리적, 법적, 사회적 문제를 관리하고 규제하는 체계이다. 투명성과 책임성을 강화하고, 윤리적 설계를 도입하며, 국제적 협력을 통해 AI가 안전하고 유익하게 사용되도록 하는 것을 목표로 한다. 이러한 움직임의 일환으로 최근 대한민국과 영국이 공동으로 'AI 서울 정상회의'(AI Seoul Summit)를 개최하였다.

지난 21일부터 22일까지 서울에서 개최된 ‘AI 서울 정상회의’에서는 세계 각국의 인사들이 AI 안전과 규범에 대해 논의했다. 이번 회의는 지난해 11월 영국 블레츨리 파크에서 열린 'AI 안전 정상회의'의 후속 회의로, 주요 7개국(G7)을 비롯한 세계 각국의 장관급 인사와 Google Deepmind, OpenAI 등 AI를 다루는 빅테크 관계자들이 참석했다.

 

회의에서 대통령은 개회사를 통해 안전, 혁신, 포용을 3대 AI 규범 가치로 제시했다. 참석한 정상들과 글로벌 기업 CEO들은 AI의 위험 요소를 최소화하면서도 자유로운 연구개발을 통해 잠재력을 최대한 구현하고, 그 혜택을 인류 모두가 공평하게 누릴 수 있는 방안을 논의했다. 특히 각국 정상들은 AI의 안전성, 혁신성, 포용성이 AI가 추구해야 할 목표라는 점에 공감하고, 이를 구체화하는 방법을 논의했다.

 

한편, 정상들은 이번 회의에서 ｢서울 선언｣과 ｢AI 안전 과학에 대한 국제협력을 위한 서울 의향서｣(이하 ｢서울 의향서｣)를 채택했다. 그리고 참여한 기업들은 ｢프론티어 AI 안전 서약｣(이하 ｢AI 안전 서약｣)에 서명했으며, 서약에는 기업이 개발한 AI 모델이 위험 기준치를 초과할 우려가 있을 경우 AI 배포를 중단하고 시스템을 수정하는 등 위험을 완화하도록 하는 내용이 포함되었다. 또한 참가 기업들은 민감한 영업비밀을 제외한 AI 안전 전략 등의 정보를 서로 공유하기로 합의했다.

 

---

Google Deepmind: Looking ahead to the AI Seoul Summit

 

이번 회의 전날인 5월 20일, 딥마인드는 블로그에 Looking ahead to the AI Seoul Summit라는 글을 게시했다. 이 글에서는 이번 AI 서울 정상회담과 향후 정상회담이 AI 안전에 대해 어떻게 진전을 이룰 수 있는지에 대한 몇 가지 생각을 말하고 있으며, 그 내용은 아래와 같다.

AI 기술 및 서비스들의 빠른 발전

블레클리 선언 이후에도 Google Deepmind에서는 AlphaFold 3나 Gemini, Project Astra 등을 선보였다. 이처럼 AI 기술은 매우 빠르게 발전하고 있는데, Deepmind는 이에 맞춰 AI 안전 및 책임에 대해서도 많은 주의를 기울여야 한다고 말한다.

Deepmind에서는 이에 대해 최신 모델 및 프론티어 기술에 대한 여러 평가 방식(1),(2)을 개발하고, 또 공유하고 있다고 말했다. 이러한 작업은 AI 역량을 혁신하는 만큼 안전과 거버넌스도 빠르게 혁신해야 하며, 이 두 가지가 동시에 이루어지면서 지속적으로 서로에게 정보를 제공하고 강화해야 한다는 생각에서 추진되고 있다고 한다.

프론티어 AI 리스크에 대한 국제적 합의 구축

AI 기술의 잠재적 위험성은 쉽게 측정할 수 있는 영역이 아니다. 이러한 위험은 큰 불확실성을 동반하며, 정책 입안자들은 이를 고려하기 위해 독립적이고 과학적인 근거를 요구하고 있다. 이러한 이유로 이번 AI Seoul Summit에서 발표된 첨단 AI 안전성에 관한 국제 과학 보고서International Scientific Report on the Safety of Advanced AI가 중요한 역할을 할 것으로 보인다. 이 보고서에는 AI 역량, 위험, 위험 완화 방식 등이 포함되어 있다.

DeepMind도 올해 말 AI 안전에 관한 연구 결과를 제출할 예정이고 한다. 앞으로의 정상회담에서 이러한 노력이 받아들여지고, 전 세계 정책 입안자들이 국제적인 조치를 취할 때 필요한 근거로 활용될 것이라고 말했다.

AI Summit은 국제적 합의와 거버넌스에 대한 공통적인 접근법을 구축하는 정기적인 자리가 될 수 있다. 특히 프론티어 기술에 초점을 맞춘다면 다른 국제 거버넌스의 노력과 중복되지 않도록 할 수 있다고 한다.

평가 모범 사례 및 일관된 거버넌스 프레임워크 확립

최신 AI 기술 및 모델에 대한 안전성 평가는 아직 개발 초기 단계에 있다. 그래서 DeepMind는 Anthropic, Microsoft, OpenAI와 함께 Frontier Model Forum (FMF)을 통해 AI 안전에 대해 공동으로 연구하고 있다고 한다. 또한, 미국과 영국의 AI 안전 연구소는 이미 더 큰 조정을 향한 중요한 첫 단계로 안전 테스트에 대한 공통 접근 방식을 구축하기로 합의했다.

AI 위험을 관리하기 위해 공유 프레임워크를 개발하는 것도 중요한 과제다. 이를 위해 DeepMind는 최근 심각한 피해를 입힐 수 있는 미래의 AI 기능을 사전에 식별하고, 이를 감지하고 완화하기 위한 메커니즘을 마련하는 프로토콜 세트인 프론티어 안전 프레임워크(Frontier Safety Framework)의 첫 번째 버전을 도입했다. 또한, 이러한 프레임워크를 업계, 학계, 정부가 협력하여 더욱 크게 발전시킬 수 있을 것으로 기대한다고 말했다.

---

OpenAI: Sharing our practices as part of the AI Seoul Summit

OpenAI도 AI 서울 정상회의에서 합의한 바에 따라 AI 안전에 대해 어떻게 다루어왔는지 공개했다. 5월 21일 게시된 Sharing our practices as part of the AI Seoul Summit라는 글에는 다음과 같은 내용이 담겨 있다.

 

OpenAI는 서울 AI 정상회의에서 AI 안전에 대해 논의하기 위해 업계 리더, 정부 관계자, 시민 사회 구성원들과 함께했다. 그리고 이곳에서 다른 회사들과 함께 프론티어 AI 안전 서약에 동의했다. 이 약속들은 기업들이 프론티어 AI 모델을 안전하게 개발하고 배포하며, 위험 완화 조치에 대한 정보를 공유하도록 촉구하며, 여기에는 우리가 작년에 개발하고 채택한 Preparedness Framework와 같은 안전 프레임워크를 공개하겠다는 서약이 포함되어 있다.

 

이 일환으로 OpenAI는 현재 적극적으로 사용하고 개선하고 있는 10가지 관행들을 공개하였다.

1. 모델 테스트 및 레드팀: Preparedness Framework에 따라 모델을 내부 및 외부적으로 테스트하고, 위험 임계값을 초과하는 모델은 충분한 안전 조치가 이루어질 때까지 출시하지 않는다. 실제로 GPT-4o의 평가에는 70명 이상의 외부 전문가가 참여했다.
2. 정렬(Alignment) 및 안전 연구: 모델의 정확성과 안전성을 개선하기 위해 정렬 및 안전 시스템에 투자하고 있다. 이는 모델이 사실적 오류를 줄이고, 유해한 콘텐츠를 덜 생성하게 만든다.
3. 남용 모니터링: OpenAI API와 ChatGPT를 잘못 사용하는 경우를 자체적으로 개발한 남용 모니터링 도구를 활용하여 막고자 하며, Microsoft와 협력하여 국가 행위자(State Actor)의 기술 남용을 공개했다. 또한 GPT-4를 사용하여 콘텐츠 정책을 개발하고 조정(moderate) 결정을 내린다.
4. 체계적인 안전 접근: 모델의 수명 주기 전 단계에서 안전 조치를 시행하고, 지속적인 개선을 위한 데이터 플라이휠 및 모니터링 인프라에 투자한다.
5. 아동 보호: ChatGPT와 DALL·E에 강력한 안전 조치를 구축하여 아동을 보호하고, Thorn 등과 협력하여 아동 성학대 자료를 감지하고 신고한다.
6. 선거 무결성: 남용 방지, AI 생성 콘텐츠의 투명성 보장, 정확한 투표 정보 제공을 위해 정부 및 이해 관계자들과 협력한다. 또 DALL·E 3에 생성 이미지 식별 도구와 C2PA 메타데이터를 도입했다.
7. 영향 평가 및 정책 분석: AI 시스템의 위험을 평가하고, 언어 모델이 직업과 산업에 미치는 영향을 연구하며, 관련 위험 관리 방법에 대한 선구적인 작업을 발표한다.
8. 보안 및 접근 제어: 고객, 지적 재산 및 데이터를 보호하기 위해 API를 통해 AI 모델을 배포하고, 내부 및 외부 침투 테스트와 버그 현상금 프로그램을 운영했다.
9. 정부와의 협력: AI 안전 정책 개발을 위해 전 세계 정부와 협력하고, 새로운 표준 및 법률에 대한 공개 토론을 지원했다.
10. 안전 의사 결정 및 이사회 감독: 교차 기능 안전 자문 그룹이 모델 보고서를 검토하고 권장 사항을 제시하며, 이사회가 최종 결정을 감독한다.

이 접근 방식은 안전하고 유능한 모델을 구축하고 배포하는 데 도움이 되었으며, 앞으로의 프론티어 모델을 위해 보안 태세를 강화하고, 주요 출시 전에 추가적인 안전 테스트 시간을 확보할 것이라고 한다.

OpenAI는 앞으로 몇 주간 이러한 방식들에 대해 공유할 예정이며, 더 자세한 방식은 이곳에서 확인하실 수 있다.

 

---

AI 서울 정상회의에 대한 평가와 결론

정부는 이번 회의를 계기로 서울 선언 등 정상 간 첫 합의가 도출됐고 의제도 안전에서 혁신과 포용까지로 확대되면서 AI 정상회의는 포괄적인 AI 거버넌스를 논의하는 유일한 정상급 플랫폼으로 자리매김하게 되었다고 밝혔다. 또한, 서울 선언은 정상 간 합의로, 이는 블레츨리 파크에서 이룬 각료 간 합의를 격상시켰다는 점에서 의미가 크다고 평가했다.

업계 입장에서도 이번 회의는 긍정적인 영향을 미칠 것으로 보인다. OpenAI나 DeepMind 등은 새로운 생성형 AI를 출시할 때마다 항상 안전과 윤리에 대한 내용을 함께 소개해 왔다. 이처럼 빅테크 업계에서도 AI 안전의 중요성을 강조하고 있었지만, 이에 대한 규격이나 평가 방식은 통일되지 않았다. AI 정상회의를 통해 AI 거버넌스에 대해 모두가 합의하고 인정하는 프레임워크와 평가 방식을 정립할 수 있을 것이다.

 

그러나 이번 회의에서 나온 선언과 서약이 규제나 강제성이 없는 약속에 불과해 실효성이 없을 것이라는 우려도 있다. 일부에서는 AI 기업들이 이전에도 구속력 없는 안전 약속을 해왔으며, 이번 서약이 지난 11월 발표된 블레츨리 선언을 토대로 이루어졌지만, 기업이 약속을 이행하지 못할 경우 어떤 책임을 지게 될지는 여전히 불분명하다고 지적했다.

 

또한, 이번 서울 회의의 규모가 지난번 영국에서 열린 1차 회의에 비해 작아진 것에 대한 우려도 제기되었다. 영국에서 열린 지난번의 회의에 비해 이번 서울 회의는 화상으로 진행되었으며 참가국의 규모도 줄었다. 이에 따라 전 세계적으로 AI의 위험성 관리에 대한 관심이 식은 것이 아니냐는 우려가 나오고 있다.

 

그럼에도 불구하고 이번 AI 서울 정상회의를 통해 AI 안전에 대해 고민하는 움직임은 바람직하다고 여겨진다. AI 정상회의는 프론티어 AI에 관한 거버넌스를 논의하는 정기적이며 중요한 자리로서의 위치를 확고히 할 것으로 보인다. 또한 AI 안전에 대한 목소리를 높이고 각 국가 간, 기업 간의 방향성을 일치시킨다면, 점점 발전하는 AI 기술 및 서비스에 대한 사람들의 불안감을 낮출 수 있을 것이다. AI를 사용하고 개발하는 연구자들도 이러한 회의를 통해 정해진 프레임워크나 평가 방식을 좋은 선례로 삼아 적용할 수 있기에, 이번 회의는 여러 방면에서 긍정적인 영향을 미칠 것으로 기대된다. 차기 회의는 프랑스가 'AI 행동 정상회의(AI Action Summit)'라는 명칭으로 개최하기로 했다.

---

Reference

- https://aiseoulsummit.kr/kor/

- https://deepmind.google/discover/blog/looking-ahead-to-the-ai-seoul-summit/

- https://openai.com/index/openai-safety-update/

- AI 서울 정상회의 서울선언 및 의향서 https://www.mofa.go.kr/www/brd/m_26779/view.do?seq=537

- AI 서울 정상회의 종료, 외신과 시민단체 평가는? https://www.ekoreanews.co.kr/news/articleView.html?idxno=73562

 

 

 

 

 

대학생 인공지능 연합 동아리 Prometheus

2024년 5월 30일

Editor : 김준석