▲ 과학기술정보통신부와 한국정보통신기술협회는 국내 최초로 ‘생성형 AI 레드팀 챌린지’ 행사를 11일부터 12일까지 양일간 코엑스 B2홀에서 개최했다(사진=과기정통부).

(커넥트 데일리=김영도 기자) 최근 생성형 AI 시장이 확대되고 왜곡된 정보로 인한 취약점이 노출되고 있는 가운데 국내 처음으로 생성형 AI 레드팀 챌린지 행사가 국민참여 행사로 열려 생성형 AI의 가이드 라인과 대응체계 구축으로 공존 가능한 AI 시대를 열어갈 것으로 보인다.

과학기술정보통신부와 한국정보통신기술협회는 국내 최초로 ‘생성형 AI 레드팀 챌린지’ 행사를 11일부터 12일까지 양일간 코엑스 B2홀에서 개최한다.

이번 AI 레드팀 챌린지는 다양한 관점을 가진 국민 집단지성을 활용해 국내 생성형 AI 모델(LLM : Large language model)의 잠재적 취약점(유해정보 생성 등)을 식별하는 공개 챌린지 행사로 마련돼 국내 AI 신뢰성과 안전성을 확보할 수 있을 것으로 기대가 모아지고 있다.

AI 레드팀 챌린지에는 글로벌 AI 혁신을 선도해 나가는 국내 AI 대표기업 네이버클라우드, SKT, 업스테이지, 포티투마루 등이 참가기업으로 참여했다.

또 AI에 관심이 있는 국민 1천여 명이 사전접수를 통해 행사 첫날 세션별로 잠재적 위험ㆍ취약점(부정확 정보, 유해정보 등)을 찾아내는 도전에 나선다.

국민 챌린지 참가자들은 AIㆍIT 분야 종사자뿐만 아니라, 제조ㆍ금융ㆍ의료분야 종사자, 대학생 등 다양한 분야에서 참여했으며 4개 세션별 참여기업 LLM 모델을 차례로 배정받아 ▲탈옥 ▲편견ㆍ차별 ▲인권침해 ▲사이버 공격 ▲불법콘텐츠 ▲잘못된 정보 ▲일관성 등 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행한다.

7개 챌린지 주제는 행사에 앞서 챌린지 참여기업과 AI 전문가, AI 전공 대학생 등이 참여하는 ‘미니 레드팀 챌린지’를 지난달 세 차례 개최해 최근 생성형 AI 기술 동향과 리스크 파급효과 등을 종합적으로 고려해 주제를 도출하고 평가 기준을 마련한 것으로 알려졌다.

아울러, 레드팀 챌린지의 공정하고 전문적인 평가를 위해 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료ㆍ금융ㆍ법률 전문가 120여 명을 사전 선발해 챌린지 평가단을 구성했으며, 평가 세부기준에 기초해 객관적으로 평가한다.

또 행사 이튿날에는 ‘글로벌 AI 안전 컨퍼런스’가 열려 Cohere Aidan Gomez 대표, Stability AI Emad Mostaque 前대표/창업자, 프론티어모델 포럼 Chris Meserole 의장, xAI Dan Hendrycks 안전 담당고문, 네이버 하정우 퓨처 AI 센터장, SKT Eric Davis 부사장, 셀렉트스타 김세엽 대표, 카카오 김경훈 AI Safety 리더, 카이스트 오혜연 교수 등 국내외를 대표하는 AI 업계ㆍ학계 전문가가 참여해 최근 생성형 AI 시장의 기술동향과 생성형 AI 안전ㆍ신뢰성 확보 방안에 대한 발표와 토론이 이어진다.

이번 글로벌 AI 안전 컨퍼런스 Keynote에는 ▲네이버 하정우 퓨처AI 센터장 ‘초거대 생성AI시대의 책임감 있는 AI를 위한 네이버의 노력’ ▲셀렉트스타 김세엽 대표 ‘LLM 신뢰성, 어떻게 평가할 수 있을까’ ▲xAI Dan Hendrycks Adviser ‘AI and Evolution’ ▲Chair of Frontier model forum Chris Meserole ‘Advancing AI Safety’ ▲카카오 김경훈 AI Safety 리더 ‘AI Safety for Everyone’ ▲KAIST 오혜연 교수 ‘Multilingual, Multicultural LLM’ ▲SK텔레콤 Eric Davis 부사장 ‘Trust and Safety in the Eye of the beholder’ ▲Stability AI Emad Mostaque 前 CEO/창업자 ‘Talk on Safe AI’가 각각 발표된다.

이번 ‘레드팀 챌린지’ 행사를 통해 AI 산업 전반에 기업의 자율적인 AI 신뢰ㆍ안전성 확보 노력이 더욱 확산되고, 사회 전반에 AI 윤리적 활용에 대한 인식도 확대될 것으로 기대되고 있다. 

오픈AI, 구글, 네이버클라우드 등 국내외 AI 대표기업도 내부 AI 레드팀을 구성ㆍ운영해 AI 신뢰ㆍ안전성을 확보하고 있으며, 최근 생성형 AI 분야에서 AI 신뢰ㆍ안전성을 확보할 수 있는 핵심적인 방법으로 활용되고 있기 때문이다.

특히 이번 챌린지에 참여한 AI 기업은 사용자 다양성을 반영한 평가 데이터셋을 확보하고, 자사 AI 모델의 잠재적인 위험ㆍ취약점을 폭넓게 파악해 AI의 신뢰성과 안전성을 제고할 수 있을 것으로 보고 있다.

과기정통부도 이번 ‘레드팀 챌린지’ 결과를 분석해 생성형 AI 분야의 공통ㆍ포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 가이드라인’을 마련하는 등 표준화된 생성형 AI 위험 발굴ㆍ대응체계를 구축해 나갈 계획이다.

과기정통부 강도현 2차관은 “AI 혁신의 전제이자 기본은 AI 안전과 신뢰”이며, “AI 시대로의 본격적인 전환점에서 오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것”이라고 말했다.

▲ 과학기술정보통신부 강도현 2차관(사진=과기정통부).

아울러 “AI 발전에 제약이 되는 문제들은 조속히 해결해 나가고, 대통령께서 밝히신 AI-반도체 이니셔티브를 차질없이 추진하여 글로벌 AI 혁신을 주도해 나갈 것이며, 올해 5월에 개최되는 ‘AI 서울 정상회의’를 통해 AI 혁신과 안전, 포용 논의를 주도해 글로벌 AI 리더십을 확보하고, AI G3 강국 도약의 발판으로 삼겠다”고 강조했다.