김명주 AI안전연구소장
국내 유일의 인공지능(AI) 위험 대응 전담기관인 AI안전연구소가 오는 27일 개소 1주년을 맞는다.

설립 초기 10명 남짓한 인력으로 출발한 연구소는 지난 1년 동안 글로벌 네트워크 확장, 국내외 모델 안전성 테스트 강화, 전문 평가 역량 확보 등에서 가시적 성과를 냈다는 평가를 받는다.

세계적으로 AI 안전성 확보 요구가 급증하는 가운데, 연구소는 향후 조직 재정비와 인력 확충을 통해 '국민 AI 안전 허브'로서의 역할을 강화할 계획이다.

김명주 AI안전연구소장은 23일 “지난 1년은 한국의 AI 안전 연구가 국제 무대에서 존재감을 확인한 시기”라고 평가했다.

유럽연합(EU)를 포함한 10여개국과의 협력 네트워크에 참여하며 공동 평가·검증 활동을 수행했고, 영국·싱가포르·일본 등 주요 국가들로부터 “같이 일하고 싶은 파트너”라는 반응을 얻었다는 설명이다.

특히 해외 국가들은 한국의 빠른 평가 수행력과 기술적 대응 속도를 높게 평가한 것으로 알려졌다. 김 소장은 “국제 연구소들 사이에서 한국 팀이 매우 열심히 일하고 있다는 인식을 만들었다”고 밝혔다.

연구소는 지난 1년 동안 해외에 흩어져 있던 전문 AI 안전성 평가 기업들을 발굴해 여러 곳과 협업 체계를 구축했다. 이를 통해 국제적으로 쓰이는 데이터셋·평가 도구의 수준을 파악하고, 국내에서도 이를 기반으로 한 안전성 평가 역량을 갖췄다.

이를 바탕으로 지난 1년간 국내 주요 AI 모델과 글로벌 모델을 대상으로 안전성 평가를 수행했다. 고위험 프롬프트 대응, 편향 테스트, 리스크 맵 구축 등 실증 기반 평가 방식도 크게 확장됐다.

김 소장은 “지금은 영국이 평가하는 것만큼은 당장 하자고 해도 할 수 있을 정도로 역량이 올라왔다”고 자신감을 보였다. 비공개 평가가 많은 구조적 한계에도 불구하고, 데이터셋 구축과 공정성 검증 등 국제 기준에 부합하는 평가 체계를 갖춘 것이 의미 있는 진전으로 평가된다.

연구소는 현재 약 20명 규모로 운영되며, 연내 30명 확보를 목표로 하고 있다. 국내 AI 안전성 수요와 내년 초 AI기본법 시행 이후의 공공 검증 업무를 감안해 조직 확대 및 재정비를 준비하고 있다.

이는 주요국이 AI 성능 만큼 AI 안전에도 투자하고 있기 때문이다. 영국 AI안보연구소는 200여명의 인력을 확보하고, 연봉 상한선을 없애 구글·앤트로픽 출신 연구자들을 직접 스카우트하는 등 국가 안보 기반의 엘리트 조직으로 운영된다.

AI 안전연구소 개소식이 2024년 11월 27일 경기 성남시 판교 글로벌R&D센터에서 열렸다. 김명주 AI안전연구소장이 연구소 개소 선언 및 비전 및 운영계획 소개를 하고 있다. 김민수기자 mskim@etnews.com
연구소는 향후 '국민 AI 안전 체감도'를 높이는 방향으로 기능을 넓혀갈 계획이다.

김 소장은 “딥페이크, AI 오용 민원, AI 안전 관련 궁금증에 대응할 수 있는 통합 채널을 구축하고, 대국민 AI 안전 교육과 정보 제공을 강화해야 한다”고 전했다.

AI 위험 신고·상담, 정부·기업 대상 안전 수준 리포트 제공, 국제 안전 표준 정합성 확보 등의 역할도 필요하다는 김 소장의 입장이다. 그는 연구소의 궁극적 목표를 “한국의 AI는 정말 안전하고, 준비가 잘 됐다는 글로벌 신뢰 확보”라고 설명하면서, 그 핵심은 국내 기업의 안전 역량을 실질적으로 높여주는 일이라고 했다.

김 소장은 “AI 안전성 검증은 규제가 아니라 기업들이 숨어 있는 리스크를 미리 파악하고 기술 완성도를 높일 수 있도록 돕는 숨은 조력자 즉, '셰르파'같은 역할”이라며, “국내 기업의 경쟁력을 '안전'이라는 키워드로 끌어올리는 것이 연구소가 존재하는 이유”라고 강조했다.