카카오가 생성형 AI 모델의 신뢰성을 높이기 위한 생태계 조성에 나선다.

카카오는 AI 서비스의 안정성과 신뢰성을 검증할 수 있는 AI 가드레일 모델 ‘카나나 세이프가드’를 개발하고 3종의 모델을 오픈소스 공개했다고 27일 밝혔다.

AI 가드레일은 AI로 생성되는 유해 콘텐츠를 감지하는 데 특화된 모델로, 한국어와 문화 정밀도가 높은 것이 특징이다.

카카오는 AI 모델의 정밀도와 재현율 평가 수치 F1 스코어 기준 한국어 성능에서 글로벌 모델보다 더 높은 점수를 받았다고 밝혔다.

이번에 오픈소스로 공개한 모델은 총 3가지로, 각각의 모델은 리스크 유형에 따라 유해성 및 위험성을 탐지한다.

카나나 AI 세이프가드 모델 3종 [카카오 제공]

먼저 ‘카나나 세이프가드’에서는 사용자의 발화 또는 AI의 답변에서 증오, 괴롭힘, 성적 콘텐츠 등에 대한 유해성을 탐지하고, ‘카나나 세이프가드-사이렌’은 개인정보나 지식재산권 등 법적 문제를 걸러내게 된다.

끝으로 ‘카나나 세이프가드-프롬프트’는 AI 서비스를 악용하려는 사용자의 공격을 탐지해 방어하는 시스템이다.

세 가지 모델 모두 현재 오픈소스 플랫폼 ‘허깅페이스’를 통해 다운로드할 수 있다.

카카오는 카나나 세이프가드가 상업적 이용과 수정, 재배포가 가능하도록 ‘아파치 2.0’ 라이선스를 적용했으며, 앞으로도 지속적으로 모델을 업그레이드한다는 방침이다.

카카오 관계자는 “생성형 AI 가드레일은 신기술을 받아들이는 대중이 가지는 우려를 해소하고, 더 적극적인 활용이 가능해지도록 하기 위한 시스템”이라고 말했다.

이어 “책임감 있는 AI 구축에 대한 인식을 넓혀 사회적 가치를 창출하겠다”라고 덧붙였다.