카카오 AI 신뢰성 검증 가드레일 모델 공개

이 시간 주요기사

뉴스 > IT·인터넷

카카오 자체 개발 언어모델 기반 카나나 세이프가드 개발
유해성·법적 주의 필요 요청·서비스 악용 공격 탐지 등 가능

양준규 기자 기자페이지 + 입력 2025-05-27 10:07:18

카카오가 안전하고 신뢰할 수 있는 생성형 인공지능(AI) 기술 환경 및 생태계 조성에 나선다.

카카오는 27일 AI 서비스의 안전성과 신뢰성을 검증할 수 있는 AI 가드레일 모델 ‘카나나 세이프가드’를 개발하고 생태계에 기여하기 위해 국내 기업 최초로 총 3종의 모델을 오픈소스로 공개한다고 밝혔다.

최근 다양한 생성형 AI 서비스들이 확산되는 가운데 유해 콘텐츠의 위험성에 대한 사회적 우려가 증대되고 있다. 카카오는 이에 대한 기술적·제도적 장치인 AI 가드레일 시스템 마련에 대한 필요성을 인식하고 카나나 세이프가드 모델을 개발하게 됐다. 주요 빅테크에서는 생성형 AI를 통해 발생할 수 있는 위험 요소를 감지하는 데 특화된 모델을 운영 중이다.

카나나 세이프가드는 카카오가 자체 개발한 언어모델 카나나를 기반 기술로 활용했으며 한국어 및 한국 문화를 반영한 자체 구축 데이터셋을 활용해 한국어에 특화된 성능을 보유하고 있다. AI 모델의 정밀도와 재현율을 평가하는 수치인 F1 스코어를 기준으로 평가한 결과 한국어 성능에서 글로벌 모델 이상의 성과를 기록하기도 했다.

이번에 오픈소스로 공개한 모델은 총 3가지로 각각의 모델은 리스크 유형에 따라 유해성 및 위험성에 대한 효과적 탐지가 가능하다.

먼저 카나나 세이프가드는 사용자의 발화 또는 AI의 답변에서 증오·괴롭힘·성적 콘텐츠 등에 대한 유해성을 탐지한다. 카나나 세이프가드-사이렌은 개인 정보나 지식재산권 등 법적 측면에서 주의가 필요한 요청을 탐지한다. 마지막으로 카나나 세이프가드 프롬프트 AI 서비스를 악용하려는 사용자의 공격을 탐지한다. 세 모델은 모두 허깅페이스를 통해 다운로드 할 수 있다.

카카오는 안전한 AI 생태계의 구축에 기여하고자 ‘카나나 세이프가드’에 상업적 이용과 수정 및 재배포 등이 자유롭게 가능한 아파치2.0 라이선스를 적용했다. 향후 지속적인 업데이트를 통해 모델을 고도화 할 예정이다.

김경훈 카카오 김경훈 AI 세이프티 리더는 “생성형 AI의 등장 이래 기술의 발전과 더불어 AI 윤리와 안전성에 대한 중요성이 국내외에서 점차 부각되고 있다”며 “책임감 있는 AI 구축에 대한 인식을 널리 확산시키고 사회적 가치를 고려한 기술 개발이 이어질 수 있도록 선제적인 대응을 이어갈 계획”이라고 말했다.

양준규 기자 jgyang@skyedaily.com 기자페이지 +

후원하기

정기 후원
일반 후원
무통장입금: 하나은행 158-910019-39504 스카이데일리
스카이데일리는 온라인 판 스카이데일리닷컴과 32면 대판으로
매일 발행되는 일간종합신문 스카이데일리(조간)를 통해 독자 여러분들과 만나고 있습니다. 후원자 분들께는 지면광고를 하고자 하실 경우
특별 할인가격이 제공됩니다.