금융위원회는 신용정보회사(CB)들이 평가하는 금융분야 AI(인공지능) 기반 모형 관련 객관성과 공정성의 투명성을 점검할 수 있는 검증체계를 마련키로 했다. 최근 AI를 활용한 서비스 확산으로 개인정보 유출 등 보안 위협 사안이 발생하자 신뢰받는 AI 환경을 구축하겠다는 것이다. 

금융위는 17일 이같은 내용을 담은 ‘금융분야 인공지능 활용 활성화와 신뢰확보 방안’을 발표했다. 그동안 신용평가모형은 신용정보원장이 위원장으로 있는 개인신용평가체계 검증위원회에서 반기별로 검증해 왔다. 

금융위는 올 3분기부터 개인사업자 신용평가사(CB)가 활용중인 AI를 활용한 신용평가모형 검증에 나선다는 방침이다. 이는 지난해 8월 금융권의 AI 활용을 지원하기 위해 발표한 '금융분야 인공지능 활용 활성화 및 신뢰확보 방안'의 후속조치다.

현재 CB사들은 AI 기반의 신용평가 모형개발·활용을 확대하고 있다. AI 신용평가모형은 전통적인 신용평가모형에 비해 다양한 비금융·비정형 데이터를 평가항목으로 반영할 수 있어 예측력·변별력이 우수하다. 하지만 복잡한 알고리즘을 사용하기 때문에 평가결과에 대한 직관적인 해석과 설명이 어렵다는 등의 한계가 있고 신뢰성 확보와 소비자 보호를 위해 전통적인 신용평가와 같은 객관적인 검증체계를 마련해야 한다는 지적도 제기돼 왔다.

금융위는 이에따라 이번 검증체계를 구축했다는 설명이다. 'AI 기반 신용평가모형 검증체계'는 AI 특성을 고려해 신용정보회사가 데이터를 적절히 관리하는지, 신용평가모형에 사용되는 알고리즘과 변수를 합리적으로 선정했는지 점검한다. 또 신용정보회사가 개발한 신용평가모형이 통계적으로 의미가 있는지 확인한다.

이 가이드라인은 AI 학습 데이터의 오염, 개인 정보 유출, AI 모델에 대한 공격 등 보안 위협에 대응할 수 있도록 데이터 관리·처리 방법, 모델 설계 기법, 보안성 검증 방법 등을 제시한다.

개인신용평가체계 검증위원회는 이를 활용해 연내 AI 신용평가모형을 활용하고 있는 개인사업자신용평가회사에 대한 검증을 수행할 예정이다. 향후 개인신용평가회사 등의 AI 신용평가모형에 대해서도 검증을 실시할 계획이다. 개인사업자 매출 데이터가 전월 대비 10% 이상 변동시 매출 데이터 오류가능성을 재점검하는 식이다.

특히 금융분야에서 AI가 가장 활발히 사용되는 챗봇에 대해서는 'AI 챗봇 보안성 체크리스트'를 별도로 마련해 보안성 확보에 필요한 사항을 체크리스트 형태로 구체화했다. 아울러 이번 가이드라인은 '금융보안 레그테크 포탈'에 게시될 예정이다. 새로 등장하는 보안 위협, 대응 기법 등을 고려해 지속해서 보완해나갈 예정이다.

금융위는 또 전통적인 신용평가모형 외에도 복잡한 알고리즘을 통해 AI신용평가모형을 추가적으로 구축해 검증해 나갈 계획이다. 이는 개인사업자 전문 CB사가 출범하면서 CB사 인가 이후 모형의 세부적인 조정이 이뤄져, 이 역시도 검증할 필요가 있다는 것이 금융위 측 판단이다. 

검증 체계의 세부안은  크게 ▲데이터 관리 ▲모형 선택 ▲설명 가능성 ▲모형 성능을 모니터링할 예정이다. 데이터 선택에 오류는 없는지, 모형에 맞게 알고리즘과 변수를 선정했는지, 모형이 학습데이터에 과도하게 의존하는 '과적합' 가능성은 없는지 등을 점검한다. 

금융위 관계자는 "AI는 초지능·초연결·초융합 시대에 혁신적 서비스 개발의 핵심 기술이며, 금융분야는 고품질 데이터가 풍부해AI 활용의 잠재력이 매우 큰 분야"라며 "개인사업자 CB의 AI 신용평가모형을 시작으로 내년 중에는 개인 CB의 AI 신용평가모형을 검증할 것"이라고 말했다.