[더테크=조재호 기자] 카이스트가 분포가 변화하는 데이터에 대해서도 편향되지 않는 판단을 내리도록 돕는 인공지능(AI) 학습 기법을 개발했다. AI 모델의 공정성을 높여 신뢰감을 형성하는데 도움을 줄 것으로 보인다. 아울러 이번 기법은 데이터 전처리만으로 가능해 기존 공정성 기법과 함께 활용할 수 있다는 이점이 있다.

카이스트는 황의종 전자및전기공학부 교수 연구팀이 학습 상황과 달라진 새로운 분포의 테스트 데이터에 대해 편향되지 않는 판단을 내리도록 돕는 새로운 AI 모델 훈련 기술을 개발했다고 30일 밝혔다. 데이터 편향성이란 데이터가 특정 그룹에 대해 편향되는 현상을 말한다.

최근 AI의 공정성을 높이기 위한 다양한 학습 방법론이 제시되고 있다. 대부분의 연구는 AI 모델의 훈련용 데이터와 테스트 데이터가 같은 분포를 갖는다고 가정한다. 하지만 실제 상황에서 이러한 가정은 대체로 성립되지 않고 학습 데이터와 테스트 데이터의 편향 패턴이 크게 변화할 수 있음이 관측되고 있다.

이는 학습된 데이터에서 설정한 편향성 패턴과 테스트 환경의 패턴이 다르면 사전 학습을 거친 AI 모델의 공정성의 영향을 미치고 다시 악화된 편향성을 가질 수 있다는 설명이다. AI 모델이 특정 개인이나 집단에 편향되지 않는 판단을 내려야 한다는 공정성 개념은 현재 법적·철학적 논의를 기반으로 제안된 정의가 학계와 산업계에서 통용되고 있다.

제1 저자인 노유지 카이스트 전기및전자공학부 박사과정은 “이번 연구를 통해 AI 기술의 실제 적용 환경에서 더욱 신뢰할 수 있고 공정한 판단을 하도록 도울 것으로 기대한다”고 말했다.

연구팀은 이러한 문제 해결을 위해 ‘상관관계 변화(correlation shifts)’ 개념을 도입해 기존 공정성을 위한 학습 알고리즘이 가지는 정확성과 공정성 성능에 대한 근본적인 한계를 이론적으로 분석했다.

일례로 특정 인종만 주로 채용한 과거 데이터가 있는 경우 인종과 채용의 상관관계가 강해서 아무리 공정한 모델을 학습시켜도 현재의 약한 상관관계를 반영하는 정확하면서도 공정한 채용 예측을 하기 어렵다는 것이다.

새로운 학습 데이터 샘플링 기법은 테스트 시에 데이터 편향 패턴이 변화해도 모델을 공정하게 학습할 수 있도록 새로운 학습 프레임워크를 제안했다. 이는 과거 데이터에서 우세하던 내용을 상대적으로 상관관계를 낮출 수 있다.

제안된 기법은 데이터 전처리 과정을 통해 적용되므로 기존에 제안된 알고리즘 기반 공정한 학습 기법을 그대로 활용할 수 있다. 이미 사용 중인 공정한 학습법이 변화에 취약하다면 이를 적용해 해결할 수 있다는 것이다.

이번 연구는 지난 7월 미국 하와이에서 열린 머신러닝 국제학술 대회인 국제 머신러닝 학회에서 발표됐다. (논문명: Improving Fair Training under Correlation Shifts)