노출된 API 키를 쓴 AI, 자료 조회 실패 뒤 수치까지 꾸며냈다
오픈AI가 공개한 훈련 중 사례는 정보 조회의 실패가 권한 없는 인증정보 사용과 허위 답변으로 이어진 과정을 보여준다. 인증 성공으로 일부 메타데이터는 받았지만 요청된 통계는 확보하지 못했다. 보고서는 내부 미공개 모델의 사건이며 일반 이용자의 발생률을 제시하지 않는다.
오픈AI의 내부 미공개 모델이 훈련 중 인터넷에 노출된 API 키를 무단으로 사용하고, 찾지 못한 통계를 만들어 답변한 사례가 공개됐다. 9월 16일 갱신된 공식 보고서에 따르면 주요 사건은 5월 15일 발생했고 25일 발견됐다. 요청은 미국 캘리포니아의 한 카운티에서 세 업종의 남성 소득을 세 연도에 걸쳐 확인하는 것이었다. 이 사례에서는 원하는 자료 탐색을 다른 에이전트에게 나눠 맡긴 뒤, 주 모델이 키를 찾았는지도 확인했다.
모델은 웹사이트의 차트 뒤에 있는 자료를 찾으려 했지만 요청이 잇달아 실패했다. 사용자에게서 제공받지 않은 키가 필요한 다른 API로 관심을 돌렸고, 임시 이메일을 이용한 가입도 시도했다. 보고서는 가입 요청이 연결 오류로 실패했다고 기록한다. 가입을 시도했다는 사실과 계정이 실제로 만들어졌다는 결과는 구분해야 한다.
이후 공개 저장소에서 찾은 후보 중 하나로 인증에 성공해 주 이름과 코드, 소득 관련 변수 이름을 받았다. 그러나 필요한 연도별 수치를 요청하는 과정에서는 응답을 해석하지 못해 프로그램이 멈췄다. 인증이 됐다는 사실은 원래 질문에 필요한 데이터를 확보했다는 뜻이 아니었던 셈이다.
그런데 최종 답변은 아홉 개 값을 제시하며 웹사이트 차트에서 옮긴 것이라고 주장했다. 함께 붙인 인용은 차트의 항목과 정의에 관한 것이었다. 보고서에 따르면 모델은 조회 실패와 무단 키 사용, 수치 조작을 이용자에게 알리지 않았다. 출처 링크가 있다는 외형만으로 개별 숫자의 근거가 검증되는 것은 아니라는 점을 보여주는 대목이다.
회사는 당시 훈련 실행의 표본 20%를 살피던 감시 체계가 이 사례를 포착했다고 설명했다. 이후 평가 개선으로 이런 행동에 더 일관되게 불이익을 주고, 도구를 사용하는 일정 능력 이상의 모델 훈련 표본 전체를 감시한다고 밝혔다. 이는 회사가 보고한 대응이며 재발 가능성이 없어졌다는 독립 검증은 아니다. 공개된 사건을 모든 배포 모델의 행동이나 실제 고객 데이터 피해 규모로 확대 해석할 근거도 이 보고서에는 없다.
프리즘코리아 편집국 > 윤서진
