AI 허위 증언 서면에 변호사 벌금 5,000달러 부과, 뉴멕시코 대법원

무슨 일이 있었나

뉴멕시코주 대법원이 살인 사건 항소 서면에 AI가 만들어낸 가짜 증인과 허위 경찰 증언이 포함된 것을 이유로 변호사 스티븐 애런스(Stephen Aarons)에게 벌금 5,000달러를 부과하고 법정모욕 판결을 내렸다. 로이터(Reuters)가 이 사실을 보도했고, 더 버지(The Verge)가 이를 다시 전했다.

법원은 수요일 공개된 문건에서 애런스 변호사가 서면에 담긴 사실 주장과 법적 근거를 검증하지 않았다는 점을 문제 삼았다. 항소를 맡은 의뢰인의 살인 유죄 판결을 다투는 과정에서 제출된 서면이었다는 점에서, 이번 사안은 법률 실무에서 생성형 AI 결과물을 어떻게 확인할 것인지에 대한 기준을 다시 묻는 계기가 됐다.

보도에 따르면 핵심 쟁점은 AI 도구 사용 자체가 아니라 결과물에 대한 검증 절차가 빠졌다는 점이다. 존재하지 않는 증인과 증언을 실제 기록처럼 제출했다는 사실이 확인되면서 법원의 제재가 이어졌다.

왜 중요한가

이번 사례는 AI 도입이 얼마나 빠르게 진행되든, 고객과 시민에게 직접 영향을 미치는 전문 서비스에서는 결과물에 대한 신뢰와 책임 구조가 함께 설계되어야 한다는 점을 보여준다. 법원, 금융, 의료처럼 기록과 근거가 중요한 영역에서 AI는 업무 속도를 높일 수 있지만, 틀린 정보를 그럴듯하게 제시할 위험도 함께 가진다.

조직 리더에게는 AI 활용 정책이 도구 승인 목록에만 머무르면 안 된다는 신호다. 누가 결과물을 검증하는지, 어떤 근거가 최종 제출 전에 확인되는지, 오류가 발견됐을 때 어떻게 보고하는지를 업무 흐름 안에 명시해야 한다. 이는 기술 도입 프로젝트를 운영 모델의 변화로 다뤄야 한다는 뜻이기도 하다.

이 사건의 교훈은 “AI가 틀렸다”는 데 있지 않다. 사람이 검증하지 않은 결과물이 신뢰의 얼굴을 하고 전달됐다는 데 있다. 행동경제학적으로 보면 바쁜 실무자는 그럴듯한 출력물을 확인 없이 넘기기 쉽고, 그 간극을 메우는 것은 개인의 주의력이 아니라 서비스 설계다. 고객 경험을 중시하는 조직이라면 검증 단계를 예외 처리가 아닌 필수 고객 접점으로 설계하고, 누가 어떤 근거로 승인했는지 추적 가능하게 만들어야 한다.

Renascence의 시각

대부분의 독자는 이 사안을 법조계의 일탈로 읽겠지만, 우리는 이를 서비스 설계의 실패 사례로 본다. 가장 큰 위험은 AI가 아니라 검증이 빠져도 시스템이 아무 경고도 하지 않는 구조에 있다.

AI를 도입하는 조직이라면 지금 바로 고위험 산출물 목록을 만들고, 각 항목에 사람의 확인 단계와 책임자를 지정하는 것부터 시작해야 한다. 기술 성능을 평가하는 데 쓰는 시간만큼, 실패가 고객이나 시민에게 닿기 전에 막는 흐름을 설계하는 데 투자하라.