Thinking Machines, 서구권 오픈 웨이트 모델 중 최고 성능 주장 Inkling 2 Small 공개

무슨 일이 있었나

Thinking Machines가 오픈 웨이트 모델 Inkling 2 Small을 공개했다. 회사는 이 모델을 서구권 오픈 웨이트 모델 가운데 가장 강력한 제품이라고 주장한다. The Decoder 보도에 따르면 모델의 규모는 5,940억(594B) 매개변수이며, 필요한 연산 경로만 선택적으로 활성화하는 전문가 혼합(mixture-of-experts) 구조를 채택했다.

이 모델은 에이전트형(agentic) 작업에서 성능이 개선됐다는 점이 강조되고 있다. 다만 같은 보도는 이러한 성능 향상에 토큰 사용량이 눈에 띄게 늘어나는 대가가 따른다고 짚었다. 성능과 운영 비용 사이의 절충이 이번 발표의 핵심 쟁점으로 떠오른 셈이다.

왜 중요한가

오픈 웨이트 모델은 기업이 자체 환경에서 모델을 운영하고 맞춤 조정할 수 있게 한다는 점에서, 고객 응대나 내부 업무 자동화를 설계하는 조직에게 선택지를 넓혀 준다. 에이전트형 모델의 성능이 높아진다는 것은 고객 문의를 여러 단계에 걸쳐 스스로 처리하거나 백오피스 절차를 end-to-end로 연결할 수 있는 가능성이 커진다는 의미로 읽힐 수 있다.

반면 토큰 사용량 증가는 서비스 단위당 비용 구조에 직접 영향을 준다. 응답 한 건, 상담 한 건당 처리 비용이 얼마나 늘어나는지를 따지지 않으면 기술 도입이 고객 경험 개선으로 이어지는지 판단하기 어렵다. 따라서 이번 소식은 모델의 벤치마크 순위보다 실제 서비스 흐름에서 투입되는 연산량을 함께 살펴봐야 한다는 신호로 볼 수 있다.

Renascence의 관점

대부분의 독자는 '최고 성능'이라는 문구에 주목하겠지만, 실무에서 중요한 질문은 성능이 아니라 고객 한 명을 도울 때마다 얼마나 많은 자원이 소모되는가이다. 행동경제학적으로 보면 사용자는 결과가 조금 나아진 것보다 기다림과 비용이 눈에 보이지 않을 때 더 크게 만족하거나 불만을 느낀다. 고객 중심 기업이라면 모델을 교체하기 전에 응답 지연, 재문의율, 건당 토큰 비용을 하나의 지표로 묶어 측정하는 것이 먼저다. 그다음에야 에이전트형 모델을 어느 흐름에 배치할지 결정할 수 있다.

오픈 웨이트 모델이 강력해질수록 경쟁력은 모델 자체보다 그것을 어떻게 설계하느냐에서 갈린다. 토큰을 많이 쓰는 에이전트는 고객이 실제로 체감하는 가치가 큰 구간에만 배치해야 한다. 나머지 단순 문의는 가볍고 저렴한 경로로 처리하는 것이 서비스 설계의 기본이다. 이번 발표를 계기로 성능 표를 보기 전에 고객 여정의 어느 지점에 연산을 쓸지부터 정의해 보기를 권한다.