툴(특히 웹 검색)이 늘 이득은 아니다. 필요성·효용·감당가능성으로 '부를까 말까'를 평가하고, 모델의 착각을 내부 표현으로 교정한다.
한 줄 요약
도구를 붙이면 강력해지지만 모든 툴콜이 이득은 아니다. "이 작업에서 도구를 부를까 말까"를 필요성·효용·감당가능성으로 평가하고, 모델이 스스로 느끼는 필요와 진짜 필요의 어긋남을 내부 표현(hidden state)으로 잡아 교정하는 프레임워크다.
왜 "부를까 말까"가 핵심 결정인가
툴 사용 연구는 대부분 "어떤 툴을 어떻게 부를까 / 결과를 어떻게 합성할까"에 집중해왔다. 하지만 실전에선 가장 큰 비용·실패가 그 앞 단계에서 갈린다 — 굳이 안 불러도 됐는데 불러서 노이즈와 지연이 끼는 케이스, 반대로 불러야 했는데 안 불러서 자기 지식만으로 틀린 답을 내는 케이스.
특히 웹 검색 같은 툴은 결과가 항상 깨끗하지 않다. 모델이 이미 답을 알고 있고 검색 결과가 노이즈투성이라면 부른 게 손해가 된다. 그래서 효과적인 툴 사용의 정수는 결국 단 하나의 결정 — 부를까, 말까로 모인다.
그림 1. 모든 툴콜은 이 갈림길에서 출발한다. 잘못된 한쪽은 늘 비싸다.
핵심 — 세 축으로 저울질하기
저자는 의사결정 이론(decision-making theory)에서 빌려와 툴콜을 세 축으로 평가한다.
그림 2. 세 축(필요성·효용·감당가능성)을 두 렌즈(정상적 vs 서술적)로 본다
발견 — 모델은 자기 필요를 자주 잘못 안다
저자가 normative 값(진짜 필요한지, 진짜 효용 있는지)과 descriptive 값(모델이 행동상 그렇게 보는지)을 따로 추정해 비교했더니 — 두 값이 자주 어긋난다. 모델은 자기가 이미 아는 답인데도 "확신이 없어" 검색을 부르기도 하고, 반대로 모르면서도 안 부른 채 자신 있게 틀린 답을 내기도 한다.
그림 3. 진짜 필요 ↔ 모델이 느낀 필요. 대각선 두 칸이 실패 영역이다.
해결 — 내부 표현(hidden state)으로 교정
저자는 모델의 hidden state(중간 층 activation)를 입력으로 받아 진짜 필요성과 효용을 추정하는 가벼운 estimator 를 학습한다. 모델 본체는 그대로 두고, 이 estimator 의 추정치를 기준으로 "지금 부를지 말지"를 결정하는 컨트롤러를 올린다.
그림 4. Hidden state → 경량 estimator → 컨트롤러. 모델 본체는 건드리지 않고 결정 품질만 올린다.
우리한테 어떤 의미인가
검색·툴을 무조건 부르는 대신 "지금 부를 만큼 필요한가, 효용 있나, 감당 되는가" 셋으로 저울질하라는 직접적 교훈. 1번 논문(한계 토큰 배분)이 말한 over-delegation·under-verification 을 한 단계 아래에서 정량화한 셈이다. 그리고 모델은 자기 필요를 자주 잘못 보니까, 자기 평가 대신 hidden state 같은 내부 신호로 한 번 더 거른다는 접근도 인상적이다.