AI의 신뢰를 높이고 토큰 소비는 최적화하는 방법
엔터프라이즈 AI는 단순히 질문에 답하는 수준을 넘어 추론하고 도구를 호출하며 스스로 행동하는 에이전트로 진화하고 있습니다. 이러한 워크플로우에서는 토큰 사용량이 단순히 누적되는 것이 아니라 기하급수적으로 늘어날 수 있습니다. 에이전트가 가지고 있는 컨텍스트 하나하나가 토큰 비용을 가중시키기 때문입니다. AI의 성공은 최적화된 토큰 사용을 요구합니다. AI 에이전트에게 가능한 한 간결하고 거버넌스 되는 올바른 컨텍스트를 제공하는 것이 필요합니다.
AI 에이전트를 파편화된 데이터 플랫폼에 바로 연결하면 토큰이 낭비되는 구조적인 문제가 생깁니다.
- 중복 탐색: AI 에이전트가 플랫폼을 하나씩 차례로 검색하면서 도구 사용법, 스키마, 에러 메시지를 축적합니다.
- 컨텍스트 연산: 원시 데이터를 프롬프트로 가져와 LLM이 조인(join)이나 집계 작업을 수행합니다.
- 재시도 루프: 모호한 스키마와 일관성 없는 비즈니스 정의로 인해 비용이 많이 드는 수정 작업이 발생합니다.
- 데이터 초과 유입: 관련이 없거나 승인되지 않은 데이터가 컨텍스트 창에 유입되어 비용과 위험을 함께 증가시킵니다.
AI 에이전트가 소스별로 데이터를 검색하고 이를 가져와 조인, 필터링, 조정 작업을 하는 대신에, 디노도는 액티브 컨텍스트(active context)라는 통합 데이터 및 컨텍스트 계층을 제공합니다. 디노도는 단일 요청 경로를 제공하고 작업을 데이터 계층에서 처리하며 간결한 결과를 반환합니다.
디노도를 사용하지 않을 경우, 토큰 비용은 에이전트의 작업 개수와 소스 개수의 곱에 비례하여 증가하지만, 디노도를 사용할 경우, 토큰 비용 중 데이터 액세스 부분은 비즈니스에 활용 가능한 답변량에 연동됩니다.
백서에서 데이터 액세스 토큰 비용을 80% 이상 절감한 ROI 예시를 포함하여 보다 자세한 내용을 확인하실 수 있습니다.
