Skip to main content
Beyond the Lakehouse: Denodo’s RAG-Driven Data Revolution

당신이 연금 펀드의 금융 분석가라고 상상해 보세요. 회계연도 마감 전에 대기업 고객의 포트폴리오 분석 보고서를 빠르게 제출해야 합니다. CRM 데이터, 금융 시장 보고서, 수많은 엑셀 파일을 동시에 다루느라 정신이 없죠. 또는 제조 대기업의 자동화 엔지니어라고 생각해 보세요. 오래된 제품 사양서를 찾으려고 매뉴얼, 가격표, 보관된 판매 데이터 속에서 헤매고 있습니다. 익숙한 상황 같지 않나요? 이것이 오늘날 기업 데이터의 현실입니다. 여기저기 흩어져 있고, 서로 단절된 데이터의 혼란 말이죠. 검색 증강 생성(RAG) 방식으로 구동되는 생성형 AI 애플리케이션은 명확하고 맥락이 담긴 정보에서 힘을 발휘합니다. 하지만 데이터가 이렇게 조각나 있으면, 잘못된 답변(환각 현상)이 늘어나거나 아예 작동이 실패하기도 합니다.

데이터 레이크하우스는 최종 해결책처럼 흔히 이야기되지만, 실제로는 기대에 미치지 못하는 경우가 많습니다. 그 결과, 정형 데이터와 비정형 데이터가 서로 충돌하게 되죠. 이를 하나로 정리해 줄 통합 레이어가 없다면, 생성형 AI의 결과는 모호해지거나 심지어 완전히 틀릴 수도 있습니다. 디노도 플랫폼은 메타데이터 기반의 시맨틱 레이어와 검색 증강 생성(RAG) 프레임워크를 완벽히 지원해 이런 문제를 해결합니다. 쉽게 말해, 디지털 사서 같은 역할을 하는데, 시맨틱 레이어는 도서관의 카드 카탈로그처럼 기업 데이터를 정리해 AI 활용이 가능한 신뢰할 수 있는 단일 데이터 소스로 만들어 줍니다. Query RAG라고 불리는 디노도의 메타데이터 기반 RAG 접근 방식은, 모든 데이터를 데이터 레이크하우스 같은 단일 저장소에 모을 필요 없이, 정확한 데이터를 제공합니다.

데이터 파편화와 생성형 AI
그렇다면, 왜 데이터 레이크하우스가 정답이 아닐까요? 데이터 레이크하우스는 데이터 레이크와 데이터 웨어하우스의 장점을 모두 제공한다고 하지만, 실제로는 또 다른 사일로가 되기 쉽습니다. CRM 시스템은 ERP와 연결되지 않고, 오래된 데이터베이스는 여전히 고립된 채 남아 있습니다. 생성형 AI가 챗봇이나 예측 모델 같은 애플리케이션을 구동하려면 풍부하고 맥락이 담긴 실시간 데이터가 필요한데, 이런 데이터 단절은 치명적인 약점이 됩니다. 여기에 유럽의 GDPR(일반 개인정보 보호법)이나 중국의 PIPL(개인정보 보호법) 같은 규제 장벽까지 더해지면, 문제는 더 복잡해집니다. 빠른 속도를 유지하면서도 안전하고 규정을 준수하는 데이터가 필요한 것이죠. 생성형 AI 애플리케이션은 파편화된 데이터를 공급받으면 정확한 답변을 낼 수 없습니다. 필요한 것은 데이터를 통합하고, 맥락을 부여하며, 안전하게 보호하는 플랫폼입니다. 그래야 AI가 진정한 가치를 발휘할 수 있습니다. 그리고 바로 그 해답이 디노도입니다.

디노도의 시맨틱 레이어와 RAG
디노도 플랫폼은 마치 지휘자처럼, CRM, ERP, 클라우드 스토리지, 레거시 시스템의 데이터를 물리적으로 옮기지 않고도 논리적으로 통합합니다. 풍부한 메타데이터 위에 구축된 시맨틱 레이어가 통합 뷰를 만들어, 자연어 질문이나 API를 통해 데이터를 조회할 수 있게 합니다. ‘2분기 매출 추세는 어떨까?’라고 물으면, 디노도 플랫폼을 기반으로 한 솔루션이 여러 출처의 데이터를 실시간으로 모아 답을 제공합니다. 디노도의 진정한 강점은 Query RAG 지원에 있습니다. 기존의 AI 모델은 고정된 지식에 의존하지만, RAG는 생성형 AI 애플리케이션이 추론 중에도 실시간으로 관련 데이터를 가져올 수 있게 합니다. GitHub에 오픈소스로 공개된 디노도 AI SDK는 데이터 준비 과정을 단순화합니다. 즉, 데이터를 임베딩하고 변환하며, 대규모 언어 모델(LLM)을 위해 데이터를 조율하는 과정을 자동화합니다. 그 결과는 무엇일까요? 바로 정확하고 맥락을 이해하는, 기업 데이터에 기반한 생성형 AI의 답변입니다. 

알렉스포브스: 데이터 늪에서 GenAI 기반 인사이트로
남아프리카공화국의 대표적인 금융 서비스 기업인 알렉스포브스(Alexforbes)는 매달 100만 명이 넘는 연금 펀드 회원을 관리합니다. 하지만 CRM, ERP, 레거시 시스템이 서로 단절되어 있어 Power BI 기반 재무 계산과 실시간 분석에 어려움을 겪고 있었습니다. 이와 같은 데이터 사일로와 데이터 통합 문제를 해결하기 위해, 알렉스포브스는 디노도 플랫폼을 도입했습니다. 이를 통해 모든 재무 및 운영 데이터를 원래 위치에서 그대로 가상화하여, 데이터를 이동하지 않고도 안전하고 거버넌스가 적용된 실시간 접근을 가능하게 했습니다. 또한, 디노도 AI SDK와 RAG를 활용해 전체 데이터셋 대신 맥락이 담긴 메타데이터만 벡터 저장소에 저장했습니다. 덕분에 자연어 질문을 SQL로 실시간 변환할 수 있었고, 연산 비용과 잘못된 답변(환각)을 최소화했습니다. 여기에 AI SDK와 Power BI Extension Kit으로 개발한 맞춤형 Power BI 위젯을 통해, 9개국의 비즈니스 이용자도 대시보드 안에서 직접 ‘1분기 브로커 기여도는 얼마인가요?’와 같은 질문을 할 수 있었습니다. 결과는 몇 초도 걸리지 않는 빠른 응답, 정확한 결과, 그리고 다국어 지원이었습니다.

페스토 AG: 생성형 AI를 위한 자동화 데이터 통합
전 세계 35개 산업 분야에서 30,000개 이상의 제품을 제공하며 30만 명 이상의 고객을 보유한 공장 및 프로세스 자동화 글로벌 리더 페스토 AG(Festo AG) 는, 새로운 생성형 AI 애플리케이션 FestoGPT와 Skillground를 지원하기 위해 판매 및 가격 정형 데이터와 반정형 기계·기술 문서를 통합하려 했습니다. 하지만 초기 통합 시도에서 전체 데이터셋을 임베딩하는 방식은 비용이 많이 들고 비효율적이었으며, 거버넌스와 보안 요구 사항 때문에 엄격한 접근 제어와 고품질 메타데이터가 필요했습니다. 이를 해결하기 위해 디노도 플랫폼 9.1의 메타데이터 기반 시맨틱 레이어와 AI SDK를 활용했습니다. 방대한 데이터를 복제하지 않고, 메타데이터만 벡터 저장소에 임베딩하여 추론 시점에 최적화된 쿼리를 동적으로 생성했습니다. 이 모든 과정은 온프레미스와 클라우드 소스를 아우르는 단일 RESTful API 레이어를 통해 이루어졌습니다. 또한 역할 기반 접근 제어, 동적 마스킹, 감사 로깅을 적용해 GDPR 규정을 준수하면서 민감 정보를 보호했습니다. 그 결과, FestoGPT와 Skillground는 제품 구성 세부 정보에서 에너지 효율 KPI에 이르기까지, 자연어 질의를 통해 실시간으로 정확한 인사이트를 제공합니다. 이를 통해 컨설턴트와 현장 엔지니어 모두가 활용할 수 있게 되었고, 페스토는 판매 성과 및 KPI 보고 개선, 데이터 검색 간소화, 불필요한 데이터 중복 제거로 인한 저장 비용 절감이라는 효과를 얻었습니다.

생성형 AI를 가능하게 하는 디노도
디노도는 생성형 AI 혁신을 따라가는 것이 아니라, 그 혁신을 이끌고 있습니다. RAG 기반 시맨틱 레이어는 복잡하게 흩어진 데이터를 AI 활용이 가능한 자산으로 바꿔 줍니다. 알렉스포브스와 페스토 같은 기업 사례가 이를 증명합니다. 실시간 논리적 데이터 관리는 단순히 운영을 효율화하는 데 그치지 않고, 무엇이 가능한지에 대한 기준을 새롭게 정의합니다. 여러분은 생성형 AI를 비즈니스에 적용할 준비가 되셨나요? 디노도에서 해답을 찾아보시기 바랍니다. 디노도의 생성형 AI 역량을 확인해 보시거나, GitHub에 공개된 AI SDK를 살펴보시기 바랍니다. 

Sunny Panjabi

Senior Product Marketing Manager, APAC

Denodo Express

무료 데이터 가상화 솔루션

무료 다운로드