NVIDIA는 AWS re:Invent에서 맞춤형 대규모 언어 모델(LLM)을 엔터프라이즈 데이터와 통합하여 엔터프라이즈 AI 환경을 개선할 것을 약속하는 새로운 생성 AI 마이크로서비스인 NVIDIA NeMo Retriever를 선보이며 주목을 받았습니다. 목표는 NeMo Retriever가 기업의 AI 애플리케이션에 전례 없이 정확한 응답을 제공하는 것입니다.
NVIDIA는 AWS re:Invent에서 맞춤형 대규모 언어 모델(LLM)을 엔터프라이즈 데이터와 통합하여 엔터프라이즈 AI 환경을 개선할 것을 약속하는 새로운 생성 AI 마이크로서비스인 NVIDIA NeMo Retriever를 선보이며 주목을 받았습니다. 목표는 NeMo Retriever가 기업의 AI 애플리케이션에 전례 없이 정확한 응답을 제공하는 것입니다.
NVIDIA NeMo Retriever는 최첨단 생성 AI 모델을 구축, 사용자 정의 및 배포하도록 설계된 고급 프레임워크와 도구로 잘 알려진 NeMo 제품군의 최신 추가 제품입니다. 이 엔터프라이즈급 의미 검색 마이크로서비스는 강력한 검색 증강 생성(RAG) 기능을 통해 생성 AI 애플리케이션을 향상하도록 설계되었습니다.
NeMo Retriever를 차별화하는 것은 NVIDIA에 최적화된 알고리즘을 통해 더욱 정확한 응답을 제공하는 능력입니다. 이 마이크로서비스를 통해 개발자는 클라우드나 데이터 센터 등 위치에 관계없이 AI 애플리케이션을 다양한 비즈니스 데이터에 원활하게 연결할 수 있습니다. NVIDIA AI Enterprise 소프트웨어 플랫폼의 일부인 이 소프트웨어는 AWS Marketplace에서 편리하게 사용할 수 있습니다.
NVIDIA NeMo 리트리버가 이미 사용 중입니다.
이 기술의 영향력은 Cadence, Dropbox, SAP, ServiceNow와 같은 업계 리더들이 NVIDIA와 협력하면서 이미 느껴지고 있습니다. 이들은 이 기술을 맞춤형 생성 AI 애플리케이션 및 서비스에 통합하여 비즈니스 인텔리전스의 가능성을 넓히고 있습니다.
Cadence의 사장 겸 CEO인 Anirudh Devgan은 "Generative AI는 설계 프로세스 초기에 잠재적인 결함을 찾아내는 도구 등 고객 요구 사항을 해결하기 위한 혁신적인 접근 방식을 도입합니다."라고 말했습니다.
전자 시스템 설계 분야의 글로벌 리더인 Cadence는 NeMo Retriever를 활용하여 산업용 전자 설계 분야의 AI 애플리케이션을 위한 RAG 기능을 개발하고 있습니다. Cadence의 CEO인 Anirudh Devgan은 설계 결함을 조기에 발견하여 고품질 제품 개발을 가속화하는 생성 AI의 잠재력을 강조했습니다.
오픈 소스 RAG 툴킷과 달리 NeMo Retriever는 상업적으로 실행 가능한 모델, API 안정성, 보안 패치 및 기업 지원을 제공하는 프로덕션 준비 상태로 시장에 출시됩니다. 최적화된 임베딩 모델은 복잡한 단어 관계를 포착하고 LLM의 처리 및 분석 기능을 향상시키는 주요 기술 발전입니다.
엔비디아 GH200 슈퍼칩
NVIDIA NeMo 리트리버가 중요한 이유
LLM을 여러 데이터 소스 및 지식 기반에 연결하는 NeMo Retriever의 능력은 놀랍습니다. 이를 통해 사용자는 간단한 대화 프롬프트를 통해 데이터와 상호 작용하고 정확한 최신 응답을 얻을 수 있습니다. 이 기능은 텍스트, PDF, 이미지, 비디오 등 다양한 데이터 형식으로 확장되어 포괄적이고 안전한 정보 액세스를 보장합니다.
가장 흥미로운 점은 NVIDIA NeMo Retriever가 더 적은 교육으로 더 정확한 결과를 약속하여 출시 기간을 단축하고 생성 AI 애플리케이션 개발 워크플로우에서 에너지 효율성을 지원한다는 것입니다.
이것이 바로 NeMo 리트리버가 정말 빛을 발하는 부분입니다. NeMo Retriever는 RAG와 LLM을 통합하여 기존 모델의 한계를 극복했습니다. RAG는 특히 개방형 도메인 질의응답 애플리케이션의 경우 정보 검색 기능을 LLM과 결합하여 LLM의 방대하고 업데이트 가능한 지식 기반에 대한 액세스를 크게 향상시킵니다.
RAG 파이프라인 살펴보기
NeMo Retriever는 오프라인 단계에서 지식 기반을 인코딩하는 것부터 시작하여 RAG 프로세스를 최적화합니다. 이 단계에서는 딥러닝 모델을 사용하여 다양한 형식의 문서를 청크화하고 포함하여 조밀한 벡터 표현을 생성합니다. 그런 다음 이는 나중에 의미 검색에 중요한 벡터 데이터베이스에 저장됩니다. 임베딩 프로세스는 단어 간의 관계를 포착하여 LLM이 향상된 정확도로 텍스트 데이터를 처리하고 분석할 수 있도록 하는 핵심입니다.
내부적으로, 생산하고, 질문에 답하는 과정에서 NeMo Retriever의 능력이 진정으로 빛을 발합니다. 여기에는 벡터 데이터베이스에서 검색과 응답 생성이라는 두 가지 중요한 단계가 포함됩니다. 사용자가 쿼리를 입력하면 NeMo Retriever는 먼저 이 쿼리를 밀집 벡터로 삽입하고 이를 사용하여 벡터 데이터베이스를 검색합니다. 그런 다음 이 데이터베이스는 쿼리와 관련된 가장 관련성이 높은 문서 청크를 검색합니다. 마지막 단계에서 이러한 청크는 사용자의 쿼리와 함께 LLM에 제공되는 컨텍스트를 형성하기 위해 결합됩니다. 이 프로세스를 통해 생성된 응답이 정확하고 사용자 쿼리와 관련성이 높은지 확인됩니다.
NVIDIA NeMo로 기업의 과제 극복
엔터프라이즈 애플리케이션을 위한 RAG 파이프라인을 구축하는 것은 중요한 과제입니다. 실제 쿼리의 복잡성부터 다중 전환 대화 요구에 이르기까지 기업에는 기술적으로 진보되고 규정을 준수하며 상업적으로 실행 가능한 솔루션이 필요합니다. NeMo Retriever는 낮은 대기 시간과 높은 처리량에 최적화된 즉시 사용 가능한 구성 요소를 제공하여 기업이 AI 애플리케이션에 이러한 기능을 배포할 수 있도록 함으로써 이 작업을 수행하는 것을 목표로 합니다.
이 기술에 대한 NVIDIA의 노력은 NVIDIA Q&A 검색 임베딩 모델과 마찬가지로 모델과 서비스를 지속적으로 개선하는 것까지 확장됩니다. NVIDIA는 변환기 인코더로서 비공개 및 공개 데이터 세트를 모두 활용하여 텍스트 기반 질문 답변을 위한 가장 정확한 임베딩을 제공하도록 미세 조정되었다고 말합니다.
최첨단 AI로 기업 역량 강화
NeMo Retriever의 실제 응용 분야는 방대하고 다양합니다. IT 및 HR 보조원부터 R&D 연구 보조원까지, LLM을 여러 데이터 소스 및 지식 기반에 연결하는 NeMo Retriever의 기능을 통해 기업은 보다 대화적이고 직관적인 방식으로 데이터와 상호 작용할 수 있습니다. NeMo Retriever는 기업 전체의 다양한 비즈니스 기능 전반에 걸쳐 사용자 경험을 향상하고 효율성과 생산성을 향상시킬 준비가 되어 있습니다.
이 혁신적인 기술을 활용하고자 하는 개발자는 NVIDIA NeMo Retriever에 대한 조기 액세스에 등록할 수 있습니다.
이번 릴리스를 둘러싼 흥분은 현재의 AI 기능을 향상시키고 기업 부문에서 LLM 채택을 위한 다양한 가능성을 열어주기 때문에 뚜렷이 드러납니다. 최근 AI 뉴스에서는 "게임 체인저"라는 용어가 자주 등장합니다. 그럼에도 불구하고 NeMo Retriever는 생성적 AI와 실행 가능한 비즈니스 인텔리전스를 연결하는 핵심 요소로서 고급 AI 기능과 실제 엔터프라이즈 애플리케이션 사이에 실질적인 다리를 제공합니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
