MinIO는 MinIO AIStor의 새로운 기능인 AIStor 테이블 공유를 출시했습니다. 이 기능을 통해 기업은 Delta Sharing 개방형 프로토콜을 사용하여 온프레미스 데이터를 Databricks 플랫폼에서 직접 액세스할 수 있습니다. 이를 통해 Databricks는 기존의 데이터 이동이나 복제 과정 없이 온프레미스 데이터 세트에 즉시 접근하여 분석 및 AI 작업을 수행할 수 있습니다.
Databricks의 온프레미스 데이터 중력 문제 해결
많은 기업들이 분석 및 AI를 위해 Databricks를 사용하지만, 확장성, 성능, 비용 및 규정 준수 등의 이유로 가장 중요한 데이터는 여전히 온프레미스에 저장되어 있습니다.
기존에는 온프레미스 데이터를 Databricks에 연결하려면 복잡한 ETL 파이프라인, 클라우드 스토리지의 데이터 중복, 별도의 거버넌스가 필요했기 때문에 인사이트 도출 속도가 느리고 비용이 높으며 운영 위험과 유지 관리 문제가 발생했습니다.
AIStor 테이블 공유는 델타 공유를 객체 스토어에 통합하여 플랫폼, 클라우드 및 지역 간에 원활하고 안전한 데이터 공유를 가능하게 합니다. Databricks의 오픈 소스 프로토콜을 내장함으로써 MinIO는 데이터 중복이나 형식 제한 없이 실시간 데이터에 대한 연합 분석을 지원합니다.
MinIO의 공동 창립자 겸 공동 CEO인 AB 페리아사미는 기업들이 대규모 데이터 세트를 분석하기 위해 전송할 필요가 없다고 강조했습니다. 그는 AI 기술이 온프레미스와 클라우드 환경 모두로 확장됨에 따라 "데이터 중력"이 지속적인 과제라고 설명했습니다. 페리아사미는 델타 셰어링(Delta Sharing) 기반의 AIStor 테이블 셰어링(Table Sharing)이 데이터가 저장된 위치에서 바로 접근할 수 있도록 지원함으로써 하이브리드 AI 배포 환경에서 인사이트 도출 속도를 높이고 위험을 줄이며 운영을 간소화할 수 있다고 밝혔습니다.
Databricks의 제품 생태계 및 파트너십 담당 수석 부사장인 Stephen Orban은 고객들이 클라우드와 온프레미스 환경 모두에서 데이터를 관리하고 공유할 수 있는 방법을 자주 요청한다고 지적했습니다. 그는 Databricks와 MinIO의 파트너십을 개방형 데이터 생태계 전략의 일환으로 설명했습니다. MinIO의 Delta Sharing 통합은 복잡한 복제 과정 없이 온프레미스 데이터를 Databricks에 안전하게 연결하여 하이브리드 워크로드에 대한 인사이트를 신속하게 도출할 수 있도록 지원하는 것을 목표로 합니다.
AIStor 테이블과 Apache Iceberg를 기반으로 구축되었습니다.
AIStor 테이블 공유는 MinIO의 Apache Iceberg v3 기반 플랫폼인 AIStor 테이블을 기반으로 하며, 온프레미스 및 하이브리드 환경에서 엔터프라이즈 규모로 운영되는 최신 데이터 레이크하우스 아키텍처를 지원합니다. AIStor 테이블에는 다음이 포함됩니다.
고성능, S3 호환 MinIO 객체 스토리지
– 통합된 아이스버그 테이블 카탈로그 및 메타데이터
테이블 작업을 위한 REST API
– 개방형 데이터 공유 표준에 대한 기본 지원 기능 포함
테이블 정의, 거버넌스 정책 및 공유 프로토콜이 모두 동일한 데이터 저장 시스템 내에서 관리되므로 기업은 외부 카탈로그나 공유 계층 없이 AIStor에서 직접 테이블 공유를 정의하고 게시할 수 있습니다.
AIStor는 정형 데이터와 비정형 데이터를 단일 스토리지 및 메타데이터 환경으로 통합합니다. AIStor는 AI 데이터 저장소 역할을 하며, 단일 데이터 계층에서 분석 및 GPU 기반 AI 작업을 지원합니다. AIStor의 목적은 아키텍처를 단순화하고, 데이터 중복을 방지하며, 운영 복잡성을 줄이는 것입니다.
AIStor 테이블 공유는 이 프레임워크를 Databricks 환경으로 확장하여 사용자가 성능, 비용 효율성 및 로컬 관리 제어를 유지하면서 온프레미스 AIStor 데이터를 일급 테이블처럼 액세스할 수 있도록 합니다.
주요 특징
AIStor 테이블 공유는 개방형 프로토콜과 하이브리드 아키텍처를 강조합니다. 주요 기능은 다음과 같습니다.
- 개방형 공유 기능이 기본적으로 구현되어 있습니다. AIStor는 MinIO에서 Delta Sharing 1.0을 사용하여 표준 기반 데이터 공유를 지원함으로써 호환성을 높이고 벤더 종속성을 줄입니다.
- 온프레미스 데이터에 대한 현장 분석: Databricks는 복제 없이 델타 공유를 통해 AIStor의 온프레미스 데이터에 액세스하여 비용을 절감하는 동시에 성능, 보안 및 규정 준수를 유지합니다.
- 다양한 형식의 표 지원: AIStor 테이블 공유는 Delta 테이블과 Apache Iceberg 테이블을 모두 지원하므로 기업은 공유 방식을 변경하지 않고도 시간이 지남에 따라 다양한 개방형 형식을 채택하거나 공존할 수 있습니다.
- Databricks 네이티브 통합: 델타 공유를 기반으로 하는 AIStor 테이블 공유를 통해 Databricks 워크스페이스에서 온프레미스 테이블에 직접 액세스할 수 있습니다. 클러스터는 이러한 공유 테이블을 네이티브 테이블처럼 처리하여 추가적인 데이터 수집이나 커넥터 없이 온프레미스 데이터에 대한 클라우드 분석 기능을 확장할 수 있습니다.
- 하이브리드 및 멀티 클라우드 설계: 이 기능은 온프레미스, 하이브리드 및 멀티 클라우드 환경을 지원하여 데이터가 로컬에 저장된 상태로 Databricks를 통해 여러 지역에서 액세스할 수 있도록 합니다.
기업에 집중하세요
MinIO와 Databricks는 제조, 금융 서비스, 에너지, 소매 및 물류와 같은 다양한 산업 분야의 기업 고객을 대상으로 서비스를 제공합니다. 이러한 기업들은 일반적으로 온프레미스 환경에서 대량의 운영 데이터를 생성합니다. 규제, 지연 문제 및 비용 문제로 인해 모든 데이터를 클라우드로 이전하는 것은 현실적으로 어렵습니다.
AIStor 테이블 공유는 고객이 선택적으로 복제된 하위 집합이 아닌, 실제 데이터 세트에서 Databricks의 분석 및 AI 기능을 직접 활용하고자 하는 시나리오를 대상으로 합니다. 개방형 공유 프로토콜을 통해 액세스를 허용하면서 데이터를 로컬에 유지함으로써 기업은 기존의 규정 준수, 감사 및 데이터 주권 요구 사항을 준수하는 동시에 분석 및 AI 프로세스를 Databricks에 통합할 수 있습니다.
유연성과 확장성
AIStor 테이블 공유는 대규모 조직이 다양한 형식과 플랫폼에 걸쳐 다양한 데이터를 효율적으로 관리하는 방법을 보여줍니다. MinIO는 Delta 테이블과 Apache Iceberg 테이블을 모두 지원함으로써 고객이 특정 프레임워크나 독점적인 공유 방식에 얽매이지 않도록 합니다.
모든 MinIO AIStor 에디션은 동일한 바이너리 및 코어 아키텍처를 공유하며, 차이점은 라이선스 기능, 확장성 제약 조건 및 지원 수준에만 국한됩니다. 이러한 구조를 통해 기업은 적절한 시점에 AIStor 테이블 공유를 도입하고, 기본 소프트웨어를 변경하지 않고도 필요에 따라 용량, 성능 및 기능을 확장할 수 있습니다.
이용 가능 여부 (Availability)
MinIO AIStor에서 AIStor 테이블 공유 기능이 이제 정식으로 제공됩니다.
아마존