存储评论网

DataFusion 虚拟数据库内存性能基准

DataFusion 是一种企业内存虚拟数据库或数据仓库,具有灵活性和可扩展性,可以处理最具挑战性的数据需求。 其扩展的 SQL92 指令集可以直接聚合来自现有位置的不同源数据。 这使得组织能够利用现有资产并满足新需求,而无需大型且昂贵的数据仓库项目。 凭借高水平的数据压缩和先进的执行策略,DataFusion 提供了一条实现卓越查询性能的硬件轻路线。 行业标准和自定义分析的无缝集成使组织能够快速评估最苛刻和动态的情况。 DataFusion 功能齐全,具有高性能、快速部署和高可用性,对于任何“敏捷组织”来说都是宝贵的资产。

所有行业(包括金融服务、公共部门和批量分销商)的大型数据密集型组织都可以从 DataFusion 独特的架构中受益,该架构将帮助任何面临“大数据”挑战的公司。 示例解决方案包括实时决策支持、风险管理、监管报告和供应链优化,需要跨多个司法管辖区或法律实体进行数据聚合。

数据融合基准测试

  • DataFusion 基准测试由 Stream Financial 开发,用于评估硬件配置,并用作 DataFusion 发布期间使用的一系列性能测试的一部分。
  • 虽然 DataFusion 可以跨多个架构进行查询,但该基准测试是在 1Tn 行 x 13 列表上进行的直接“where 和 group-by”,该表是在没有索引的情况下“强力”执行的。
  • 万亿行数据表以 DataFusion 的本机格式预先存储在磁盘上。
  • 为了实现多通道甚至混合存储的最大性能,DataFusion 可以将大型表跨多个装载进行条带化,并使用不同的 IO 乘数在这些装载之间进行循环,以充分利用所有可用的存储性能。
  • DataFusion 可以将这些大型查询的执行分散到多个 CPU 和机器上,同时优化 IO 和内存的使用。
  • 为了实现最大基准性能,DataFusion 可以灵活地独立添加存储性能或 CPU。 这可确保服务器和存储都得到充分利用。