DataFusion — это корпоративная виртуальная база данных или хранилище данных, работающее в оперативной памяти и обладающее гибкостью и масштабируемостью для обработки самых сложных требований к данным. Расширенный набор инструкций SQL92 позволяет напрямую агрегировать разрозненные исходные данные из существующих источников. Это позволяет организациям использовать имеющиеся ресурсы и удовлетворять новые требования без необходимости в крупных и дорогостоящих проектах по созданию хранилищ данных. Благодаря высокому уровню сжатия данных и передовым стратегиям выполнения, DataFusion предлагает облегченный аппаратный путь к исключительной производительности запросов. Бесшовная интеграция стандартных и пользовательских аналитических инструментов позволяет организациям быстро оценивать самые сложные и динамичные ситуации. DataFusion, обладающий полным набором функций для высокой производительности, быстрого развертывания и высокой доступности, является ценным активом для любой «гибкой организации».
Крупные организации, работающие с большими объемами данных во всех отраслях, включая финансовый сектор, государственный сектор и крупных дистрибьюторов, могут извлечь выгоду из уникальной архитектуры DataFusion, которая поможет любой компании, столкнувшейся с проблемой «больших данных». Примеры решений включают поддержку принятия решений в режиме реального времени, управление рисками, подготовку нормативной отчетности и оптимизацию цепочки поставок, требующие агрегации данных из нескольких юрисдикций или юридических лиц.
Тест производительности DataFusion
- Тест производительности DataFusion, разработанный компанией Stream Financial для оценки аппаратных конфигураций, используется в рамках комплекса тестов производительности, применяемых при выпуске DataFusion.
- Хотя DataFusion может выполнять запросы к различным архитектурам, этот тест представляет собой простую операцию «где и группировать» в таблице размером 1 Тн строк на 13 столбцов, которая выполняется «грубым методом» без использования индексов.
- Таблица с триллионом строк предварительно хранится на диске (дисках) в собственном формате DataFusion.
- Для достижения максимальной производительности многоканального или даже смешанного хранилища DataFusion может распределять большие таблицы по нескольким точкам монтирования и использовать алгоритм циклического распределения по этим точкам монтирования с различными множителями ввода-вывода, чтобы наилучшим образом использовать всю доступную производительность хранилища.
- DataFusion позволяет распределять выполнение этих больших запросов между несколькими процессорами и машинами, оптимизируя при этом использование ввода-вывода и памяти.
- Для достижения максимальной производительности в соответствии с бенчмарками, DataFusion предоставляет возможность независимо добавлять либо производительность хранилища, либо процессор. Это гарантирует использование серверов и хранилища на полную мощность.




Amazon