Компании Backblaze и WEKA провели совместную проверку своих платформ для конвейеров обработки данных в области ИИ, используя WEKA NeuralMesh в качестве уровня производительности для графических процессоров и Backblaze B2 Cloud Storage в качестве уровня емкости для всего остального. Интеграция, расчет размеров, настройка и тестирование уже выполнены, поэтому команда, занимающаяся инфраструктурой ИИ, может развернуть проверенную двухуровневую схему без необходимости создания и проверки собственной. Сертификация B2 для NeuralMesh находится в процессе, и обе компании заявляют, что клиенты могут связаться с любой из них, чтобы начать работу уже сейчас.
Два уровня, один жизненный цикл данных
Необработанные, неструктурированные данные, то есть обучающие наборы, медиатеки и исходные файлы, хранятся в B2. Когда набор данных становится частью задачи, критичной к производительности, он становится доступным для NeuralMesh и передается на ускорители оттуда. Как только контрольная точка, выходные данные или любой другой ресурс больше не требуют высокопроизводительного доступа, он возвращается в B2, где его можно повторно использовать в последующем запуске или вернуть, если задаче необходимо вернуться к более ранней стадии. Компании объясняют это как скорость там, где находятся графические процессоры, и пропускную способность везде, где данные перемещаются между ними по мере изменения схемы доступа.
«Командам, работающим с ИИ, необходимо обеспечить свои графические процессоры достаточным объемом данных, а также инфраструктурой с производительностью и емкостью для поддержки полного цикла обработки данных в рамках ИИ. WEKA освоила этот аспект в плане производительности. Почти два десятилетия мы занимались тем же самым в отношении емкостных хранилищ», — сказал Глеб Будман, генеральный директор Backblaze. Нилеш Патель, директор по стратегии WEKA, описал аналогичное давление с другой стороны: «Рабочие нагрузки ИИ одновременно нагружают хранилище в двух направлениях. Графическим процессорам требуется доступ к данным с точностью до микросекунды, чтобы оставаться обеспеченными данными, в то время как наборы данных и контрольные точки растут до эксабайтных масштабов. Наше сотрудничество с Backblaze предоставляет клиентам проверенный путь к обоим направлениям без затрат на самостоятельную разработку и тестирование этой интеграции».
Функция привязки к объекту протестирована на B2.
Ещё одна интересная функция — Snap-to-Object от NeuralMesh, которую, по словам компаний, они протестировали с Backblaze. Snap-to-Object записывает согласованный снимок файловой системы NeuralMesh в объектное хранилище, и при использовании Backblaze в качестве целевого хранилища, это хранилище представляет собой тот же уровень емкости, в котором уже хранятся необработанные данные и сохранённые контрольные точки. Для процесса обучения это означает, что команда может вернуться к контрольной точке или восстановить сохранённые данные вывода из Backblaze, не прибегая к импровизации в процессе работы и не поддерживая отдельное место назначения для снимков. Экономический эффект заключается в наличии облачного объектного уровня за NeuralMesh, стоимость которого определяется как емкость, и который хранит снимки вместе с защищаемыми ими данными.
В течение всего года Backblaze позиционировала B2 как уровень обеспечения производительности для ИИ, начиная с предложения B2 Neo для неооблачных платформ и заканчивая программой тестирования производительности, а WEKA предоставляет ей партнера по обеспечению производительности на стороне графических процессоров.
Amazon