Google Cloud ha lanzado su asesor Storage Intelligence para todos los usuarios y ha ampliado las operaciones por lotes para Google Cloud Storage. El asesor supervisa los entornos de almacenamiento en busca de anomalías operativas, mientras que el motor de procesamiento por lotes mejorado aplica cambios de política a hasta 1,000 buckets por proyecto en una única tarea administrada. Ambas funciones ya están disponibles para todos los suscriptores de Storage Intelligence.
Detección automatizada de anomalías y análisis de referencia
El asesor de Storage Intelligence elimina la necesidad de extraer manualmente el inventario y crear flujos de trabajo personalizados para la unión de registros, ya que genera resultados directamente a partir de instantáneas de uso diarias y líneas base de actividad del proyecto. Google afirma que el asesor detecta picos de solicitudes de clase A o clase B en los niveles Coldline y Archive, identifica errores de límite de velocidad 429, detecta picos de salida entre regiones e informa sobre el consumo agregado que supera las tendencias a largo plazo en un plazo de 24 horas. El proveedor informa que se generaron más de 6,000 resultados en cientos de entornos de clientes durante los últimos 30 días.
Cuando se producen desviaciones de acceso, el asesor vincula las anomalías directamente con el bucket, el prefijo y la cuenta de servicio responsables. Para volúmenes de lectura inesperados en niveles de datos fríos, la plataforma describe rutas de corrección específicas: transición masiva de objetos al almacenamiento estándar para eliminar los costos de recuperación, habilitación de Autoclass para la estratificación automatizada basada en el acceso o aplicación de carpetas administradas para restringir las cuentas de servicio no autorizadas. Charley King, ingeniero de DataOps-DevOps en Shipt, una subsidiaria de Target, comentó: “Antes del asesor de Storage Intelligence, el seguimiento de las métricas de uso críticas y la detección de anomalías requerían una ingeniería compleja y canalizaciones de datos complejas. Ahora, con paneles nativos listos para usar, podemos identificar instantáneamente picos de uso y analizar los detalles. Tener la visibilidad para corregir inmediatamente el uso no deseado, sin ninguna configuración, ha convertido lo que solía ser un gran esfuerzo en una tarea simple de autoservicio”.
Corrección por lotes sin servidor en entornos de múltiples depósitos
La remediación opera a través de un motor de ejecución administrado y sin servidor que maneja la limitación de velocidad, los reintentos y el seguimiento del progreso en miles de millones de objetos. El motor de procesamiento por lotes mejorado del proveedor amplía los límites de procesamiento, lo que permite que un solo envío de trabajo abarque hasta 1,000 depósitos por proyecto en lugar de requerir pasadas secuenciales por depósito. Kurtis Nusbaum, ingeniero principal de software sénior en Palo Alto Networks, dijo: “Los bloqueos de retención de objetos eran esenciales para nuestras medidas de seguridad, pero administrarlos en miles de millones de objetos era inviable. Storage Intelligence lo cambió. Hoy, nuestro equipo utiliza operaciones de almacenamiento por lotes para actualizar sin problemas las políticas de retención bajo demanda en toda nuestra flota”. Google plantea la combinación en torno a tres tareas: la transición masiva de objetos Archive o Coldline de alto tráfico a Standard tan pronto como se detecta un pico, la eliminación masiva de datos obsoletos o temporales bajo prefijos específicos cuando el crecimiento supera la tendencia, y la aplicación uniforme de cambios de metadatos, etiquetado, retención o cifrado en grandes conjuntos de objetos sin necesidad de aprovisionar recursos informáticos.
Los administradores pueden validar las actualizaciones masivas mediante un modo de simulación de prueba nativo antes de modificar los datos de producción. La ejecución de la prueba informa sobre el número de objetos afectados, la capacidad agregada y los posibles puntos de fallo. La segmentación se basa en consultas del Lenguaje de Expresiones Comunes (CEL) evaluadas en conjuntos de datos de Storage Insights, lo que permite a los administradores filtrar los ámbitos de destino por clase de almacenamiento, tamaño del objeto, fecha de creación o etiquetas de metadatos personalizadas.
Aquí se muestra un ejemplo de interfaz de línea de comandos (CLI) que ilustra cómo crear un trabajo de operaciones por lotes utilizando filtros avanzados. Este trabajo elimina todos los objetos temporales de la clase de almacenamiento estándar de los depósitos de análisis de un usuario.
gcloud storage batch-operations jobs create bulk-delete-temp-objects \
--description="Bulk delete temporary objects in analytics buckets" \
--target-project="my-project-id" \
--insights-dataset-config="projects/my-project-id/locations/us-central1/datasetConfigs/my-dataset" \
--bucket-filters="name.startsWith('analytics-')" \
--object-filters="storageClass == 'STANDARD' && name.endsWith('.temp')" \
--delete-object
Disponibilidad de funciones y especificaciones
El asesor y las herramientas de procesamiento por lotes se incluyen en la suscripción a Storage Intelligence, y ambos están disponibles para el público en general. Al habilitar Storage Intelligence en una organización, carpeta o proyecto, el asesor se activa para cada bucket dentro de ese ámbito sin necesidad de crear un esquema, canalización o panel de control. Google afirma que el número de clientes que utilizan Storage Intelligence para analizar conjuntos de datos de más de mil millones de objetos se ha duplicado con creces este año, y los nuevos usuarios obtienen una prueba gratuita de 30 días.
Amazon