Google Cloud ha reso disponibile a tutti il suo strumento di consulenza Storage Intelligence e ha ampliato le funzionalità di elaborazione batch per Google Cloud Storage. Lo strumento di consulenza monitora gli ambienti di archiviazione per individuare anomalie operative, mentre il motore batch migliorato applica le modifiche alle policy a un massimo di 1,000 bucket per progetto in un singolo job gestito. Entrambe le funzionalità sono ora disponibili per tutti gli abbonati a Storage Intelligence.
Rilevamento automatico delle anomalie e analisi di base
Storage Intelligence Advisor elimina la necessità di estrazione manuale dell'inventario e di pipeline personalizzate di unione dei log, generando risultati direttamente da snapshot di utilizzo giornalieri e baseline di attività di progetto. Google afferma che Advisor segnala picchi di richieste di Classe A o Classe B sui livelli Coldline e Archive, rileva errori di limitazione della velocità 429 in aumento, intercetta picchi di traffico in uscita tra regioni e segnala il consumo aggregato che supera le tendenze a lungo termine entro 24 ore. Il fornitore riferisce di aver generato oltre 6,000 risultati in centinaia di ambienti clienti negli ultimi 30 giorni.
Quando si verificano deviazioni di accesso, il sistema di consulenza collega le anomalie direttamente al bucket, al prefisso e all'account di servizio responsabili. Per volumi di lettura inattesi su livelli di dati "freddi", la piattaforma delinea percorsi di correzione specifici: migrazione in blocco degli oggetti allo storage Standard per eliminare i costi di recupero, abilitazione di Autoclass per la gestione automatizzata dei livelli in base all'accesso o applicazione di Cartelle Gestite per limitare gli account di servizio non autorizzati. Charley King, DataOps-DevOps Engineer presso Shipt, una consociata di Target, ha dichiarato: "Prima di Storage Intelligence Advisor, il monitoraggio delle metriche di utilizzo critiche e l'individuazione delle anomalie richiedevano un'ingegneria complessa e pipeline di dati articolate. Ora, grazie alle dashboard native e pronte all'uso, possiamo identificare istantaneamente i picchi di utilizzo e analizzare i dettagli. La possibilità di correggere immediatamente l'utilizzo indesiderato, senza alcuna configurazione, ha trasformato quello che prima era un impegno notevole in un'attività semplice e self-service."
Correzione batch serverless in ambienti multi-bucket
Il processo di correzione avviene tramite un motore di esecuzione gestito e serverless che si occupa di limitazione della velocità, tentativi e monitoraggio dell'avanzamento su miliardi di oggetti. Il motore batch avanzato del fornitore espande i limiti di elaborazione, consentendo a un singolo invio di lavoro di estendersi fino a 1,000 bucket per progetto, anziché richiedere passaggi sequenziali per ogni bucket. Kurtis Nusbaum, Senior Principal Software Engineer di Palo Alto Networks, ha dichiarato: "I blocchi di conservazione degli oggetti erano essenziali per le nostre misure di sicurezza, ma gestirli su miliardi di oggetti era un tempo impraticabile. Storage Intelligence ha cambiato le cose. Oggi, il nostro team utilizza operazioni batch di storage per aggiornare senza soluzione di continuità le policy di conservazione on demand su tutta la nostra infrastruttura." Google inquadra la combinazione attorno a tre attività: la transizione in blocco di oggetti Archive o Coldline ad alto traffico a Standard non appena viene rilevato un picco, la cancellazione in massa di dati obsoleti o temporanei con prefissi specifici quando la crescita supera la tendenza e l'applicazione uniforme di modifiche a metadati, tag, conservazione o crittografia su grandi set di oggetti senza necessità di elaborazione.
Gli amministratori possono convalidare gli aggiornamenti di massa tramite una modalità di simulazione nativa prima di modificare i dati di produzione. L'esecuzione della simulazione riporta il numero di oggetti interessati, la capacità aggregata e i potenziali punti di errore. La definizione degli obiettivi si basa su query Common Expression Language (CEL) valutate rispetto ai set di dati di Storage Insights, consentendo agli amministratori di filtrare gli ambiti di destinazione in base alla classe di archiviazione, alle dimensioni degli oggetti, alla data di creazione o ai tag di metadati personalizzati.
Ecco un esempio da riga di comando che illustra come creare un'attività batch utilizzando filtri avanzati. Questa attività elimina tutti gli oggetti temporanei nella classe di archiviazione Standard dai bucket "analytics" di un utente.
gcloud storage batch-operations jobs create bulk-delete-temp-objects \
--description="Bulk delete temporary objects in analytics buckets" \
--target-project="my-project-id" \
--insights-dataset-config="projects/my-project-id/locations/us-central1/datasetConfigs/my-dataset" \
--bucket-filters="name.startsWith('analytics-')" \
--object-filters="storageClass == 'STANDARD' && name.endsWith('.temp')" \
--delete-object
Disponibilità e specifiche delle funzionalità
Il consulente e gli strumenti di elaborazione batch sono inclusi nell'abbonamento Storage Intelligence e sono entrambi disponibili a livello generale. L'attivazione di Storage Intelligence su un'organizzazione, una cartella o un progetto attiva il consulente per ogni bucket in quell'ambito, senza necessità di creare schemi, pipeline o dashboard. Google afferma che il numero di clienti che utilizzano Storage Intelligence per analizzare set di dati con oltre 1 miliardo di oggetti è più che raddoppiato quest'anno e i nuovi utenti possono usufruire di una prova gratuita di 30 giorni.
Amazon