Spoločnosť Google Cloud sprístupnila svojho poradcu Storage Intelligence všeobecne a rozšírila dávkové operácie pre Google Cloud Storage. Poradca monitoruje úložné prostredia a hľadá prevádzkové anomálie, zatiaľ čo vylepšený dávkový nástroj aplikuje zmeny politík až na 1 000 segmentov na projekt v rámci jednej spravovanej úlohy. Obe funkcie sú teraz dostupné pre všetkých predplatiteľov služby Storage Intelligence.
Automatická detekcia anomálií a základná analýza
Poradca pre Storage Intelligence eliminuje potrebu manuálnej extrakcie inventára a vlastných kanálov spájania protokolov generovaním zistení priamo z denných snímok používania a základných línií aktivity projektu. Spoločnosť Google uvádza, že poradca signalizuje špičky požiadaviek triedy A alebo triedy B na úrovniach Coldline a Archive, detekuje prudko rastúce chyby limitu rýchlosti 429, zachytáva špičky výstupu medzi regiónmi a hlási súhrnnú spotrebu, ktorá presahuje dlhodobé trendy do 24 hodín. Dodávateľ uvádza, že za posledných 30 dní bolo vygenerovaných viac ako 6 000 zistení v stovkách zákazníckych prostredí.
Keď sa vyskytnú odchýlky v prístupe, poradca prepojí anomálie priamo so zodpovedným kontom, prefixom a servisným účtom. V prípade neočakávaných objemov čítania v rámci studených dátových úrovní platforma načrtáva konkrétne cesty nápravy: hromadný presun objektov do štandardného úložiska na elimináciu poplatkov za načítanie, povolenie funkcie Autoclass pre automatizované vrstvenie založené na prístupe alebo použitie spravovaných priečinkov na obmedzenie neoprávnených servisných účtov. Charley King, DataOps-DevOps Engineer v spoločnosti Shipt, dcérskej spoločnosti Target, povedal: „Pred príchodom poradcu Storage Intelligence si sledovanie kritických metrík používania a zachytávanie anomálií vyžadovalo náročné inžinierstvo a zložité dátové kanály. Teraz, s natívnymi, hotovými dashboardmi, môžeme okamžite identifikovať špičky používania a podrobne sa pozrieť na detaily. Vďaka prehľadu o okamžitej náprave neúmyselného používania bez akejkoľvek konfigurácie sa to, čo kedysi bolo veľkým úsilím, zmenilo na jednoduchú samoobslužnú úlohu.“
Dávková náprava bez servera v prostrediach s viacerými bucketmi
Náprava funguje prostredníctvom bezserverového, spravovaného vykonávacieho enginu, ktorý zabezpečuje obmedzovanie, opakované pokusy a sledovanie priebehu v rámci miliárd objektov. Vylepšený dávkový engine dodávateľa rozširuje hranice spracovania, čo umožňuje, aby jedno odoslanie úlohy pokrývalo až 1 000 sektorov na projekt, namiesto toho, aby vyžadovalo sekvenčné prechody pre každý sektor. Kurtis Nusbaum, hlavný softvérový inžinier v spoločnosti Palo Alto Networks, povedal: „Zámky na uchovávanie objektov boli nevyhnutné pre naše bezpečnostné zábrany, ale ich správa v rámci miliárd objektov bola kedysi nepredstaviteľná. Storage Intelligence to zmenila. Dnes náš tím používa dávkové operácie úložiska na bezproblémovú aktualizáciu politík uchovávania na požiadanie v celej našej flotile.“ Google zameriava toto spárovanie na tri úlohy: hromadný prechod objektov Archive alebo Coldline s vysokou návštevnosťou na Standard hneď po zistení nárastu, hromadné mazanie zastaraných alebo dočasných údajov pod špecifickými prefixmi, keď rast prekročí trend, a jednotné použitie zmien metadát, označovania, uchovávania alebo šifrovania vo veľkých súboroch objektov bez nutnosti výpočtového výkonu.
Správcovia môžu overiť hromadné aktualizácie prostredníctvom natívneho režimu simulácie nácviku pred zmenou produkčných údajov. Správy o vykonaní nácviku ovplyvnili počet objektov, agregovanú kapacitu a potenciálne body zlyhania. Zacielenie sa spolieha na dotazy jazyka Common Expression Language (CEL) vyhodnotené na základe súborov údajov Storage Insights, čo umožňuje správcom filtrovať cieľové rozsahy podľa triedy úložiska, veľkosti objektu, dátumu vytvorenia alebo vlastných značiek metadát.
Tu je príklad rozhrania CLI, ktorý ilustruje, ako vytvoriť úlohu dávkových operácií pomocou rozšírených filtrov. Táto úloha odstráni všetky dočasné objekty v triede úložiska Standard z analytických kontajnerov používateľa.
gcloud storage batch-operations jobs create bulk-delete-temp-objects \
--description="Bulk delete temporary objects in analytics buckets" \
--target-project="my-project-id" \
--insights-dataset-config="projects/my-project-id/locations/us-central1/datasetConfigs/my-dataset" \
--bucket-filters="name.startsWith('analytics-')" \
--object-filters="storageClass == 'STANDARD' && name.endsWith('.temp')" \
--delete-object
Dostupnosť funkcií a špecifikácie
Poradca a dávkové nástroje sú súčasťou predplatného Storage Intelligence a obe sú už teraz všeobecne dostupné. Povolením služby Storage Intelligence v organizácii, priečinku alebo projekte sa poradca aktivuje pre každý sektor v danom rozsahu bez nutnosti vytvárania schémy, kanála alebo dashboardu. Spoločnosť Google uvádza, že počet zákazníkov, ktorí používajú Storage Intelligence na analýzu súborov údajov s viac ako 1 miliardou objektov, sa tento rok viac ako zdvojnásobil a noví používatelia získajú 30-dňovú skúšobnú verziu bezplatne.
Amazonka