Vetenskaplig forskning vid kanten – lagring med hög kapacitet möjliggör AI-accelererade insikter

Solidigm P5336 SSD låser upp nya forskningsgränser genom att stödja de dataintensiva kraven för AI och maskininlärningsalgoritmer vid kanten.

I en tid där vetenskaplig forskning snabbt avancerar till utkanten av vår tekniska kapacitet, har betydelsen av högkapacitetslagring blivit allt mer framträdande. Beväpnade med en kraftfull rigg för deep-sky-objektfångst, en uppsättning Solidigm P5336 61.44TB QLC SSD och vår nya favorit robusta Dell PowerEdge XR7620-server, utforskar vi behovet av robust, kostnadseffektiv lagring för att hantera de snabbt exploderande datakraven av kantbaserad AI-accelererad vetenskaplig forskning.

Edge Data Capture

Under de senaste åren har vetenskaplig och databeräkning genomgått en monumental förändring, och övergått från traditionella, centraliserade beräkningsmodeller till den mer dynamiska sfären av edge computing. Denna förändring är inte bara en förändring av datorpreferenser utan ett svar på modern databehandlingsutforsknings föränderliga behov och komplexitet.

I sin kärna hänvisar edge computing till att bearbeta data nära den plats där den genereras, i motsats till att förlita sig på ett centraliserat databearbetningslager. Denna förändring blir allt mer relevant inom områden där realtidsdatabehandling och beslutsfattande är avgörande. Edge computing är övertygande inom vetenskaplig forskning, särskilt inom discipliner som kräver snabb datainsamling och analys.

Faktorerna som driver Edge Computing

Flera faktorer driver utvecklingen mot edge computing inom vetenskaplig forskning. För det första är den stora mängden data som genereras av moderna vetenskapliga experiment häpnadsväckande. Traditionella databearbetningsmetoder, som involverar överföring av enorma datamängder till en central server för analys, blir opraktiska och tidskrävande.

För det andra är behovet av realtidsanalys mer uttalat än någonsin. I många forskningsscenarier kan den tid det tar att överföra data för bearbetning göra den inaktuell, vilket gör omedelbar analys på plats nödvändig.

Slutligen har mer sofistikerade datainsamlingstekniker krävt utvecklingen av lika sofistikerade databehandlingsmöjligheter. Edge computing svarar på detta behov genom att föra kraftfulla datorfunktioner närmare datakällor och därigenom förbättra effektiviteten och effektiviteten i vetenskaplig forskning.

Vetenskaplig forskning, vårt fokus på edge computing för den här artikeln, är särskilt intresserade av att behålla så mycket rådata som samlas in av moderna, sofistikerade sensorer som möjligt. Realtidsövervakning och analys av insamlad data med acceleratorer som NVIDIA L4 vid kanten ger sammanfattningar. Ändå finns det ingen ersättning för att fånga och bevara all data för framtida, mer djupgående analys. Det är här den ultratäta Solidigm QLC SSD:er kom in.

Setup

Astrofotografi, metoden att ta bilder av himlakroppar och stora områden på natthimlen, är ett utmärkt exempel på ett fält som drar stor nytta av edge computing. Traditionellt är astrofotografi en disciplin för tålamod, som kräver långa exponeringstider och betydande efterbearbetning av bilder för att extrahera meningsfull data. Förr tittade vi på påskynda processen med ett NUC-kluster. Nu är det dags att ta det till nästa nivå.

Edge-servern

Vi använde den robusta Dell PowerEdge XR7620 som kärnserverplattformen vid kanten. Dessa optimerade servrar har kort djup, dubbla uttag i en kompakt formfaktor och erbjuder accelerationsfokuserade lösningar. Till skillnad från de typiska edge-servrarna, adresserar XR7620-servern den snabba mognaden av AI/ML med stöd för de mest krävande arbetsbelastningarna, inklusive industriell automation, video, point-of-sale-analys, AI-inferencing och edge point-device-aggregation.

Dell PowerEdge XR7620 nyckelspecifikationer

För en komplett lista med specifikationer, kolla in vår fullständiga recension här: Dell PowerEdge XR7620.

Leverans	Tekniska specifikationer
Processorn	Två 4:e generationens Intel® Xeon® skalbara processorer med upp till 32 kärnor per processor
Minne	16 DDR5 DIMM-platser, stöder RDIMM 1 TB max, hastigheter upp till 4800 MT/s. Stöder endast registrerade ECC DDR5 DIMM
Enhetsfack	Främre fack: Upp till 4 x 2.5-tums SAS/SATA/NVMe SSD-enheter, 61.44 TB max, upp till 8 x E3.S NVMe direct-enheter, 51.2 TB max

Denna Dell PowerEdge-server är inte vilken teknik som helst. Den är byggd för att klara de tuffaste förhållanden som naturen har att erbjuda. Tänk minusgrader, ylande vindar och isoleringen som gör att ordet "avlägsen" verkar vara en underdrift. Men trots oddsen visade den sig vara kapabel och orubblig, och drev forskningen med kraften från dess toppmoderna processorer och en monstruös kapacitet för dataanalys.

Att ha en robust server tar bort trycket för att hålla servern säker och varm. Det är inte bara iscensättningen; det är också viktigt att servern kan motstå det gnistrande drevet från en säker plats till en kall, isolerad plats mitt i ingenstans.

Teleskopet

För det här testet valde vi en plats längs de stora sjöarna, i hjärtat av en avlägsen vildmark, långt borta från stadens invasiva ljus. Mittpunkten i vår astrofotografirigg är Celestron Nexstar 11-tums teleskop. Med en bländare F/1.9 och en brännvidd på 540 mm är detta teleskop idealiskt för astrofotografering i svagt ljus, och erbjuder anmärkningsvärda detaljer för utforskning av djup himmel. I vildmarkens djupa stillhet står detta teleskop som en vaktpost, dess lins tränad på himlen, redo att fånga det himmelska skådespelet.

One-Shot-kameran

Kopplad till Nexstar är ZWO ASI6200MC Pro One Shot Color Camera. Denna kamera är konstruerad för det enda syftet med astrofotografering och kan återge högupplösta, färgrika bilder av astronomiska objekt. Valet av en engångsfärgkamera förenklar bildbehandlingsprocessen och tar fullfärgsbilder med en enda exponering utan att behöva ytterligare filter. Denna funktion är ovärderlig i den avlägsna vildmarken, där enkelhet och effektivitet är av största vikt.

Specifikation	Detalj
Sensor	SONY IMX455 CMOS
Storlek	Fullframe
Upplösning	62 megapixel 9576×6388
Pixel storlek	3.76μm
Bayer mönster	GDPR
DDR3-buffert	256MB
Gränssnitt	USB3.0 / USB2.0

ZWO ASI6200MC Pro är en specialdesignad astrofotografikamera utrustad med en SONY IMX455 CMOS-sensor, som erbjuder en imponerande upplösning på 62 megapixlar över en fullformatssensor. Den har en pixelstorlek på 3.76 μm, vilket möjliggör detaljerade och expansiva himmelska fångar med en maximal bildhastighet på 3.51 FPS vid full upplösning.

Kameran har ett integrerat kylsystem — en reglerad tvåstegs termisk elektrisk kylare — för att sänka sensorns temperatur för att säkerställa optimal prestanda genom att hålla en temperatur 30°C-35°C under omgivande nivåer, vilket minskar elektroniskt brus för mer exakta bilder . Med funktioner som en rullande slutare, ett brett exponeringsområde och en rejäl 256 MB DDR3-buffert, är den här kameran designad för att leverera bilder av exceptionell kvalitet för både amatörer och professionella astronomer.

Att upprätthålla en pålitlig dataanslutning i den avlägsna vildmarken är inte lika utmanande idag med Starlink. Denna satellitbaserade internettjänst tillhandahåller höghastighetsdataanslutning, nödvändig för att överföra data och ta emot uppdateringar i realtid, men med avsevärd bandbreddsbegränsning för att skicka massiva datamängder tillbaka till labbet.

Lagring med hög kapacitet

Att bevara varje underram i astrofotografi är avgörande för forskare eftersom det låser upp en mängd information som är nödvändig för att främja astronomisk kunskap. Varje delbild kan fånga inkrementella variationer och nyanser i himmelsfenomen, vilket är avgörande för detaljerad analys och förståelse. Denna praxis förbättrar bildkvaliteten genom brusreducering och säkerställer datatillförlitlighet genom att tillhandahålla redundans för verifiering och hjälpa till med felkorrigering och kalibrering.

Specifikation	Solidigm D5-P5336 7.68TB
Kapacitet	7.68TB
Sekventiell läs/skriv	Upp till 6.8 GB/s Läs / 1.8 GB/s Skriv
Slumpmässig 4K Read/16K Write IOPS	Upp till 770k IOPS Read / 17.9k IOPS Write
Drive Writes Per Day (DWPD)	0.42 DWPD med 16K R/W
Garanti	5 Years

Dessutom använder vi 61.44TB Solidigm D5-P5336 Drive

Specifikation	Solidigm D5-P5336 61.44TB
Kapacitet	61.44TB
Sekventiell läs/skriv	Upp till 7 GB/s Läs / 3 GB/s Skriv
Slumpmässig 4K Read/16K Write IOPS	Upp till 1M IOPS Read / 42.6k IOPS Write
Drive Writes Per Day (DWPD)	0.58 DWPD med 16K R/W
Garanti	5 Years

Vårt primära intresse är att ha en omfattande datauppsättning som möjliggör tillämpning av avancerade beräkningstekniker, som maskininlärning och AI, för att avslöja mönster och insikter som kan missas i manuell analys eller traditionella metoder. Att behålla dessa underramar framtidssäkrar också forskningen, vilket möjliggör upparbetning med utvecklande teknologier. Det är också ett historiskt rekord för långsiktiga studier och samarbeten, vilket gör det till en ovärderlig resurs.

StorageReviews innovativa tillvägagångssätt

Vi har skjutit fram det gränssnitt som täcker edge computing och dess betydelse – och inte bara för typiska marknader som industri- och detaljhandelsbruk. Att ta med vårt kit till avlägsna platser och dokumentera alla faser av astrofotografering av bilder och sammanställningar hjälper oss att förstå hur AI gynnar oss i många olika aspekter av livet. Du kanske minns vår Extreme Edge recension från förra året, där vi satte upp vår rigg i öknen för att fånga en natthimmel utan att oroa oss för att artificiellt ljus skulle påverka våra bilder.

I strävan att tänja på gränserna för astrofotografi, särskilt vid kanten där lagring med hög kapacitet och beräkningseffektivitet är av största vikt, revolutionerar ett nytt tillvägagångssätt för bilddeconvolution vår förmåga att fånga kosmos med oöverträffad klarhet. För att uppnå detta mål introducerade vi en banbrytande arkitektur för konvolutionellt neuralt nätverk (CNN) som avsevärt minskar de artefakter som traditionellt förknippas med bilddekonvolutionsprocesser.

Kärnutmaningen inom astrofotografi ligger i att bekämpa förvrängningar som introduceras av atmosfärisk interferens, monterings- och vägledningsfel och observationsutrustningens begränsningar. Adaptiv optik har mildrat dessa problem, men deras höga kostnad och komplexitet lämnar många observatorier i sticket. Bilddekonvolution, processen att uppskatta och vända effekterna av punktspridningsfunktionen (PSF) för att förtydliga bilder, är ett viktigt verktyg i astronomens arsenal. Men traditionella algoritmer som Richardson-Lucy och statistisk dekonvolution introducerar ofta ytterligare artefakter, vilket försämrar bildens trohet.

Gå in i den innovativa lösning som föreslås för samarbete med Vikramaditya R. Chandra: en skräddarsydd CNN-arkitektur uttryckligen designad för astronomisk bildrestaurering. Denna arkitektur uppskattar inte bara PSF med anmärkningsvärd noggrannhet utan tillämpar också en Richardson-Lucy-dekonvolutionsalgoritm förbättrad av djupinlärningstekniker för att minimera introduktionen av artefakter. Vår forskning visar överlägsen prestanda jämfört med befintliga metoder genom att träna denna modell på bilder vi tagit och från Hubble Legacy Archive, vilket visar en tydlig väg mot artefaktfria astronomiska bilder.

Kärnan i denna arkitektur är en tvåfasig metod: initialt uppskattar ett faltningsneuralt nätverk PSF, som sedan används i en modifierad Richardson-Lucy-algoritm för att dekonvolvera bilden. Den andra fasen använder en annan djup CNN, tränad att identifiera och eliminera kvarvarande artefakter, vilket säkerställer att den utgående bilden förblir så sann mot det ursprungliga astronomiska objektet som möjligt. Detta uppnås utan att använda alltför förenklingstekniker som Gaussisk oskärpa, som också kan introducera oönskade effekter som "ringning".

Denna modells betydelse sträcker sig utöver dess omedelbara tillämpningar inom astrofotografering. För edge computing, där processorkraft och lagringskapacitet är i högsta grad, lovar effektiviteten och effektiviteten hos denna nya CNN-arkitektur en ny era av högfientlig bildbehandling. Möjligheten att bearbeta och lagra stora mängder optisk data vid kanten öppnar nya möjligheter för forskning, vilket möjliggör realtidsanalys och beslutsfattande i observationskampanjer över hela branschen.

Framstegen inom dekonvolutionstekniker som genomförs i vårt labb markerar ett avgörande ögonblick för alla typer av bildbehandling. Genom att på ett innovativt sätt utnyttja djup inlärning står vi på randen av att låsa upp den ytterligare potentialen hos en digital bild, här demonstrerad genom att fånga universum med klarhet och precision som tidigare endast reserverats för den högsta delen av konfigurationer. Vi har tränat den här modellen i vårt labb ganska länge, så håll utkik för en fullständig rapport snart.

Vad detta betyder för astrofotografi

Utvecklingen av en ny arkitektur för konvolutionellt neuralt nätverk (CNN) för astronomisk bildrestaurering jämfört med traditionella deconvolutionstekniker markerar en avgörande utveckling inom astrofotografi. Till skillnad från konventionella metoder, som ofta introducerar artefakter som brus och spökbilder, minimerar CNN:s tillvägagångssätt dessa problem, vilket säkerställer tydligare och mer exakta himmelska bilder.

Denna teknik förbättrar bildens klarhet och möjliggör mer exakt dataextraktion från astronomiska observationer. Genom att utnyttja djupinlärning förbättrar vi avsevärt troheten hos astrofotografi, vilket banar väg för djupare insikter i kosmos med minimal kompromiss i bildbehandling.

Två slutledningsanvändningsfall i kantbaserad AI-accelererad vetenskaplig forskning

Datahantering och bearbetningsmetoder spelar en central roll i vetenskaplig forskning, särskilt inom områden som kräver omfattande datainsamling och analys, såsom astrofotografering. Vi bestämde oss för att titta på två vanliga fall för användning av slutledningar som utnyttjar Solidigm-lagringslösningar med hög kapacitet och avancerad beräkningsinfrastruktur som tillhandahålls av Dell för att hantera och tolka de stora datamängder som genereras vid kanten.

Fall 1: Sneaker Net Approach

Sneaker Net-metoden är en hävdvunnen metod för dataöverföring som innebär att man samlar in data lokalt på lagringsenheter med hög kapacitet och sedan fysiskt transporterar dessa lagringsmedier till ett centralt datacenter eller bearbetningsanläggning. Denna metod påminner om datorernas tidiga dagar, där data flyttades manuellt på grund av bristen på eller långsamma nätverksanslutningar. I kantbaserad AI-accelererad vetenskaplig forskning kan detta tillvägagångssätt vara fördelaktigt i scenarier där dataöverföring i realtid hämmas av bandbreddsbegränsningar eller opålitlig internetanslutning.

Den främsta fördelen med Sneaker Net-metoden ligger i dess enkelhet och tillförlitlighet. SSD:er med hög kapacitet kan lagra enorma mängder data, vilket säkerställer att stora datamängder kan transporteras säkert utan kontinuerlig internetanslutning. Denna metod är särskilt fördelaktig i avlägsna eller utmanande miljöer där astrofotografering ofta förekommer, såsom avlägsna vildmarksområden långt från konventionella internettjänster.

Men Sneaker Net-metoden har också betydande begränsningar. Den mest uppenbara är förseningen i databearbetning och analys, eftersom fysisk transport tar tid, vilket hindrar potentiella insikter som kan härledas från data. Det finns också en ökad risk för dataförlust eller skada under transport. Dessutom utnyttjar denna metod inte potentialen för realtidsanalys och beslutsfattande som edge computing kan ge, vilket potentiellt går miste om aktuella insikter och interventioner.

Fall 2: Edge Inferencing

Edge-inferencing representerar ett modernare tillvägagångssätt för datahantering i vetenskaplig forskning, särskilt anpassat för behoven hos AI-accelererade projekt. Denna process involverar att fånga data i fält och använda en edge-server utrustad med en NVIDIA L4, för att utföra förstapassage-inferencing. Denna metod möjliggör omedelbar dataanalys när den genereras, vilket möjliggör beslutsfattande i realtid och snabba justeringar av datafångststrategier baserade på preliminära resultat.

Edge-servrar är designade för att fungera under de utmanande förhållanden som ofta möter i fältforskning, och tillhandahåller den beräkningskraft som behövs för AI och maskininlärningsalgoritmer direkt vid datakällan. Denna förmåga är avgörande för uppgifter som kräver omedelbar dataanalys, som att identifiera specifika astronomiska fenomen i stora datamängder som fångas under astrofotograferingssessioner.

Fördelarna med kantinferencing är många. Det minskar avsevärt latensen i databehandlingen, vilket möjliggör omedelbara insikter och justeringar. Denna realtidsanalys kan förbättra kvaliteten och relevansen av insamlad data, vilket gör forskningsinsatser mer effektiva och effektiva. Edge-inferencing minskar också behovet av dataöverföring, vilket sparar bandbredd för viktig kommunikation.

Emellertid ställer kantinferencing också inför utmaningar. Den initiala installationen och underhållet av edge computing-infrastruktur kan vara komplex och kostsam och kräver betydande investeringar i hårdvara och mjukvara. Det finns också ett behov av specialiserad expertis för att hantera och driva edge computing-system effektivt.

Vidare, även om edge-inferencing minskar dataöverföringsbehov, kräver det fortfarande en metod för långsiktig datalagring och ytterligare analys, vilket kräver en hybrid metod som kombinerar lokal bearbetning med central dataanalys. Tack vare förbättrad dator-, lagrings- och GPU-teknik blir dessa utmaningar ett mindre problem.

Både Sneaker Net-metoden och edge-inferencing erbjuder värdefulla metoder för att hantera de enorma datamängder som genereras i edge-baserad AI-accelererad vetenskaplig forskning. Valet mellan dessa metoder beror på forskningsprojektets specifika krav, inklusive behovet av realtidsanalys, tillgången på beräkningsresurser på fältet och de logistiska övervägandena av datatransport. I takt med att tekniken går framåt, lovar potentialen för innovativa lösningar på dessa utmaningar att ytterligare förbättra effektiviteten och effektiviteten hos vetenskaplig forskning vid kanten.

Extrema miljöförhållanden

I vårt ständigt utvecklande engagemang för att tänja på teknikens gränser och förstå dess gränser, gav vi oss ut på en unik testresa med Dell PowerEdge XR7620-servern och Solidigm QLC SSD:er. Det är värt att notera att det inte rekommenderas att våga sig utanför de angivna driftsparametrarna för någon teknik och kan ogiltigförklara garantier eller, ännu värre, leda till utrustningsfel. Men för den vetenskapliga nyfikenhetens skull och för att verkligen förstå robustheten hos vår utrustning, gick vi fram med försiktighet.

Våra tester för detta projekt genomfördes i vinterns hårda omfamning, med temperaturer som sjunker till -15°C och lägre mitt i en obeveklig snöstorm. Dessa förhållanden är långt bortom den normala driftsmiljön för de flesta elektroniska utrustningar, särskilt sofistikerad serverhårdvara och SSD:er designade för dataintensiva uppgifter. Målet var att utvärdera prestanda och tillförlitlighet hos servern och lagringen när den ställs inför den extrema kyla och fukt som sådana väderförhållanden uppvisar.

Anmärkningsvärt nog fungerade både servern och SSD:erna utan problem. Det fanns inga negativa effekter på deras funktion, ingen datakorruption och inga maskinvarufel. Denna exceptionella prestanda under sådana testförhållanden säger mycket om dessa enheters byggkvalitet och motståndskraft. Dell PowerEdge XR7620, med sin robusta design, och Solidigm SSD:erna, med sin avancerade teknik, visade sig kunna motstå miljöpåfrestningar som sträcker sig långt bortom de mysiga gränserna för ett datacenter.

Samtidigt som det visar utrustningens hållbarhet och tillförlitlighet, bör detta test inte ses som ett stöd för att använda din hårdvara utanför de rekommenderade specifikationerna. Det var ett kontrollerat experiment utformat för att utforska gränserna för vad dessa enheter kan hantera. Våra resultat bekräftar vikten av att välja högkvalitativ, hållbar hårdvara för kritiska applikationer, särskilt i edge-computing-scenarier där förhållandena kan vara oförutsägbara och långt ifrån idealiska.

Utgående Tankar

Vi har varit förtjusta i SSD:er för företag med hög kapacitet ända sedan QLC NAND kom ut på marknaden på ett meningsfullt sätt. De flesta arbetsbelastningar är inte så skrivintensiva som branschen tror; detta är ännu mer sant när det gäller datainsamling vid kanten. Edge datainsamling och slutledningsanvändning har en helt annan uppsättning utmaningar.

Liksom användningsfallet för astrofotografering vi har artikulerat här, är de vanligtvis begränsade på något sätt jämfört med vad som skulle finnas i datacentret. Precis som med vår forskning och avancerade AI-ansträngning har Dell-servern bara fyra fack, så behovet av att maximera dessa fack för att fånga vår data är avgörande. Liknar andra kantanvändningar vi har undersökt, som autonom körning, möjligheten att fånga mer data utan att stoppa är avgörande.

Slutsatsen av vår utforskning av de unika tillämpningarna av SSD:er för företag med hög kapacitet, särskilt av QLC NAND-teknik, understryker en avgörande förändring i hur vi närmar oss datainsamling och bearbetning vid kanten. SSD:erna vi använde i våra tester framstår som särskilt intressanta på grund av deras kapacitets- och prestandamått, vilket möjliggör nya forskningsmöjligheter som tidigare var begränsade av lagringskapacitet.

Vår resa genom invecklade datainsamling och slutledningsanvändning, inkapslad av astrofotografiprojektet, avslöjar en nyanserad förståelse för lagringsbehov bortom datacentret. I projekt som detta, där varje byte av data som fångas, ett fragment av kosmos, har värde. Mellan väder- och tidsbegränsningar är lyxen med expansiva lagringsuppsättningar och ställ på ställ med redskap inte alltid tillgänglig.

Det här scenariot är inte unikt för astrofotografi utan återspeglas i olika edge computing-applikationer och forskningsdiscipliner. Här är det avgörande att fånga och analysera stora mängder data i farten. För många branscher är att avbryta dataavlastning en lyx som varken kan tillåtas eller motiveras. SSD:erna löser detta dilemma med sin expansiva lagringskapacitet. De tillåter längre perioder av datainsamling utan frekventa stopp för att ladda ner data, och säkerställer därigenom kontinuiteten och integriteten i forskningsprocessen.

Dessa SSD:er med hög kapacitet låser upp nya forskningsgränser genom att stödja de dataintensiva kraven för AI och maskininlärningsalgoritmer direkt vid kanten. Denna förmåga är avgörande för databearbetning och slutledning i realtid, vilket möjliggör omedelbara insikter och åtgärder baserat på insamlad data. Oavsett om det handlar om att förfina parametrarna för datafångst baserat på preliminär analys eller att tillämpa komplexa algoritmer för att filtrera igenom det himmelska bruset för astronomiska upptäckter, kan dessa SSD:ers roll inte överskattas.

Solidigm SSD:erna är inte bara lagringslösningar, utan möjliggör innovation. De representerar ett steg framåt när det gäller att ta itu med de unika utmaningarna med edge computing, och underlättar forskningsinsatser som tänjer på gränserna för vad som är möjligt. Vikten av robusta, effektiva och högkapacitetslagringslösningar kommer bara att växa när vi fortsätter att utforska det stora utrymmet och vår världs krångligheter genom kantbaserad AI-accelererad vetenskaplig forskning. Dessa tekniker stöder inte bara de nuvarande forskningsbehoven; de förutser framtiden och lägger grunden för framtida upptäckter.

Solidigm AI

Denna rapport är sponsrad av Solidigm. Alla åsikter och åsikter som uttrycks i denna rapport är baserade på vår opartiska syn på produkten/de produkter som övervägs.

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde