Podcast nr 148: LinkedIn Live – sztuczna inteligencja to problem danych

Serwis StorageReview opublikował kilka artykułów recenzenckich oraz podcast oparty na badaniach przeprowadzonych na Uniwersytecie Stanowym Oregonu. Linki do tych artykułów znajdują się na dole tego transkryptu. Artykuły te wzbudziły duże zainteresowanie nie tylko w środowisku naukowym, ale także w społeczności dostawców. Następnie dyskusja rozszerzyła się na temat tego, jak nauczyciele wykorzystują i monitorują sztuczną inteligencję w klasie i podczas testów, ze szczególnym uwzględnieniem sposobu pomiaru wiedzy i jakości nauczania.

Dyskusja skupia się na tym, w jaki sposób wszystkie te technologie łączą się, aby tworzyć rzeczywiste rezultaty w zakresie sztucznej inteligencji, nie tylko w obszarze badań naukowych, o których będziemy mówić dalej, ale także w wynikach studentów Oregon State, oraz w jaki sposób wszystkie te elementy łączą się, aby tworzyć fenomenalne rozwiązania.

Ze względu na ogromny odzew na wstępny przegląd przeprowadzony z Christopherem Sullivanem, zdecydowaliśmy się zorganizować wydarzenie na żywo na LinkedIn, aby omówić postępy w wynikach badań nad sztuczną inteligencją, zarówno w badaniach naukowych, jak i edukacji. Wśród naszych gości znaleźli się:

• Christopher Sullivan – dyrektor ds. badań i informatyki akademickiej w College of Earth, Ocean, and Atmospheric Sciences na Oregon State University.
• Alan Bumgardner – dyrektor ds. planowania stowarzyszeń i znajdowania ścieżek kariery w Celadon Corporation.
• Seamus Jones – dyrektor ds. inżynierii technicznej i marketingu w obszarze informatyki, sieci i zrównoważonego rozwoju w firmie Dell.

Uczestnicy tego wydarzenia na żywo byli zaangażowani w badania nad planktonem na Uniwersytecie Stanowym Ohio (OSU), albo poprzez bezpośrednie zaangażowanie (Chris), albo w roli dostawcy. Jeśli nie czytaliście Państwo pierwotnej relacji ani nie słuchaliście kolejnego podcastu, wyniki badań okażą się interesujące i istotne w kontekście dzisiejszych badań środowiskowych.

Chociaż wydarzenie trwa godzinę, nie ma w nim elementów marketingowych ani sprzedażowych, ale jest interaktywne i pouczające. Jeśli nie masz czasu wysłuchać podcastu od początku do końca, podzieliliśmy go na pięciominutowe fragmenty, dzięki czemu możesz szybko przeskakiwać do interesujących Cię sekcji.

00:00–05:00 — Wprowadzenie i ustalenie kontekstu

• Brian Beeler rozpoczyna dyskusję od technicznych kwestii, pozbawionych elementów sprzedaży, skupiając się na rzeczywistych wynikach badań i edukacji w zakresie sztucznej inteligencji na Oregon State.
• Wprowadzenia panelowe przedstawiają wiedzę specjalistyczną z różnych dziedzin, obejmującą obliczenia akademickie, innowacje w zakresie pamięci masowych i infrastrukturę przedsiębiorstw.
• Misja Oregon State jest przedstawiona w zarysie: rozwijanie badań naukowych przy jednoczesnym zwiększaniu zaangażowania studentów za pomocą sztucznej inteligencji.
• Chris Sullivan podkreśla długotrwałe zaangażowanie łączące badania naukowe z informatyką akademicką, kładąc nacisk na praktyczne wdrażanie nowych technologii.
• Wczesne ujęcie tematu ujmuje sztuczną inteligencję jako wyzwanie skoncentrowane na danych, a nie jako problem czysto obliczeniowy, co wyznacza ton sesji.

05:00–10:00 — Skala danych i rzeczywistość obciążenia pracą AI

• Duże obciążenia naukowe, takie jak obrazowanie planktonu, generują setki terabajtów danych na eksperyment i wymagają szybkiego przetwarzania.
• Szkolenie stanowi niewielką część całościowego nakładu pracy; na masową skalę dominuje wnioskowanie, często obejmujące miliardy punktów danych.
• Istotność czasowa wpływa na wymagania infrastrukturalne, gdyż opóźnione spostrzeżenia zmniejszają wartość naukową.
• Ciągłe pętle sprzężenia zwrotnego integrują wyniki wnioskowania z modelami szkoleniowymi, zwiększając z czasem ich dokładność.
• Obciążenia symulacyjne pozostają kluczowe, dostarczając dane do procesów sztucznej inteligencji i zwiększając zapotrzebowanie na moc obliczeniową.

10:00–15:00 — Sztuczna inteligencja brzegowa i elastyczność infrastruktury

• Przejście z scentralizowanych klastrów szkoleniowych na rozproszone wnioskowanie na brzegu sieci, w tym wdrożenia na statkach i w środowiskach zdalnych.
• Elastyczne platformy, takie jak serwery z dużą liczbą procesorów GPU i dyskami SSD o dużej pojemności, umożliwiają wdrażanie w wielu środowiskach.
• Pamięć masowa o dużej gęstości pozwala na lokalne przetwarzanie zbiorów danych o rozmiarach petabajtów, zmniejszając potrzebę korzystania ze scentralizowanych centrów danych.
• Przetwarzanie w czasie rzeczywistym pozwala na adaptacyjne gromadzenie danych, co zwiększa wydajność i redukuje koszty operacyjne.
• Wnioskowanie brzegowe wprowadza nowe zagadnienia projektowe dotyczące wytrzymałości, skalowalności i modułowości.

15:00–20:00 — Ewolucja sztucznej inteligencji w przedsiębiorstwie i wykorzystanie GPU

• Branża przechodzi od wczesnych inwestycji w sztuczną inteligencję, które koncentrowały się na szkoleniu, do powszechnych wdrożeń opartych na wnioskowaniu.
• Tradycyjne aplikacje korporacyjne uwzględniają sztuczną inteligencję i wykorzystują procesory GPU w celu zwiększenia wydajności.
• W miarę jak procesy oparte na agentach i wieloetapowe procesy AI stają się coraz powszechniejsze, znacząco wzrasta wykorzystanie tokenów i złożoność przepływów pracy.
• Infrastrukturę należy projektować tak, aby była w stanie sprostać gwałtownym i nieprzewidywalnym obciążeniom, a nie stałemu zapotrzebowaniu.
• Planowanie skalowalności i przyszłego rozwoju jest obecnie koniecznością, nawet w przypadku początkowych wdrożeń.

20:00–25:00 — Zarządzanie danymi i wyzwania RAG

• Dostępność danych okazuje się być głównym wąskim gardłem, a duże zbiory danych są często niewykorzystane ze względu na słabą jakość metadanych i łatwość wyszukiwania.
• Generowanie danych z wykorzystaniem funkcji rozszerzonego pobierania wymaga znaczących metadanych, a nie tylko atrybutów na poziomie pliku.
• Środowiska naukowe i biznesowe stają przed podobnymi wyzwaniami związanymi ze zrozumieniem i monetyzacją przechowywanych danych.
• Nadmiarowe zestawy danych i brak przejrzystości uwypuklają nieefektywność obecnych praktyk przechowywania danych.
• Skuteczne gromadzenie danych jest uznawane za podstawę odblokowania potencjału sztucznej inteligencji.

25:00–30:00 — Sztuczna inteligencja w edukacji i bezpieczne przetwarzanie danych

• Oregon State wdraża systemy oceny studentów oparte na sztucznej inteligencji, wykorzystujące przesyłanie materiałów wideo i automatyczne testy.
• Zgodność z FERPA i wymagania dotyczące prywatności danych mają wpływ na decyzje dotyczące infrastruktury lokalnej.
• Duża pojemność lokalnej pamięci masowej umożliwia bezpieczne przetwarzanie dużych ilości treści tworzonych przez uczniów.
• Systemy muszą obsługiwać ciągłe pobieranie, przetwarzanie i przechowywanie danych na różnych kursach i w różnych ramach czasowych.
• Sztuczna inteligencja umożliwia skalowalne przekazywanie opinii studentom bez zwiększania obciążenia pracą kadry dydaktycznej.

30:00–35:00 — Chmura kontra rozwiązania lokalne i ekonomia tokenów

• Rosnące koszty usług w chmurze i zużycie tokenów powodują przenoszenie obciążeń z powrotem na serwery lokalne, zwłaszcza w przypadku wnioskowania.
• Tokenomika staje się kluczowym zagadnieniem operacyjnym, zwłaszcza w środowiskach akademickich, w których występują ograniczenia budżetowe.
• Pojawiają się strategie hybrydowe wykorzystujące zasoby lokalne do eksperymentów i chmurę do realizacji konkretnych zadań o wysokiej wartości.
• Techniki optymalizacji zapytań i redukcji tokenów stają się kluczowe dla kontroli kosztów.
• Obawy dotyczące suwerenności danych i zgodności z przepisami dodatkowo wzmacniają potrzebę wdrażania rozwiązań lokalnych.

35:00–40:00 — Optymalizacja modeli i wielowarstwowe architektury sztucznej inteligencji

• Strategie modeli wielopoziomowych wykorzystują mniejsze, wyspecjalizowane modele do zadań rutynowych i większe modele do złożonych zapytań.
• Współpraca procesora CPU i procesora GPU umożliwia efektywniejsze wykorzystanie zasobów w różnych obciążeniach.
• Systemy lokalne pozwalają na iteracyjne eksperymentowanie bez ponoszenia kosztów, co zwiększa wydajność przepływu pracy.
• Buforowanie i optymalizacja pamięci redukują konieczność ponownego obliczania i poprawiają wydajność.
• Przyszłe architektury będą w coraz większym stopniu automatyzować wybór i koordynację modeli.

40:00–45:00 — Inteligencja infrastrukturalna i sztuczna inteligencja operacyjna

• Sztuczna inteligencja jest coraz częściej włączana do zarządzania infrastrukturą, co umożliwia predykcyjne monitorowanie i automatyczne rozwiązywanie problemów.
• Agenci AI na miejscu monitorują systemy kampusowe, identyfikując awarie zanim wpłyną one na funkcjonowanie systemu.
• Mniejsze, ukierunkowane modele okazują się skuteczne w przypadkach wykorzystania wywiadu operacyjnego.
• Postęp w sprzęcie, zwłaszcza w dziedzinie procesorów graficznych, pozwala na szybki wzrost wydajności i poprawę efektywności.
• Ograniczenia mocy wpływają na projekt systemu, a priorytetem jest wydajność, a nie skalowalność.

45:00–50:00 — Projektowanie zasilania, chłodzenia i centrów danych

• Gęstość mocy i chłodzenie stanowią obecnie główne ograniczenia wdrażania infrastruktury AI.
• Chłodzenie cieczą zapewnia wyższą wydajność, niższy poziom hałasu i lepszą efektywność energetyczną w porównaniu z chłodzeniem powietrznym.
• Modernizacja istniejących centrów danych poprzez zastosowanie chłodzenia cieczą jest opłacalna i możliwa do zrealizowania.
• Poprawa efektywności pamięci masowej pozwala na przydzielenie większej mocy zasobom obliczeniowym.
• Innowacyjne rozwiązania w zakresie chłodzenia, obejmujące płyty chłodzące i chłodzenie zanurzeniowe, znacząco zmniejszają całkowite zużycie energii.

50:00–55:00 — Wzrost wydajności i praktyczne wdrożenie

• Chłodzenie cieczą nie tylko zwiększa wydajność, ale także umożliwia utrzymanie wyższej wydajności dzięki odpowiednim ustawieniom BIOS-u.
• Zmniejszony wpływ akustyczny pozwala na wdrażanie systemów AI w niestandardowych środowiskach.
• Uczelnie i przedsiębiorstwa mogą osiągnąć znaczący zwrot z inwestycji dzięki oszczędności energii i wzrostowi wydajności.
• Wybór strategii chłodzenia wymaga znalezienia równowagi między złożonością, kosztami i celami operacyjnymi.
• Zastosowania w warunkach rzeczywistych potwierdzają korzyści wynikające z zastosowania zaawansowanych metod chłodzenia.

55:00–Koniec — Strategie adopcji i demokratyzacja sztucznej inteligencji

• Obniżenie barier wejścia ma kluczowe znaczenie, a lokalne środowiska testowe umożliwiają przeprowadzanie eksperymentów bez ryzyka.
• Partnerstwa z dostawcami i niezależnymi dostawcami oprogramowania są niezbędne do integracji sprzętu, oprogramowania i przepływów pracy.
• Programy takie jak systemy wypożyczania sprzętu pozwalają organizacjom przetestować infrastrukturę AI przed podjęciem decyzji.
• Wstępnie zweryfikowane pakiety oprogramowania upraszczają wdrażanie i przyspieszają osiąganie korzyści.
• Aby wdrożenie było powszechne, konieczne jest umożliwienie mniejszym instytucjom rozpoczęcia działalności na małą skalę, szybkiej iteracji i skalowania w zależności od potrzeb.

Poniżej znajdują się odnośniki do wcześniejszych artykułów na temat badań przeprowadzonych przez Oregon State University.

Sztuczna inteligencja na morzu: Oregon State wyrusza w rejs, aby badać ocean w czasie rzeczywistym
Podcast nr 145: Dlaczego Edge AI ma znaczenie dla Oregon State University
Jak Metrum AI i Oregon State University tworzą nowy standard oceny akademickiej