[China, Shenzhen, 14 iulie 2023] Astăzi, Huawei a dezvăluit noua sa soluție de stocare AI pentru epoca modelelor la scară mare, oferind soluții de stocare optime pentru formarea de bază a modelelor, instruirea modelului specific industriei și inferența în scenarii segmentate, astfel dezlănțuind noi capabilități AI.
În dezvoltarea și implementarea aplicațiilor pentru modele la scară largă, întreprinderile se confruntă cu patru provocări majore:
În primul rând, timpul necesar pentru pregătirea datelor este lung, sursele de date sunt împrăștiate, iar agregarea este lentă, fiind nevoie de aproximativ 10 zile pentru preprocesarea a sute de terabytes de date. În al doilea rând, pentru modelele mari multimodale cu seturi de date masive de text și imagini, viteza actuală de încărcare pentru fișiere masive mici este mai mică de 100 MB/s, rezultând o eficiență scăzută pentru încărcarea setului de antrenament. În al treilea rând, ajustările frecvente ale parametrilor pentru modelele mari, împreună cu platformele instabile de antrenament, provoacă întreruperi de antrenament aproximativ la fiecare 2 zile, necesitând mecanismul Checkpoint pentru a relua antrenamentul, recuperarea durând o zi. În cele din urmă, praguri ridicate de implementare pentru modelele mari, configurarea complexă a sistemului, provocările de programare a resurselor și utilizarea resurselor GPU adesea sub 40%.
Huawei se aliniază tendinței de dezvoltare a inteligenței artificiale în era modelelor la scară largă, oferind soluții adaptate pentru diferite industrii și scenarii. Acesta introduce OceanStor A310 Deep Learning Data Lake Storage și FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage vizează atât scenarii de bază, cât și la nivel de industrie cu modele mari de lac de date, realizând un management complet al datelor AI, de la agregarea datelor, preprocesare până la antrenamentul modelului și aplicații de inferență. OceanStor A310, într-un singur rack de 5U, acceptă o lățime de bandă de vârf de 400 GB/s și până la 12 milioane IOPS, cu scalabilitate liniară până la 4096 de noduri, permițând comunicarea interprotocoală fără întreruperi. Sistemul global de fișiere (GFS) facilitează țeserea inteligentă a datelor între regiuni, simplificând procesele de agregare a datelor. Calculul aproape de stocare realizează preprocesarea aproape de date, reducând mișcarea datelor și îmbunătățind eficiența preprocesării cu 30%.
Dispozitivul super-convergent de antrenament/inferență FusionCube A3000, conceput pentru scenarii de antrenament/inferență de modele mari la nivel de industrie, se adresează aplicațiilor care implică modele cu miliarde de parametri. Acesta integrează noduri de stocare de înaltă performanță OceanStor A300, noduri de antrenament/inferență, echipamente de comutare, software de platformă AI și software de gestionare și operare, oferind partenerilor model mari o experiență de implementare plug-and-play pentru o livrare unică. Gata de utilizare, poate fi implementat în 2 ore. Atât nodurile de antrenament/inferență, cât și de stocare pot fi extinse independent și orizontal pentru a se potrivi cu diverse cerințe la scară de model. Între timp, FusionCube A3000 utilizează containere de înaltă performanță pentru a permite mai multe sarcini de antrenament și deducere a modelelor pentru a partaja GPU-uri, crescând utilizarea resurselor de la 40% la peste 70%. FusionCube A3000 acceptă două modele de afaceri flexibile: Huawei Ascend One-Stop Solution și soluția one-stop de la terți partener, cu software deschis de calcul, rețele și platformă AI.
Președintele Huawei al liniei de produse pentru stocarea datelor, Zhou Yuefeng, a declarat: „În epoca modelelor la scară mare, datele determină înălțimea inteligenței AI. În calitate de purtător de date, stocarea datelor devine infrastructura de bază cheie pentru modelele AI la scară largă. Huawei Data Storage va continua să inoveze, oferind soluții și produse diversificate pentru epoca modelelor mari de inteligență artificială, colaborând cu parteneri pentru a stimula abilitarea inteligenței artificiale într-o gamă largă de industrii.”
Ora postării: 01-aug-2023
