A Microsoft az Azure felhőalapú számítástechnikai programjának felhasználásával szuperszámítógépek létrehozására irányuló erőfeszítéseit népszerűsíti, hogy segítse az OpenAI-t a ChatGPT chatbotjával. Egyúttal egy új MI virtuális gépet is bejelentett, amely az NVIDIA frissített GPU-it használja.
A Microsoft új ND H100 v5 VM-je az NVIDIA H100-as GPU-it használja, amely a korábbi A100-as GPU-khoz képest egy frissítés. Azok a vállalatok, amelyeknek MI funkciókat kell hozzáadniuk, hozzáférhetnek ehhez a virtuális gép szolgáltatáshoz, amelynek a következő funkciói vannak:
• 8x NVIDIA H100 Tensor Core GPU, amelyek a következő generációs NVSwitch és NVLink 4.0 segítségével vannak összekapcsolva.
• 400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand GPU-nként 3,2Tb/s sebességgel VM-enként egy nem blokkoló fat-tree hálózatban.
• NVSwitch és NVLink 4.0 3,6 TB/s-os bisectionális sávszélességgel 8 helyi GPU között VM-enként.
• 4. generációs Intel Xeon Scalable processzorok
• PCIE Gen5 host és GPU közötti összeköttetés GPU-nként 64 GB/s sávszélességgel
• 16 csatornás 4800 MHz-es DDR5 DIMM-ek 16 csatornája
Ez kiegészíti a Microsoft korábban bejelentett ChatGPT in Azure OpenAI szolgáltatását, amely lehetővé teszi harmadik felek számára, hogy az Azure-on keresztül hozzáférjenek a chatbot technológiához.
Egy külön blogbejegyzésben a Microsoft arról beszél, hogy a vállalat először az OpenAI-val kezdett el együttműködni, hogy segítsen létrehozni a ChatGPT nagy nyelvi modelljéhez (és a Microsoft saját Bing Chatjéhez) szükséges szuperszámítógépeket. Ez azt jelentette, hogy több ezer GPU-t kellett teljesen új módon összekapcsolni. A blogon Nidhi Chappell, a Microsoft Azure nagyteljesítményű számítási és mesterséges intelligenciáért felelős termékvezetője adott magyarázatot.
Kifejtette, hogy egy nagy nyelvi modell képzéséhez a számítási terhelést egy fürtben több ezer GPU-ra osztják fel. A számítás bizonyos fázisaiban - az úgynevezett allreduce során - a GPU-k kicserélik az általuk elvégzett munkáról szóló információkat. Az InfiniBand hálózat felgyorsítja ezt a fázist, amelyet be kell fejezni, mielőtt a GPU-k elkezdhetik a számítás következő részét.
Ezt a hardvert szoftverrel kombinálják, amely segít optimalizálni mind az Nvidia GPU-k, mind pedig az összes GPU-t együtt dolgoztató hálózat használatát. A Microsoft szerint folyamatosan bővíti a GPU-kat és bővíti a hálózatot, miközben hűtőrendszerek, tartalékgenerátorok és szünetmentes áramellátó rendszerek segítségével igyekszik a GPU-kat a nap 24 órájában működésben tartani - számolt be a Neowin.
