Amazon SageMakerin uudet G7e-instanssit tarjoavat merkittäviä parannuksia generatiivisen tekoälyn suorituskykyyn ja kustannustehokkuuteen, mikä vastaa kasvavaan kysyntään tehokkaista ja joustavista tekoälyratkaisuista.
Tehokkaat G7e-instanssit
Amazon SageMaker on julkistanut uudet G7e-instanssit, jotka hyödyntävät NVIDIA RTX PRO 6000 Blackwell Server Edition -grafiikkaprosessoreita. Näissä instansseissa on mahdollista valita 1, 2, 4 tai 8 GPU:ta, ja jokaisessa GPU:ssa on 96 GB GDDR7-muistia. Tämä mahdollistaa tehokkaiden avoimen lähdekoodin mallien, kuten GPT-OSS-120B ja Nemotron-3-Super-120B-A12B, käyttämisen yksittäisellä G7e.2xlarge-instanssilla. Tämä tarjoaa kustannustehokkaan ja suorituskykyisen vaihtoehdon yrityksille, jotka haluavat parantaa kustannustehokkuuttaan säilyttäen samalla korkean suorituskyvyn inferenssitehtävissä.
G7e vs. G6e: Suorituskykyvertailu
G7e-instanssit tarjoavat merkittävän suorituskykyhypyn verrattuna aiempaan G6e-sukupolveen. G7e:n GPU:t tarjoavat jopa 2,3-kertaisen inferenssisuorituskyvyn ja kaksinkertaisen muistin per GPU verrattuna G6e:hen. Lisäksi G7e:n verkkoyhteydet skaalautuvat jopa 1 600 Gbps:iin, mikä mahdollistaa matalan viiveen monisolmu-inferenssin ja hienosäädön, jotka olivat aiemmin mahdottomia G-sarjan instansseilla.
Kustannustehokkuuden parantaminen
G7e-instanssit eivät vain paranna suorituskykyä, vaan myös vähentävät merkittävästi kustannuksia. Esimerkiksi tuotantokäytössä G7e saavuttaa 2,6-kertaisen kustannusvähennyksen verrattuna G6e:hen. Tämä johtuu G7e:n alhaisemmasta tuntihinnasta ja kyvystä ylläpitää tasaista suorituskykyä kuormituksen alla. Lisäksi EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) -spekulatiivinen dekoodaus parantaa edelleen kustannustehokkuutta ja suorituskykyä.
EAGLE-spekulatiivinen dekoodaus
Yhdistämällä G7e:n laitteistoparannukset EAGLE-spekulatiiviseen dekoodaukseen saavutetaan merkittäviä etuja. EAGLE nopeuttaa LLM-dekoodausta ennustamalla useita tulevia tokenia mallin piilorepresentaatioista ja varmentamalla ne yhdellä eteenpäin suuntautuvalla askeleella. Tämä mahdollistaa useiden tokenien generoinnin per askel samalla kun säilytetään samanlainen tulostuslaatu.
Miksi tämä on tärkeää
G7e-instanssit Amazon SageMakerissa edustavat merkittävää edistysaskelta kustannustehokkaassa generatiivisen tekoälyn inferenssissä. G7e:n parannettu muistikapasiteetti ja kaistanleveys mahdollistavat aiemmin monen GPU:n vaativien työkuormien suorittamisen tehokkaasti yhdellä GPU:lla. Yhdistettynä EAGLE-spekulatiiviseen dekoodaukseen, nämä parannukset tarjoavat merkittäviä suorituskyky- ja kustannushyötyjä, mikä tekee niistä houkuttelevan vaihtoehdon moderneille tekoälysovelluksille.
