Amazon SageMaker AI on tuonut markkinoille uudet G7e-instanssit, jotka tehostavat generatiivisen tekoälyn inferenssiä merkittävästi. Nämä instanssit hyödyntävät NVIDIA RTX PRO 6000 Blackwell Server Edition GPU:ita, tarjoten yrityksille ja kehittäjille kustannustehokkaan ja suorituskykyisen vaihtoehdon.
Tehokkaampaa suorituskykyä ja kustannussäästöjä
G7e-instanssit tarjoavat jopa 2.3-kertaisen suorituskyvyn verrattuna aiempiin G6e-instansseihin. Uudet GPU:t tuovat mukanaan 96 GB GDDR7-muistia per GPU, mikä mahdollistaa suurempien mallien ajamisen yksittäisellä nodella. Tämä vähentää monimutkaisuutta ja latenssia, joka on aiemmin vaatinut monen noden asennuksia. Yksittäinen G7e.2xlarge-instanssi voi isännöidä tehokkaita avoimen lähdekoodin malleja, kuten GPT-OSS-120B ja Qwen3.5-35B-A3B, mikä tekee siitä erinomaisen valinnan kustannustehokkaaseen inferenssityöskentelyyn.
Paremmin skaalautuva arkkitehtuuri
Uusien G7e-instanssien verkottuminen skaalautuu 1,600 Gbps:iin, mikä on nelinkertainen parannus G6e:hen verrattuna. Tämä mahdollistaa matalan latenssin monen noden inferenssin ja hienosäädön, jotka olivat aiemmin käytännössä mahdottomia G-sarjan instansseilla. G7e:n yksittäis-GPU-arkkitehtuuri skaalautuu sulavammin, mikä pitää latenssin ennustettavana, vaikka kuormitus kasvaa. Tämä tekee siitä ihanteellisen valinnan tuotantoympäristöihin, joissa optimoidaan kustannuksia per token.
EAGLE-optimoinnin hyödyt
G7e:n suorituskykyä voidaan parantaa entisestään yhdistämällä se EAGLE-optimointiin, joka nopeuttaa LLM-dekoodausta ennustamalla tulevia tokeneita. Tämä yhdistelmä parantaa suorituskykyä ja vähentää kustannuksia merkittävästi. EAGLE:n avulla voidaan saavuttaa jopa 2.4-kertainen läpimenoparannus ja 75% kustannussäästö verrattuna edelliseen sukupolveen. Tämä tekee G7e:stä houkuttelevan vaihtoehdon erityisesti tuotantoympäristöihin, joissa tarvitaan hienosäädettyjä malleja.
Miksi tämä on tärkeää
Generatiivisen tekoälyn kysynnän kasvaessa yritykset tarvitsevat tehokkaampia ja kustannustehokkaampia ratkaisuja. G7e-instanssit Amazon SageMaker AI:lla tarjoavat merkittävän parannuksen suorituskyvyssä ja kustannustehokkuudessa, mikä mahdollistaa entistä vaativampien tekoälymallien käyttöönoton. Tämä kehitys auttaa yrityksiä pysymään kilpailukykyisinä ja innovatiivisina nopeasti muuttuvassa teknologiaympäristössä.
