Tvrtka za čipove Tenstorrent, koju vodi Jim Keller, izdala je svoj procesor Wormhole sljedeće generacije za AI opterećenja, za koji očekuje da će ponuditi dobre performanse po pristupačnoj cijeni.Tvrtka trenutno nudi dvije dodatne PCIe kartice koje mogu primiti jedan ili dva Wormhole procesora, kao i TT-LoudBox i TT-QuietBox radne stanice za softverske developere. Sve današnje najave namijenjene su developerima, a ne onima koji koriste Wormhole ploče za komercijalna opterećenja.
„Uvijek je zadovoljavajuće kada više naših proizvoda dođe u ruke programera. Sustavi za razvoj izdanja koji koriste naše Wormhole™ kartice mogu pomoći programerima u skaliranju i razvoju višečipnog AI softvera“, rekao je Jim Keller, izvršni direktor tvrtke Tenstorrent.Uz ovo lansiranje, uzbuđeni smo što vidimo napredak koji postižemo s izvlačenjem i puštanjem u rad našeg proizvoda druge generacije, Blackhole.”
Svaki Wormhole procesor sadrži 72 Tensix jezgre (od kojih pet podržava RISC-V jezgre u različitim formatima podataka) i 108 MB SRAM-a, isporučujući 262 FP8 TFLOPS-a na 1 GHz s toplinskom snagom od 160 W. Jednočipna Wormhole n150 kartica opremljena je s 12 GB GDDR6 video memorije i ima propusnost od 288 GB/s.
Wormhole procesori pružaju fleksibilnu skalabilnost kako bi zadovoljili različite potrebe radnih opterećenja. U standardnoj postavci radne stanice s četiri Wormhole n300 kartice, procesori se mogu kombinirati u jednu jedinicu koja se u softveru pojavljuje kao ujedinjena, široka Tensix jezgrena mreža. Ova konfiguracija omogućuje akceleratoru da obrađuje isto radno opterećenje, podijeli ga između četiri programera ili istovremeno pokrene do osam različitih AI modela. Ključna značajka ove skalabilnosti je da se može pokretati lokalno bez potrebe za virtualizacijom. U okruženju podatkovnog centra, Wormhole procesori će koristiti PCIe za proširenje unutar stroja ili Ethernet za vanjsko proširenje.
Što se tiče performansi, Tenstorrentova jednočipna Wormhole n150 kartica (72 Tensix jezgre, frekvencija 1 GHz, 108 MB SRAM-a, 12 GB GDDR6, propusnost od 288 GB/s) postigla je 262 FP8 TFLOPS-a pri 160 W, dok dvočipna Wormhole n300 ploča (128 Tensix jezgri, frekvencija 1 GHz, 192 MB SRAM-a, agregirano 24 GB GDDR6, propusnost od 576 GB/s) isporučuje do 466 FP8 TFLOPS-a pri 300 W.
Kako bismo stavili 300 W od 466 FP8 TFLOPS-a u kontekst, usporedit ćemo to s onim što Nvidia, lider na tržištu umjetne inteligencije, nudi s ovom toplinskom snagom. Nvidijin A100 ne podržava FP8, ali podržava INT8, s vršnim performansama od 624 TOPS (1248 TOPS pri rijetkom načinu rada). Za usporedbu, Nvidijin H100 podržava FP8 i postiže vršne performanse od 1670 TFLOPS-a pri 300 W (3341 TFLOPS pri rijetkom načinu rada), što se značajno razlikuje od Tenstorrentovog Wormhole n300.
Međutim, postoji jedan veliki problem. Tenstorrentov Wormhole n150 prodaje se za 999 dolara, dok se n300 prodaje za 1399 dolara. Za usporedbu, jedna Nvidia H100 grafička kartica prodaje se za 30 000 dolara, ovisno o količini. Naravno, ne znamo mogu li četiri ili osam Wormhole procesora zapravo pružiti performanse jednog H300, ali njihovi TDP-ovi su 600 W odnosno 1200 W.
Uz kartice, Tenstorrent nudi unaprijed izgrađene radne stanice za developere, uključujući 4 n300 kartice u pristupačnijem TT-LoudBoxu temeljenom na Xeonu s aktivnim hlađenjem i naprednom TT-QuietBoxu s funkcijom tekućeg hlađenja (Xiaolongu) temeljenom na EPYC-u.
Vrijeme objave: 29. srpnja 2024.