Tvrtka za čipove pod vodstvom Jima Kellera Tenstorrent izdala je svoju sljedeću generaciju Wormhole procesora za AI radna opterećenja, za koje očekuje da će ponuditi dobre performanse po pristupačnoj cijeni.Tvrtka trenutno nudi dvije dodatne PCIe kartice koje mogu primiti jedan ili dva Wormhole procesora, kao i TT-LoudBox i TT-QuietBox radne stanice za programere softvera. Sve današnje najave usmjerene su na programere, a ne na one koji koriste Wormhole ploče za komercijalna radna opterećenja.
“Uvijek je zadovoljstvo dobiti više naših proizvoda u ruke programera. Sustavi za razvoj izdanja koji koriste naše Wormhole™ kartice mogu pomoći programerima da skaliraju i razviju višečipni AI softver,” rekao je Jim Keller, izvršni direktor Tenstorrenta.Uz ovo lansiranje, uzbuđeni smo što vidimo napredak koji postižemo s snimanjem i uključivanjem naše druge generacije proizvoda, Blackhole.”
Svaki Wormhole procesor sadrži 72 Tensix jezgre (od kojih pet podržava RISC-V jezgre u različitim formatima podataka) i 108 MB SRAM-a, isporučujući 262 FP8 TFLOPS na 1 GHz s toplinskom projektiranom snagom od 160 W. Kartica Wormhole n150 s jednim čipom opremljena je 12 GB GDDR6 video memorije i ima propusnost od 288 GB/s.
Wormhole procesori pružaju fleksibilnu skalabilnost kako bi zadovoljili različite potrebe radnih opterećenja. U standardnom postavu radne stanice s četiri Wormhole n300 kartice, procesori se mogu kombinirati u jednu jedinicu koja se u softveru pojavljuje kao objedinjena, široka Tensix jezgrena mreža. Ova konfiguracija omogućuje akceleratoru da se nosi s istim radnim opterećenjem, podijeljenim između četiri programera ili pokretanjem do osam različitih AI modela istovremeno. Ključna značajka ove skalabilnosti je da se može izvoditi lokalno bez potrebe za virtualizacijom. U okruženju podatkovnog centra, procesori crvotočine koristit će PCIe za proširenje unutar stroja ili Ethernet za vanjsko proširenje.
Što se tiče performansi, Tenstorrentova jednočipna Wormhole n150 kartica (72 Tensix jezgre, 1 GHz frekvencija, 108 MB SRAM, 12 GB GDDR6, 288 GB/s propusnost) postigla je 262 FP8 TFLOPS-a pri 160 W, dok je dvočipna Wormhole n300 ploča (128 Tensix jezgri, 1 GHz frekvencija, 192 MB SRAM, agregirano 24 GB GDDR6, 576 GB/s propusnost) isporučuje do 466 FP8 TFLOPS pri 300 W.
Da bismo 300 W od 466 FP8 TFLOPS-a stavili u kontekst, usporedit ćemo to s onim što AI tržišni lider Nvidia nudi s ovom snagom toplinskog dizajna. Nvidijin A100 ne podržava FP8, ali podržava INT8, s vršnom izvedbom od 624 TOPS (1248 TOPS kada je rijedak). Za usporedbu, Nvidijin H100 podržava FP8 i postiže vršnu izvedbu od 1.670 TFLOPS na 300 W (3.341 TFLOPS na sparse), što je značajno drugačije od Tenstorrentovog Wormhole n300.
Međutim, postoji jedan veliki problem. Tenstorrentov Wormhole n150 prodaje se za 999 dolara, dok se n300 prodaje za 1399 dolara. Za usporedbu, jedna Nvidia H100 grafička kartica se prodaje za 30.000 dolara, ovisno o količini. Naravno, ne znamo mogu li četiri ili osam Wormhole procesora stvarno isporučiti performanse jednog H300, ali njihov TDP je 600W odnosno 1200W.
Osim kartica, Tenstorrent nudi unaprijed izgrađene radne stanice za programere, uključujući 4 n300 kartice u pristupačnijem TT-LoudBoxu baziranom na Xeonu s aktivnim hlađenjem i naprednom TT-QuietBoxu s funkcijom tekućeg hlađenja temeljenom na EPYC Xiaolong).
Vrijeme objave: 29. srpnja 2024