搜尋任何 X
除了Groq以外，另一个做LLM inference超级牛逼架构的公司，叫Cerebras。 Groq打败nvidia的秘诀是把整个model放在SRAM上， Cerebras更激进，一块芯片上堆了44GB SRAM，还有1.5TB, 12TB, 1.2PB三种规格的DDR，号称支持24 trillion params的模型。 大模型时代，做architecture的终于开始发起进攻了。
除了Groq以外，另一个做LLM inference超级牛逼架构的公司，叫Cerebras。 Groq打败nvidia的秘诀是把整个model放在SRAM上， Cerebras更激进，一块芯片上堆了44GB SRAM，还有1.5TB, 12TB, 1.2PB三种规格的DDR，号称支持24 trillion params的模型。 大模型时代，做architecture的终于开始发起进攻了。
