近日，人工智能（AI）推理芯片企业Groq宣布完成7.5亿美元新一轮融资，投后估值达69亿美元。

据介绍，该轮融资由Disruptive领投，贝莱德(Blackrock)、路博迈(Neuberger Berman)、德国电信资本合伙公司(Deutsche Telekom Capital Partners)以及一家美国西海岸大型共同基金管理公司也参与了投资。此外，三星、思科、D1、Altimeter、1789 Capital和Infinitum也继续参与了本轮融资。

此次领投的Disruptive是一家总部位于达拉斯的成长型投资公司，在过去十年中投资了一些最具变革性和最成功的公司，包括对Palantir、Airbnb、Spotify、Shield AI、Hims、Databricks、Stripe、Slack以及许多其他人工智能领军企业和人工智能相关企业的巨额投资。Disruptive已向Groq投资近3.5亿美元。

Groq 创始人兼首席执行官乔纳森·罗斯（Jonathan Ross）表示：“推理正在定义人工智能时代，我们正在构建能够高速、低成本地实现这一目标的美国基础设施。”

Disruptive 创始人、董事长兼首席执行官 Alex Davis 表示：“随着人工智能的扩展，其背后的基础设施将与模型本身一样重要。Groq 正在构建这一基础，我们非常高兴能够与 Jonathan 和他的团队合作，开启爆炸式增长的新篇章。”

值得注意的是，2024年8月Groq才成功以约 28 亿美元的估值，获得了6.4亿美元的D轮融资。随后又在2025年，成功从沙特阿拉伯筹集了 15 亿美元融资，用于扩展其位于沙特阿拉伯的 AI 基础设施。

资料显示，Groq成立于 2016 年，总部位于美国加利福尼亚州山景城，是一家 AI 芯片生产商，旨在实现高吞吐量、低成本的推理，而不是训练。该公司核心团队来源于谷歌最初的张量处理单元（TPU）工程团队。Groq 创始人兼CEO Jonathan Ross是谷歌TPU项目的核心研发人员。该公司硬件工程副总裁Jim Miller 曾是亚马逊云计算服务AWS设计算力硬件的负责人，还曾在英特尔领导了所有 Pentium II 工程。

2024年2月，Groq推出了全球首个基于LPU（Language Processing Unit）方案的大模型推理芯片，作为一款基于全新的TSA 架构的Tensor Streaming Processor (TSP) 芯片，旨在提高机器学习和人工智能等计算密集型工作负载的性能。

虽然Groq的LPU并没有采用更本高昂的尖端制程工艺，而是选择了14nm制程，但是凭借自研的TSA 架构，Groq LPU 芯片具有高度的并行处理能力，可以同时处理数百万个数据流，并该芯片还集成了230MB容量的SRAM来替代DRAM，以保证内存带宽，其片上内存带宽高达80TB/s。

根据官方的数据显示，Groq的LPU芯片的性能表现相当出色，可以提供高达1000 TOPS (Tera Operations Per Second) 的计算能力，并且在某些机器学习模型上的性能表现可以比常规的 GPU 和 TPU 提升10到100倍。

Groq表示，基于其LPU芯片的云服务器在Llama2或Mistreal模型在计算和响应速度上远超基于NVIDIA AI GPU的ChatGPT，其每秒可以生成高达500个 token。相比之下，目前ChatGPT-3.5的公开版本每秒只能生成大约40个token。由于ChatGPT-3.5主要是基于NVIDIA的GPU，也就是说，Groq LPU芯片的响应速度达到了NVIDIA GPU的10倍以上。Groq表示，相对于其他云平台厂商的大模型推理性能，基于其LPU芯片的云服务器的大模型推理性能最终实现了比其他云平台厂商快18倍。

另外，在能耗方面，英伟达GPU需要大约10到30焦耳才能生成响应中的tokens，而Groq LPU芯片仅需1到3焦耳，在推理速度大幅提升10倍的同时，其能耗成本仅有英伟达GPU的十分之一，这等于是性价比提高了100倍。

Groq的策略是使用光纤互连将数百个LPU拼接在一起，每个LPU都装有片上SRAM。通过使用 576 个 LPU 的集群，Groq 声称它能够在 Meta 的 Llama 2 70B 模型上实现每秒超过 300 个令牌的生成速率，是具有 8 个 GPU 的 HGX H100 系统的 10 倍，同时消耗十分之一的功率。

Groq公司在演示中展示了其芯片的强大性能，支持Mistral AI的Mixtral8x7B SMoE，以及Meta的Llama2的7B和70B等多种模型，支持使用4096字节的上下文长度，并可直接体验Demo。不仅如此，Groq当时还喊话各大公司，扬言在三年内超越英伟达。

根据Groq最新披露的数据显示，其已经为超过 200 万开发人员和众多全球领先的财富 500 强企业提供快速、经济的计算能力，并正在扩大其全球影响力，在北美、欧洲和中东现有的数据中心的基础上进行建设。

编辑：芯智讯-浪客剑