ESP32s3-LLM-Cluster:7 块 20 元开发板菊花链跑 BitNet 1.58-bit 大模型
7 块单价 20 元左右的开发板,加起来不到 150 元的硬件成本,正在用 1.58 bit 精度的权重跑一个 0.5B 参数的语言模型。这是 GitHub 上的开源项目 ESP32s3-LLM-Cluster 做成的事:把 Qwen2-0.5B 剪枝、量化,切分到 7 块 ESP32-S3 上,每块板子只负责 4 层 Transformer,用 SPI 菊…
7 块单价 20 元左右的开发板,加起来不到 150 元的硬件成本,正在用 1.58 bit 精度的权重跑一个 0.5B 参数的语言模型。这是 GitHub 上的开源项目 ESP32s3-LLM-Cluster 做成的事:把 Qwen2-0.5B 剪枝、量化,切分到 7 块 ESP32-S3 上,每块板子只负责 4 层 Transformer,用 SPI 菊…
一块售价 80 美分、SRAM 只有 520 KiB 的微控制器能干什么?Pete Warden 给出的答案是:跑完一条完整的语音交互流水线——语音活动检测(VAD)、语音识别(STT)、神经文本转语音(TTS),全部在端侧完成,不联网、不调云 API、不需要账号或密钥。这个名为 Moonshine Micro 的开源项目本周登顶 Hacker News,把…