该仓库展示了如何在低成本 ESP32-S3 微控制器上本地运行一个 28.9M 参数的小型语言模型。模型约 14.9MB，采用 4-bit 量化，并利用类似 Google Gemma 的 Per-Layer Embeddings 思路，将大部分参数放在 Flash 中，仅在每个 token 生成时读取少量嵌入行，从而绕过 MCU SRAM 极小的限制。该项目重点不是通用问答能力，而是验证“较大参数量语言模型在极小设备上离线运行”的架构可行性。
适用领域
嵌入式 AI / 边缘计算 / TinyML / 大语言模型压缩 / ESP32 开发 / 模型量化 / 本地离线推理 / 低成本硬件 AI Demo
配置难度
中高。对于熟悉 ESP32、ESP-IDF、模型量化和嵌入式 C/Python 工具链的开发者，可以较好理解和复现；对于只熟悉普通 Python 或 Web 开发的开发者，硬件接线、固件烧录、内存布局和模型部署会有明显门槛。
商业价值
该项目的直接商业化价值有限，因为模型能力仅适合简单故事生成，无法承担通用智能助手任务。但其技术路线具有较高启发价值：可用于低成本离线 AI 玩具、教育设备、隐私敏感的端侧交互设备、嵌入式 AI 展示方案，以及探索在极低功耗硬件上部署更大模型的可行性。对于从事边缘 AI、智能硬件或模型压缩的团队，该仓库可作为原型验证和技术参考。
01
技术亮点
- 在约 8 美元的 ESP32-S3 微控制器上运行 28.9M 参数语言模型。
- 模型完全本地运行，无网络依赖，隐私性好。
- 通过将约 25M 参数的嵌入表放在 Flash 中，显著降低 SRAM 压力。
- 每个 token 只需从 Flash 读取约 450 字节数据，实现约 9.5 tokens/s 的端到端生成速度。
- 模型大小约 14.9MB，使用 4-bit 量化。
- 提供固件、训练、消融实验和量化相关代码。
- README 明确说明模型能力边界，避免夸大为通用 LLM。
- 项目具有很强的研究和教学价值，适合学习 MCU 上的 LLM 部署思路。
02
目标用户
- 嵌入式系统开发者
- ESP32/Arduino/ESP-IDF 开发者
- TinyML 研究者
- 对端侧 LLM 感兴趣的 AI 工程师
- 模型压缩与量化研究人员
- 硬件黑客和创客
- 希望学习 MCU 上模型部署的学生或开发者
03
配置要求
- 硬件需要 ESP32-S3，推荐配置为 512KB SRAM、8MB PSRAM、16MB Flash。
- 需要有足够的 Flash 存放约 14.9MB 的 4-bit 模型。
- 需要外接小屏幕用于显示生成文本，具体型号和引脚接线需参考 firmware/esp32_llm/README.md。
- 需要本地安装 ESP32 固件编译和烧录工具链。
- 如需重新训练模型，需要 Python 环境及机器学习相关依赖。
- 如需复现实验，需要 TinyStories 数据集或相应预处理数据。
- 模型主要面向 TinyStories 风格短故事生成，不需要网络连接，也不会向服务器发送数据。
04
适用场景
- 在 ESP32-S3 上演示离线文本生成
- 研究如何将语言模型参数放入 Flash 并按需读取
- 学习 Per-Layer Embeddings 在极小内存设备上的应用
- 复现实验中的训练、消融和量化流程
- 制作低成本端侧 AI 原型或展会 Demo
- 作为 TinyML/边缘 AI 教学案例
- 探索无网络、隐私友好的微型文本生成设备
05
部署与配置
- 准备 ESP32-S3 开发板，要求接近 README 中描述的配置：512KB SRAM、8MB PSRAM、16MB Flash。
- 准备项目所需的小屏幕及连接线，并参考 firmware/esp32_llm/README.md 完成接线。
- 克隆仓库：git clone https://github.com/slvDev/esp32-ai.git
- 进入 firmware/esp32_llm 目录，查看该目录下 README.md 中的固件构建和烧录步骤。
- 安装 ESP32 固件开发环境，通常需要 ESP-IDF 或项目 README 指定的工具链。
- 按说明编译固件，并将模型权重或量化后的模型文件写入 Flash。
- 将固件烧录到 ESP32-S3。
- 连接串口或查看屏幕输出，验证模型是否能以约 9 tokens/s 的速度生成短故事。
- 如需训练或复现实验，查看 src/ 和 experiments/ 目录中的训练、消融和量化代码，并参考 RESULTS.md。
06
风险与注意事项
- 模型能力非常有限，只能生成简单短故事，不能可靠回答问题、执行指令、写代码或提供事实知识。
- 项目更像研究原型和技术 Demo，不适合直接用于生产环境。
- 硬件配置要求较具体，Flash、PSRAM 或屏幕型号不匹配可能导致部署困难。
- 固件构建和烧录需要 ESP32 开发经验，新手可能遇到工具链问题。
- 仓库保留了较多实验历史，代码和流程可能不够产品化或工程化。
- 许可证信息为空，商业使用前需要谨慎确认授权。
- 模型训练数据为 TinyStories，适用范围窄，中文能力或多语言能力没有体现。
- Flash 读写、量化格式、内存布局等细节对稳定性和性能影响较大，移植到其他芯片可能需要大量修改。
2026-07-30
第2名
新收录 · github_search
2026-07-29
第3名
新收录 · github_search
2026-07-28
第1名
新收录 · github_search
2026-07-27
第2名
新收录 · github_search
2026-07-26
第7名
新收录 · github_search
2026-07-25
第22名
新收录 · github_search
