WeZZard/jlens-qwen36 是一个面向 Apple Silicon / MLX 的本地大模型可视化调试工具，用于观察 Qwen3.6-27B 4-bit 模型在每一层、每个 token 位置上的 Jacobian Lens 读数。它可以显示模型在隐空间中“倾向于哪些词”，即使这些概念最终没有出现在输出文本中。项目提供 Web UI、预训练 lens 权重下载方式、实时 chat 可视化，以及用于 Gated DeltaNet 的自定义 Metal 反向传播内核。
适用领域
大模型可解释性 / Mechanistic Interpretability / Jacobian Lens / Logit Lens / Qwen 模型分析 / Apple Silicon 本地推理 / MLX 生态 / 模型调试与安全研究 / 可视化 AI 工具
配置难度
较高。该项目不是普通应用库，而是结合 MLX、本地大模型推理、Jacobian Lens、Gated DeltaNet 自定义反向内核和可解释性研究的高级工具。具备 Python 和本地模型运行经验的开发者可以按 README 启动演示，但要理解 lens 原理、拟合自己的 lens、修改 kernel 或迁移到其他模型，需要较强的大模型架构和可解释性背景。
商业价值
对通用业务落地价值中等，对大模型安全和研究团队价值较高。它可以帮助团队观察模型在生成过程中的隐空间概念，辅助安全评估、对齐研究、模型行为审计和异常输出分析。对于企业级生产应用，它更适合作为研发和分析工具，而不是直接面向终端用户的产品组件。若团队关注模型安全、可解释性、红队测试或 Apple Silicon 本地研究环境，该项目具有较高参考价值。
01
技术亮点
- 专门针对 Qwen3.6-27B 4-bit 与 Apple Silicon 本地运行优化。
- 提供可交互 Web UI，以 position × layer 网格展示每层每个 token 的 top J-lens token。
- 支持实时 chat 模式，生成时逐行展示每个新 token 的内部读数。
- 点击单元格可固定查看 top-10 读数，便于深入分析某层某位置的概念倾向。
- 内置自定义 Metal backward kernel，解决 MLX fused GDN kernel 无 VJP 的问题。
- README 声称完整深度 lens 可在 M4 Pro 上约 2.75 小时拟合完成，性能优化价值较高。
- 兼容外部 lens，例如 Neuronpedia 的 n=1000 lens。
- Apache-2.0 许可证，便于研究和二次开发。
- 项目有线上只读演示站点 jlens.wezzard.com，便于快速了解效果。
02
目标用户
- 大模型可解释性研究者
- LLM 安全研究人员
- 使用 Apple Silicon Mac 的 AI 开发者
- 研究 Qwen3.6 / qwen3_5 架构的工程师
- 希望本地运行模型分析工具的开发者
- AI 产品或安全团队中的模型行为分析人员
- 学习 transformer circuits / latent representation 的高级用户
03
配置要求
- 硬件要求：Apple Silicon Mac，推荐 M 系列芯片，约 24GB 以上空闲内存。
- 运行框架：Apple MLX，仅支持 Apple / MLX 环境。
- 模型要求：qwen3_5 架构模型，README 中说明 Qwen3.6-27B 符合要求。
- 模型体积：Qwen3.6-27B 4-bit 首次运行需从 HuggingFace 下载约 15GB。
- Lens 权重：默认预训练 lens 约 3.3GB，需从 GitHub Release 下载并合并分片。
- 可选配置：可通过 JLENS_PATH 指向兼容的 .npz lens 文件。
- 可选数据源：可加载 Neuronpedia 的 n=1000 lens，或自行拟合 lens。
- 限制：当前主要支持单 token 概念，多 token 概念需要进一步扩展。
- 运行模式：chat 默认禁用 thinking，即 enable_thinking=False，以便观察隐空间而不是显式 think trace。
04
适用场景
- 可视化 Qwen3.6-27B 在生成过程中的中间层概念激活
- 分析模型是否在隐空间中考虑了敏感概念但未显式输出
- 对比不同 prompt 下模型内部表示的变化
- 使用 Jacobian Lens 或 Logit Lens 观察每层 token 倾向
- 调试模型在安全、拒答、欺骗、黑邮件等场景中的内部状态
- 加载 Neuronpedia 或自训练的 lens 权重进行更高质量研究
- 研究 Gated DeltaNet 架构下的 Jacobian fitting 性能优化
- 作为 Anthropic Jacobian Lens 论文相关方法的 MLX / Qwen 实践参考
05
部署与配置
- 确保使用 Apple Silicon Mac，并预留约 24GB 可用内存。
- 安装 Python、uv、GitHub CLI gh，以及可访问 HuggingFace 的网络环境。
- 克隆仓库：git clone https://github.com/WeZZard/jlens-qwen36.git
- 进入目录并同步依赖：cd jlens-qwen36 && uv sync
- 下载预训练 lens 权重：gh release download v0.2-fulldepth --repo WeZZard/jlens-qwen36 --pattern '*.npz.part-*' --dir data/lens/
- 合并 lens 分片：cat data/lens/*.npz.part-* > data/lens/lens.npz && rm data/lens/*.part-*
- 启动服务：uv run python -m uvicorn jlens_qwen.serve:app --host 127.0.0.1 --port 8765
- 浏览器打开：http://127.0.0.1:8765/
- 首次运行时模型会自动从 HuggingFace 下载，约 15GB。
06
风险与注意事项
- 平台限制明显，仅支持 Apple / MLX，不适合 Linux CUDA 或 Windows 用户直接使用。
- 模型和 lens 文件体积较大，首次安装下载成本较高。
- 需要较高内存，低配 Mac 可能运行困难。
- 仅支持 qwen3_5 架构模型，custom GDN kernel 与架构强绑定，泛化到其他模型需要较多工程工作。
- 默认 bundled lens 只用 20 个 prompts 拟合，README 明确说明属于 demo-grade，读数可能较噪。
- Jacobian Lens 属于研究工具，解释结果不应被直接视为模型真实意图或可靠因果证据。
- 单 token 概念限制会影响中文、多词短语、复杂概念的解释质量。
- 依赖 HuggingFace、GitHub Release、uv、MLX 等环境，国内网络环境下可能需要镜像或代理。
- 项目较前沿，可能存在兼容性、性能和可维护性风险。
2026-07-14
第21名
新收录 · github_search
2026-07-13
第25名
新收录 · github_search
2026-07-12
第27名
新收录 · github_search
