Gemma 4 12B：无编码器多模态架构与线性投影
介绍 Gemma 4 12B 的无独立模态编码器架构与可学习投影，区分统一主干、输入预处理和本地部署的资源前提。
直接回答：Gemma 4 12B 的公开架构移除了独立视觉、音频编码器，以轻量投影将模态表示送入统一主干。这不表示投影是无学习的格式转换，也不能把该型号特性扩展到全部 Gemma 4。
传统编码器架构的代价
主流多模态模型在 LLM 主干之外挂模态专属编码器：
- 视觉编码器（规模因架构而异）把图片过多层网络产出 embedding
- 连接器/适配层把 embedding 调成 LLM 输入格式
- 音频编码器走平行流程
- 预处理完 LLM 才拿到数据
这套方案能用，但代价明确：多个大模型要同时加载（吃 VRAM）；编码是串行环节、加延迟；编码器可冻结或参与训练，具体取决于训练策略，并非只能微调主干。
Gemma 4 的无编码器方案
图像投影的含义
块状像素通过可学习投影映射到隐藏维度，再由统一主干处理。以 48×48 RGB 块作维度计算示例，展平是 48×48×3=6912 个通道数值，不是 2304；实际 patch 与预处理参数以模型实现为准。
线性投影仍由训练得到，可组合像素特征，不能说完全不携带视觉信息。没有独立深层编码器，不等于没有预处理与计算。
可能的取舍
合并主干可能简化部分模块，但实际速度、内存和精度仍取决于 Token 数、量化与运行时。不能由无编码器自动推出端到端训练总是更容易或所有模型更快。
本地运行与图像任务表现
Google 发布资料给出面向笔记本、约 16GB 显存或统一内存的部署定位，但具体量化、上下文和运行时支持仍要核对。本文没有 oMLX 图像测试记录，不报告其效果或将 16GB 当所有配置的保底值。
为什么这很重要
多模态架构的两个流派——"专用编码器预处理"与"统一主干端到端"——Gemma 4 给后者投了一票。这提供了另一种设计路线，但并不证明未来模型必然更小、更快或更容易微调。
常见问题（FAQ）
Q：无编码器精度是否一定相当？
A：官方基准只对应指定任务与配置，需要用目标数据复核。
Q：音频也是像素展平吗？
A：不是，音频有自己的输入表示与预处理；共享主干不表示两种模态的输入管线相同。
Q：哪些本地运行时支持？
A：核对该具体 12B 多模态架构与所需模态支持，能加载文本不等于图像和音频都可用。
参考资料
资料核对日期：2026 年 9 月 29 日。本文基于公开文档整理，代码片段和评估方案未作独立运行或性能验证；厂商测试结果已注明来源。
