谷歌 Gemma 3 发布

[BobMaster]

谷歌 Gemma 3 发布

• 引用

帖子 由 BobMaster » 2025年 3月 13日 09:24

谷歌于3月12日发布了 Gemma 3 多模态模型，参数量小，适合在边缘终端设备运行，跑分看着还行，不知道效果咋样。

Chatbot_Arena_ELO_Score.width-1000.format-webp.webp (19.15 KiB) 查看 3977 次

详情：https://blog.google/technology/developers/gemma-3/
Hugging Face: https://huggingface.co/collections/goog ... 621268bb6d
正在LM Studio中下载测试，截图稍后补充


硬件太差了，用的还是8G显存的P104-100矿卡。。。
27B参数的模型本地跑还是有些吃力~
运行一次：我让它从图片获取商品的标题，大概花了15分钟


现在再试试12B参数的模型，还是很慢，将近10分钟


再试试4B参数的模型，很快非常的快，3s出结果

缺点对图片里的中文理解不太行。

以下圈友为 BobMaster 的帖子点了赞:

ejsoon

[BobMaster]

用 qwen2-vl 和 Gemma 3 对比下多模态效果

• 引用

帖子 由 BobMaster » 2025年 3月 13日 11:04

受硬件限制，我们使用 qwen2-vl 2B/7B参数的模型进行简单的测试，当然阿里巴巴已经推出 qwen2.5-vl 模型了。

2B:



7B:

---

感觉体验下来，阿里巴巴的千问模型更好用。



这还只是 qwen2-vl 模型，等 qwen2.5-vl 上 LM Studio 的官方仓库后，就可以爽用咯。
llama.cpp: Feature Request: Qwen 2.5 VL

上次由 BobMaster 在 2025年 3月 13日 16:30，总共编辑 1 次。

[ejsoon]

Re: 用 qwen2-vl 和 Gemma 3 对比下多模态效果

• 引用

帖子 由 ejsoon » 2025年 3月 13日 11:21

感觉体验下来，阿里巴巴的千问模型更好用。

對中文的識別和理解，應該是國産的小模型會更在行。

你這些都是在本地測的？

[BobMaster]

Re: 用 qwen2-vl 和 Gemma 3 对比下多模态效果

• 引用

帖子 由 BobMaster » 2025年 3月 13日 12:25

你這些都是在本地測的？

对，用的客户端是 LM Studio: https://lmstudio.ai

[ejsoon]

Re: 用 qwen2-vl 和 Gemma 3 对比下多模态效果

• 引用

帖子 由 ejsoon » 2025年 3月 13日 15:51

你這些都是在本地測的？

对，用的客户端是 LM Studio: https://lmstudio.ai

不用額外購置顯卡麼？

[BobMaster]

Re: 用 qwen2-vl 和 Gemma 3 对比下多模态效果

• 引用

帖子 由 BobMaster » 2025年 3月 13日 16:23

你這些都是在本地測的？

对，用的客户端是 LM Studio: https://lmstudio.ai

不用額外購置顯卡麼？

底层是 llama.cpp ，支持CPU和GPU。
至于硬件是否支持，可以尝试下载一个客户端试试看。一般CPU支持AVX指令集应该就能跑。

如果访问不了Hugging Face，还可以启用这个选项以帮助下载模型(我没测试过)

[ejsoon]

Re: 谷歌 Gemma 3 发布

• 引用

帖子 由 ejsoon » 2025年 3月 13日 23:25

想問下，你所下載使用的，都是他們的訓練成果吧？你自己本地是不需要再訓練的吧？

[BobMaster]

Re: 谷歌 Gemma 3 发布

• 引用

帖子 由 BobMaster » 2025年 3月 14日 21:08

想問下，你所下載使用的，都是他們的訓練成果吧？你自己本地是不需要再訓練的吧？

对。模型是已经训练好的了，我只是加载训练好的模型，所以对硬件要求没那么高。