圈圈之地

谷歌于3月12日发布了 Gemma 3 多模态模型，参数量小，适合在边缘终端设备运行，跑分看着还行，不知道效果咋样。 详情：https://blog.google/technology/developers/gemma-3/
Hugging Face: https://huggingface.co/collections/goog ... 621268bb6d
正在LM Studio中下载测试，截图稍后补充


硬件太差了，用的还是8G显存的P104-100矿卡。。。
27B参数的模型本地跑还是有些吃力~
运行一次：我让它从图片获取商品的标题，大概花了15分钟


现在再试试12B参数的模型，还是很慢，将近10分钟


再试试4B参数的模型，很快非常的快，3s出结果

缺点对图片里的中文理解不太行。

受硬件限制，我们使用 qwen2-vl 2B/7B参数的模型进行简单的测试，当然阿里巴巴已经推出 qwen2.5-vl 模型了。

2B:



7B:

---

感觉体验下来，阿里巴巴的千问模型更好用。



这还只是 qwen2-vl 模型，等 qwen2.5-vl 上 LM Studio 的官方仓库后，就可以爽用咯。
llama.cpp: Feature Request: Qwen 2.5 VL

BobMaster 写了： 2025年 3月 13日 11:04 感觉体验下来，阿里巴巴的千问模型更好用。

對中文的識別和理解，應該是國産的小模型會更在行。

你這些都是在本地測的？

ejsoon 写了： 2025年 3月 13日 11:21 你這些都是在本地測的？

对，用的客户端是 LM Studio: https://lmstudio.ai

BobMaster 写了： 2025年 3月 13日 12:25

ejsoon 写了： 2025年 3月 13日 11:21 你這些都是在本地測的？

对，用的客户端是 LM Studio: https://lmstudio.ai

不用額外購置顯卡麼？

ejsoon 写了： 2025年 3月 13日 15:51

BobMaster 写了： 2025年 3月 13日 12:25

ejsoon 写了： 2025年 3月 13日 11:21 你這些都是在本地測的？

对，用的客户端是 LM Studio: https://lmstudio.ai

不用額外購置顯卡麼？

底层是 llama.cpp ，支持CPU和GPU。
至于硬件是否支持，可以尝试下载一个客户端试试看。一般CPU支持AVX指令集应该就能跑。

如果访问不了Hugging Face，还可以启用这个选项以帮助下载模型(我没测试过)

想問下，你所下載使用的，都是他們的訓練成果吧？你自己本地是不需要再訓練的吧？

ejsoon 写了： 2025年 3月 13日 23:25 想問下，你所下載使用的，都是他們的訓練成果吧？你自己本地是不需要再訓練的吧？

对。模型是已经训练好的了，我只是加载训练好的模型，所以对硬件要求没那么高。