ITBear旗下自媒体矩阵:

英伟达优化Gemma 4本地运行,推动本地Agent AI落地

   时间:2026-04-03 12:56:56 来源:鞭牛士编辑:快讯 IP:北京 发表评论无障碍通道
 

AIPress.com.cn报道

4月3日消息,英伟达发布技术博客称,已与谷歌合作对Gemma 4开源模型进行优化,使其能够在英伟达 GPU生态中高效运行,从RTX PC到DGX Spark个人AI超级计算机以及Jetson边缘设备均可部署,从而推动本地“Agentic AI”应用的发展。

Gemma 4是谷歌DeepMind最新发布的开源模型家族,包括E2B、E4B、26B和31B四种规模。英伟达表示,这些模型在保持较小体积的同时具备较强推理、代码生成和多模态能力,可在本地设备上完成复杂任务。通过针对英伟达 GPU的优化,Gemma 4能够在从数据中心到个人电脑的多种硬件环境中高效运行。

在功能方面,Gemma 4支持复杂推理、代码生成与调试,并原生支持函数调用等结构化工具使用能力,使其能够作为AI代理执行自动化任务。模型还具备多模态处理能力,可处理图像、视频与音频,并支持在同一提示中混合文本和图像输入。语言方面,模型支持35种以上语言的直接使用,并在超过140种语言数据上进行预训练。

其中E2B和E4B模型主要面向边缘设备与移动端部署,强调低延迟和离线运行能力,可在Jetson Nano等设备上实现接近实时的推理性能。26B和31B模型则更适合开发者工作流和高性能推理任务,能够在RTX GPU和DGX Spark设备上支持本地代码助手、开发工具和AI代理应用。

英伟达表示,随着本地AI代理逐渐成为重要应用形态,一些软件已经开始利用这些模型构建常驻本地的智能助手。例如OpenClaw平台已兼容Gemma 4,使用户可以构建访问本地文件、应用程序和工作流程的AI代理,以自动化日常任务。

在部署方面,Gemma 4模型可以通过Ollama或llama.cpp在本地运行,也可以从Hugging Face下载GGUF格式模型权重。英伟达还与Unsloth合作提供优化版本,以支持更高效的本地微调和部署。

英伟达表示,借助GPU中的Tensor Core加速以及CUDA软件栈,Gemma 4等开源模型可以在不同硬件平台上实现更高吞吐量和更低延迟,使开发者能够在本地设备上运行复杂AI应用,而不必完全依赖云端计算资源。(AI普瑞斯编译)

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version