从 “对话“ 迈向 “行动“: 利用 FunctionGemma 打造下一代端侧智能体

作者 / 代表 Gemma 和 ODML 团队的产品经理 Kat Black，研究工程师 Ravin Kumar

对于 Gemma 模型系列而言，2025 年是充满变革的一年。我们的下载量已从 1 亿次增长到超过 3 亿次，同时还展现了开放模型的变革潜力: 从凭借 Gemma 3 定义最先进的单加速器性能，到通过 C2S Scale 计划推动癌症研究，皆是最佳佐证。

• 开放模型的变革性潜力

  https://blog.google/technology/developers/developers-changing-lives-with-gemma-3n/

• Gemma 3

  https://blog.google/technology/developers/gemma-3/

• C2S Scale 计划

  https://blog.google/technology/ai/google-gemma-ai-cancer-therapy-discovery/

自 Gemma 3 270M 模型发布以来，我们收到开发者最迫切的需求就是原生函数调用功能。我们认真听取了这一反馈，意识到随着行业从纯粹的对话式交互向主动智能体转变，模型不能仅局限于对话，更需要具备执行能力。这在设备端尤为重要，因为智能体可以自动执行复杂的多步骤工作流程，例如设置提醒或切换系统设置。若要在边缘端实现这一点，模型必须足够轻量级以支持本地运行，同时还要具备足够的专业性以确保可靠性。

• Gemma 3 270M

  https://developers.googleblog.com/en/introducing-gemma-3-270m/

现在，我们正式推出了 FunctionGemma，这是针对函数调用而特别优化的 Gemma 3 270M 模型版本。它旨在为进一步训练定制化、快速、私密且本地运行的智能体奠定坚实的基础，从而将自然语言翻译成可执行的 API 操作。

FunctionGemma 可以作为完全独立的智能体，处理私密的离线任务，也可以作为大型互联系统的智能分流器。在此模式下，它能够在边缘端即时处理常见指令，同时将更复杂的任务调度至 Gemma 3 27B 等模型进行处理。

FunctionGemma 的独特之处

• 执行与对话合二为一: FunctionGemma 既能与计算机 "对话"，也能与人类交流。它可以生成结构化的函数调用来执行工具，然后切换到相应模式，用自然语言为用户汇总结果。

• 为定制化而生: FunctionGemma 的设计理念在于按需塑造，而不仅仅是依靠提示驱动。在我们的 "Mobile Actions" 评估中，微调提升了模型的可靠性，将准确率从 58% 的基准线提高到 85%。这证实了对于边缘端智能体而言，经过专门训练的专家模型是实现生产级性能的高效捷径。

• 专为边缘计算设计: 该模型体积小巧，足以在 NVIDIA Jetson Nano 等边缘设备和手机上运行，FunctionGemma 使用了 Gemma 的 25.6 万词表，能够高效地对 JSON 与多语言输入进行分词处理。这使得它成为在特定领域微调的强大基础，通过缩短序列长度来确保极致的低延迟表现，并确保用户隐私。

• 广泛的生态系统支持: 该模型可无缝融入整个工作流中常用的工具: 可以使用 Hugging Face Transformers、Unsloth、Keras 或 NVIDIA NeMo 进行微调，并使用 LiteRT-LM、vLLM、MLX、Llama.cpp、Ollama、Vertex AI 或 LM Studio 进行部署。

△ FunctionGemma 在 "Mobile Actions" 数据集上的准确率变化，基于预留评估集上微调前后的对比。

• NVIDIA Jetson Nano

  https://www.jetson-ai-lab.com/models/functiongemma

• Hugging Face Transformers

  https://huggingface.co/collections/google/functiongemma

• Unsloth

  https://docs.unsloth.ai/models/function-gemma

• NVIDIA NeMo

  https://github.com/NVIDIA-NeMo/Automodel/blob/main/examples/llm_finetune/gemma/functiongemma_xlam.yaml

• LiteRT-LM

  https://github.com/google-ai-edge/LiteRT-LM/blob/main/README.md

• MLX

  https://huggingface.co/collections/mlx-community/functiongemma

• Llama.cpp

  https://huggingface.co/ggml-org/functiongemma-270m-it-GGUF

• Ollama

  https://ollama.com/library/functiongemma

• Vertex AI

  https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/functiongemma

• LM Studio

  https://lmstudio.ai/models/functiongemma

• 微调

  https://github.com/google-gemini/gemma-cookbook/blob/main/FunctionGemma/%5BFunctionGemma%5DFinetune_FunctionGemma_270M_for_Mobile_Actions_with_Hugging_Face.ipynb

选择 FunctionGemma 的时机

FunctionGemma 是自然语言与软件执行之间的桥梁。在以下情境，FunctionGemma 是您的不二之选:

• 您有明确定义的 API 接口范围: 您的应用具备一套既定的功能操作 (例如智能家居、多媒体、导航等)。

• 您已准备好进行微调: 您需要的是通过对特定数据进行微调所带来的高度一致性与确定性，而不是零样本提示带来的不确定性。

• 您优先考虑 "本地优先" 的部署方式: 您的应用需要近乎即时的响应延迟与完全的数据隐私保护，并且能够在边缘设备的计算与电池限制下高效运行。

• 您正在构建复合系统: 您需要一个轻量级的边缘模型来处理本地操作，使您的系统能够在设备端即时处理常见指令，并且仅在遇到更复杂任务时才会调用更大规模的模型 (如 Gemma 3 27B)。

如何体验 FunctionGemma 的实际效果

让我们看看这些模型如何重塑真实的用户体验。您可以通过 Google AI Edge Gallery 应用中的两种不同体验来探索它的能力: 一个互动游戏和一个开发者挑战。

• Google AI Edge Gallery 应用

  https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery&pcampaignid=web_share

Mobile Actions 微调

这个演示重新构想了助理交互的形式，使其成为完全离线的能力。无论是 "为明天的午餐创建一个日程"、"将 John 添加到我的联系人" 还是 "打开手电筒"，该模型都能解析自然语言并识别正确的操作系统工具来执行命令。要解锁这个智能体，您可以使用我们的微调操作手册来构建模型，并将其部署到自己的移动设备上。

• 微调操作手册

  https://github.com/google-gemini/gemma-cookbook/blob/main/FunctionGemma/%5BFunctionGemma%5DFinetune_FunctionGemma_270M_for_Mobile_Actions_with_Hugging_Face.ipynb

TinyGarden 游戏演示

在这个互动小游戏中，玩家使用语音指令来经营一块虚拟土地。例如，您可以说 "在最上面一排种向日葵并浇水"，模型会将此指令分解为具体的应用函数，比如 "种植作物 (plantCrop)" 或 "给作物浇水 (waterCrop)"，并针对特定的网格坐标进行操作。这证明，270M 模型能够在手机上处理多轮逻辑，驱动自定义游戏机制，而无需连接服务器。

FunctionGemma Physics Playground

使用自然语言交互来解决有趣的物理模拟谜题吧！这个游戏完全在您的浏览器中本地运行，由 FunctionGemma 和 Transformers.js 提供支持！

• 这个游戏完全在您的浏览器中本地运行

  https://huggingface.co/spaces/webml-community/FunctionGemma-Physics-Playground

致谢: @xenovacom (来自 X)

如何立即体验 FunctionGemma

我们正从 "聊天机器人时代" 迈向 "行动时代"。有了 FunctionGemma，这种强大的能力便触手可及。

• 下载: 前往 Hugging Face 或 Kaggle 获取模型。

• 学习: 阅读相关指南，了解函数调用模板、如何将模型与函数响应序列化以及微调指南。

• 探索: 下载新版 Google AI Edge Gallery，体验相关演示。

• 构建: 通过 Colab Notebook 和配套数据集，使用 Mobile Actions 指南训练您的专属智能体。

• 部署: 使用 LiteRT-LM 轻松将模型部署到移动设备，或将其接入 Vertex AI 或 NVIDIA RTX PRO、DGX Spark 等设备，与更大的模型搭配使用。

• Hugging Face

  https://huggingface.co/google/functiongemma-270m-it

• Kaggle

  https://www.kaggle.com/models/google/functiongemma

• 相关指南

  https://ai.google.dev/gemma/docs/functiongemma

• 函数调用模板

  https://ai.google.dev/gemma/docs/functiongemma/formatting-and-best-practices

• 如何将模型与函数响应序列化

  https://ai.google.dev/gemma/docs/functiongemma/full-function-calling-sequence-with-functiongemma

• 微调方法

  https://ai.google.dev/gemma/docs/functiongemma/finetuning-with-functiongemma

• Google AI Edge Gallery

  https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery&pcampaignid=web_share

• Colab Notebook

  https://github.com/google-gemini/gemma-cookbook/blob/main/FunctionGemma/%5BFunctionGemma%5DFinetune_FunctionGemma_270M_for_Mobile_Actions_with_Hugging_Face.ipynb

• 数据集

  https://huggingface.co/datasets/google/mobile-actions

• 指南

  https://ai.google.dev/gemma/docs/functiongemma/mobile-actions

• LiteRT-LM

  https://github.com/google-ai-edge/LiteRT-LM

我们迫不及待地想看到，您将如何在设备上开启独特、私密且极致响应的全新体验。也欢迎您持续关注 "谷歌开发者" 微信公众号，及时了解更多开发技术和产品更新等资讯动态。