返回文章列表

小语言模型 (SLM)：全面概述

社区文章 发布于 2025年2月22日

赞129

+123

John Johnson

jjokah

关注

什么是小语言模型？

它们是如何变小的？

小语言模型示例

小语言模型的优势

小语言模型的局限性

小语言模型的实际应用

在边缘设备上运行小语言模型

使用 PocketPal 在移动设备上运行 SLM

使用 Ollama 在 PC 上运行 SLM

微调小语言模型

结论

参考

过去几年是人工智能爆发的时期，大语言模型 (LLM) 以其强大的功能震惊了所有人，并驱动了从聊天机器人到代码助手的一切。然而，并非所有应用都需要 LLM 庞大的体积和复杂性；其所需的计算能力使得它们在许多用例中变得不切实际。这就是为什么小语言模型 (SLM) 进入视野，通过缩小尺寸，使强大的 AI 模型变得更加触手可及。

让我们来看看什么是 SLM、它们是如何变小的、它们的优势和局限性、实际用例，以及如何在移动端和桌面设备上使用它们。

什么是小语言模型？

小语言模型 (SLM) 是传统语言模型的轻量级版本，旨在资源受限的环境（如智能手机、嵌入式系统或低功耗计算机）中高效运行。大语言模型拥有数千亿甚至数万亿个参数，而 SLM 的参数规模通常在 100 万到 100 亿个参数之间。小语言模型虽然体积小得多，但仍保留了文本生成、摘要、翻译和问答等核心 NLP 能力。

一些从业者不喜欢“小语言模型”这个术语，因为 10 亿参数无论如何都不算小。他们更喜欢“小型大语言模型”，但这听起来很别扭。由于大多数人都采用了“小语言模型”，所以就叫 SLM 了。顺便说一句，请注意，它只是相对于大型模型而言较小。

它们是如何变小的？

缩小语言模型的过程涉及多种旨在减小尺寸且不严重影响性能的技术：

知识蒸馏 (Knowledge Distillation)：利用从较大的“教师”模型转移的知识来训练较小的“学生”模型。

剪枝 (Pruning)：移除神经网络架构中冗余或不太重要的参数。

量化 (Quantization)：降低计算中使用的数值精度（例如，将浮点数转换为整数）。

小语言模型示例

已经出现了几种虽小但功能强大的语言模型，证明了尺寸并不代表一切。以下是参数在 10 亿到 40 亿之间的 SLM 示例：

Llama3.2-1B – 由 Meta 开发的 10 亿参数 变体，针对边缘设备进行了优化。

Qwen2.5-1.5B – 阿里巴巴推出的针对多语言应用设计的模型，拥有 15 亿参数。

DeepSeeek-R1-1.5B - DeepSeek 的第一代推理模型，从 Qwen2.5 蒸馏而来，拥有 15 亿参数。

SmolLM2-1.7B – 来自 HuggingFaceTB，一个最先进的“小型”（17 亿参数）语言模型，在专门的开放数据集（FineMath、Stack-Edu 和 SmolTalk）上训练。

Phi-3.5-Mini-3.8B – 微软推出的虽小但强大的开放模型，拥有 38 亿参数，针对推理和代码生成进行了优化。

Gemma3-4B - 由 Google DeepMind 开发，这个轻量但功能强大的 40 亿参数 模型是多语言且多模态的。

市面上还有其他更强大的小语言模型：Mistral 7B、Gemma 9B 和 Phi-4 14B（虽然我不确定 140 亿参数的 Phi-4 是否仍符合“小”的标准，但它的性能非常强悍 :)

小语言模型的优势

低算力要求 – 可以在消费级笔记本电脑、边缘设备和手机上运行。

更低能耗 – 高效的模型减少了功率消耗，更加环保。

更快的推理速度 – 较小的模型能迅速生成响应，非常适合实时应用。

设备端 AI – 无需网络连接或云服务，增强了隐私和安全性。

更便宜的部署成本 – 较低的硬件和云成本使 AI 对初创公司和开发者更加友好。

可定制性：易于针对特定领域任务（如法律文件分析）进行微调。

小语言模型的局限性

虽然 SLM 具有诸多优势，但也存在一些权衡：

范围较窄：在训练领域之外的泛化能力有限（例如，医疗 SLM 可能难以处理编程任务）。

偏见风险：如果数据集未经过仔细筛选，较小的数据集可能会放大偏见。

复杂处理能力降低：在需要深层上下文理解的高度细微或复杂的任务中，较小的模型可能会力不从心。

稳健性较差：在模糊的场景或面对对抗性输入时，它们更容易出错。

小语言模型的实际应用

尽管存在局限性，SLM 仍有广泛的实际应用：

聊天机器人与虚拟助手：效率足以在移动设备上运行，同时提供实时互动。

代码生成：像 Phi-3.5 Mini 这样的模型可以辅助开发者编写和调试代码。

语言翻译：轻量级模型可以为旅行者提供离线设备端翻译。

摘要与内容生成：企业使用 SLM 生成营销文案、社交媒体帖子和报告。

医疗保健应用：用于症状检查和医学研究的设备端 AI。

物联网 (IoT) 与边缘计算：在智能家居设备上运行 AI，无需依赖云端。

教育工具：辅导系统可以利用 SLM 实时生成个性化解释、测试和反馈。

在边缘设备上运行小语言模型

SLM 将 AI 能力直接带到您的智能手机（使用 PocketPal）或 PC（使用 Ollama），提供离线访问、更强的隐私保护和更低的延迟。

使用 PocketPal 在移动设备上运行 SLM

对于有兴趣亲身体验 SLM 的用户，PocketPal AI 应用提供了一种直观的方式，可以直接在智能手机上与这些模型交互，无需互联网连接。无论您是想起草电子邮件、头脑风暴，还是获取快速回答，PocketPal 都能提供由经过优化的 SLM 驱动的无缝界面。其离线功能可确保您的查询保持私密。

功能

离线 AI 助手：直接在您的设备上运行语言模型，无需互联网连接。

模型灵活性：下载并在多个 SLM 之间切换，如 Phi、Gemma、Qwen 等。

自动卸载/加载：当应用处于后台时，通过自动卸载模型来管理内存。

推理设置：自定义模型参数，如系统提示词 (system prompt)、温度 (temperature)、BOS 令牌和聊天模板。

实时性能指标：在 AI 生成响应时查看每秒令牌数 (tokens per second) 和每个令牌的毫秒数。

在 iOS 和 Android 上下载 PocketPal AI

使用 Ollama 在 PC 上运行 SLM

Ollama 是一个开源工具，它简化了在 PC 上部署 SLM 的过程：

本地管理：通过极简设置运行 Llama3.2-1B 或 Phi-3.5 Mini 等模型。

GPU 优化：利用消费级 GPU 实现更快的推理。

自定义工作流：将 SLM 集成到数据流水线或创意工具中（例如自动代码审查）。

Ollama 入门

从 ollama.com 安装 Ollama

打开终端并下载模型

ollama pull qwen2.5:1.5b

以交互方式运行模型

ollama run qwen2.5:1.5b

这种设置无需云服务，即可实现本地 AI 驱动的聊天机器人、编程助手和文档摘要。

微调小语言模型

SLM 最令人兴奋的方面之一是通过微调实现的可适应性。通过让 SLM 接触特定领域的数据集，您可以增强其在利基应用中的表现。

例如

在法律文件上微调模型，创建一个合同分析助手。

在技术手册上训练 SLM，为工程师构建故障排除指南。

有几种微调 SLM 的方法：

全量微调 (Full Fine-Tuning) – 使用新数据重新训练所有参数（需要大量算力）。

LoRA (低秩自适应) – 仅微调少数几层，使其轻量且高效。

适配器 (Adapters) 与提示词微调 (Prompt Tuning) – 添加额外层或优化提示词来引导模型响应。

示例：使用 Hugging Face 的 peft 库进行 LoRA 微调

from peft import LoraConfig, get_peft_model

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "gemma-2-2b"

model = AutoModelForCausalLM.from_pretrained(model_name)

tokenizer = AutoTokenizer.from_pretrained(model_name)

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)

model = get_peft_model(model, config)

# Train the model on new data...

微调不仅提高了准确性，还确保模型紧密契合您的独特需求。

结论

小语言模型 (SLM) 代表了迈向高效、可获得且具有成本效益的 AI 的关键一步。它们为那些寻求强大 AI 却又不堪 LLM 沉重计算负担的企业、开发者和研究人员提供了实用的解决方案。

借助于 PC 端的 Ollama 以及用于自定义的微调选项等工具，SLM 正在重塑 AI 格局——使 AI 更加个性化、私密，并让每个人都能使用。

让我们来探索紧凑型 AI 如何改变我们的项目吧。

参考：

小语言模型综述 (研究论文) https://arxiv.org/abs/2410.20011