LiteRT-LM(端侧推理)介绍
LiteRT-LM = Google 面向边缘设备的 LLM 推理引擎（Inference Runtime + GenAI Layer）
- 开源
- 面向 on-device / edge AI
- 专注 推理（inference），不做训练
👉 官方定义：
- “用于在边缘设备部署大模型的高性能推理框架”
1.架构拆解（核心能力）
LiteRT（基础层）
👉 Google 新一代 TFLite
负责：
- 模型执行
- GPU / NPU 加速
- 内存优化
支持：
- OpenCL / Metal / WebGPU
👉 本质：
“跨平台 ML runtime”
LiteRT-LM（LLM增强层）
在 LiteRT 之上增加：
| 能力 | 说明 |
|---|---|
| KV Cache | LLM 推理核心优化 |
| Prompt Template | Prompt 管理 |
| Function Calling | Agent能力 |
| 多模态 | text + image + audio |
| Streaming | 流式输出 |
| Tool Use | 工具调用 |
👉 官方说明：
- 提供 KV-cache、function calling 等 GenAI API
2.核心特性（工程价值）
跨平台能力（重点）
支持：
- Android / iOS
- Web (WASM / WebGPU)
- Linux / macOS / Windows
- IoT（树莓派等）
👉 一套模型，多端运行
硬件加速（关键差异）
| 加速层 | 能力 |
|---|---|
| CPU | XNNPACK |
| GPU | ML Drift |
| NPU | Qualcomm / MediaTek |
多模型支持
支持主流开源 LLM：
- Gemma（Google）
- LLaMA
- Qwen
- Phi-4
👉 统一推理接口
多模态能力
- 文本
- 图像
- 音频
👉 可做：
- 语音助手
- 图片理解
- 视频分析
3.运行模式
本地推理（核心模式）
flowchart LR
User --> Device
Device --> LiteRT-LM
LiteRT-LM --> Local Model
Local Model --> Response
特点：
- 无需云
- 低延迟
- 强隐私
Agent模式（关键趋势）
flowchart TD
A[LLM] --> B[Function Calling]
B --> C[外部API]
C --> D[数据]
D --> A
👉 支持：
- 工具调用
- RAG
- 自动化流程
4.与主流框架对比（重点）
| 框架 | 定位 | 是否边缘 | 是否云依赖 |
|---|---|---|---|
| Ollama | 本地推理（PC） | ❌偏服务器 | 可离线 |
| vLLM | 高性能推理（云） | ❌ | 需要服务器 |
| TensorRT-LLM | GPU推理 | ❌ | 服务器 |
| LiteRT-LM | 移动端/边缘端 | ✅ | ❌ |
👉 核心差异：
LiteRT-LM = “移动端 LLM runtime”
CLI 运行示例
1 | litert-lm run \ |