litert-lm运行解读

Posted on Views:

litert-lm run gemma-4-E2B-it.litertlm该命令本质是：基于 LiteRT-LM runtime，加载并运行一个 LiteRT 格式的大模型（Gemma 变体）进行推理。

1.组件拆解

1.1 litert-lm

  • 来源：Google 生态

  • 作用：轻量级本地 LLM 推理运行时（类似 ollama / llama.cpp）

  • 核心目标：

    • 在 边缘设备 / 本地 CPU / 移动端运行 LLM
    • 使用 LiteRT（TensorFlow Lite 进化版）格式

👉 本质定位：

1
litert-lm ≈ 推理引擎（runtime）

1.2 run

CLI 子命令，语义：

1
启动推理任务（inference session）

对应行为：

  • 加载模型
  • 初始化 tokenizer
  • 建立推理 graph
  • 启动交互（REPL 或单次 prompt）

1.3 gemma-4-E2B-it.litertlm

这是关键：模型文件

文件结构语义

1
2
3
4
5
6
gemma-4-E2B-it.litertlm
│
├── gemma-4        → 模型架构版本（Gemma 系列）
├── E2B            → Edge-to-Backend / Edge optimized 版本
├── it             → instruction-tuned（指令微调版）
└── .litertlm      → LiteRT-LM 专用模型格式

2.内部关键组件

组件 作用
LiteRT runtime 执行模型计算图（类似 TFLite Interpreter）
tokenizer 文本 ↔ token
kv cache 加速推理
delegate CPU / GPU / NPU 加速

3..litertlm 格式本质

这是一个封装格式（类似 gguf / safetensors）：

3.1 典型内容

1
2
3
4
5
.litertlm
├── model.tflite / graph
├── tokenizer.json
├── metadata.json
└── quantization info

3.2 特点

  • 基于 TensorFlow Lite

  • 支持：

    • INT8 / INT4 量化
    • delegate（NNAPI / GPU / XNNPACK）

  • 强调：

    • 低内存
    • 端侧推理

4.Gemma 模型说明

Gemma 是 Google 的开源 LLM 系列：

4.1 gemma-4-E2B-it 含义

部分 含义
gemma-4 第四代模型
E2B Edge optimized（适配 LiteRT）
it instruction tuned（指令微调）

👉 等价理解：

1
2
这是一个：
“适合本地设备运行的指令微调 Gemma 模型”