GaGa's Blog

nvidia-smi输出显卡使用情况

root@xxx~# nvidia-smi 
Thu Aug 27 15:01:03 2026       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.133.20             Driver Version: 570.133.20     CUDA Version: 12.8     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA L20                     On  |   00000000:06:10.0 Off |                    0 |
| N/A   57C    P0            117W /  350W |   39924MiB /  46068MiB |     52%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA L20                     On  |   00000000:06:11.0 Off |                    0 |
| N/A   59C    P0            127W /  350W |   43359MiB /  46068MiB |     16%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A            3150      C   /usr/bin/python                         354MiB |
|    0   N/A  N/A            3153      C   /usr/bin/python                        2890MiB |
|    0   N/A  N/A            3154      C   /usr/bin/python                        2890MiB |
|    0   N/A  N/A            3412      C   /opt/conda/bin/python                 16384MiB |

解读

1. 整体状态

1.检查命令

1
2
3
4
5
6
7
8
9
10
11
12

# 实时温度监控
watch -n 1 nvidia-smi -q -d TEMPERATURE

# 查看温度历史记录（如有日志）
nvidia-smi --query-gpu=timestamp,temperature.gpu,temperature.memory \
  --format=csv -l 1

三个关键温度指标

# 查看完整温度信息
nvidia-smi --query-gpu=name,temperature.gpu,temperature.memory,temperature.gpu.hotspot \
  --format=csv

重要：核心温度 70°C 但热点 105°C，GPU 并不健康

问题

postgres:18-alpine 数据映射提示Error: in 18+, these Docker images are configured to store database data in a这是 PostgreSQL 18 官方 Docker 镜像的数据目录结构变更导致的。

1
2

volumes:
  - postgres_data:/var/lib/postgresql/data

但从 postgres:18 开始，官方镜像推荐/默认的数据目录改成了带主版本号的目录，因此旧的 PGDATA 挂载方式会触发这个保护错误。

核心区别

详细解释

1.Docker架构

┌─────────────────────────────────────────────────────────────────────
│                      Docker 架构图                                   
├─────────────────────────────────────────────────────────────────────
│                                                                     
│   ┌──────────────┐                                                  
│   │  Docker Client│  ← docker run, docker ps, docker build          
│   │   (CLI)      │                                                 
│   └──────┬───────┘                                                  
│          │ REST API                                                 
│   ┌──────▼───────┐                                                  
│   │ Docker Daemon │  ← dockerd（守护进程）                            
│   │  (daemon)    │    管理镜像、容器、网络、卷                          
│   └──────┬───────┘                                                  
│          │                                                          
│   ┌──────▼──────────────────────────────────────────────┐           
│   │                   Storage Driver                     │          
│   │  ┌────────┐  ┌────────┐  ┌────────┐  ┌────────┐    │            
│   │  │  AUFS   │  │Overlay2│  │Devicemapper│ │  VFS  │    │         
│   │  └────────┘  └────────┘  └────────┘  └────────┘    │            
│   └─────────────────────────────────────────────────────┘           
│          │                                                          
│   ┌──────▼───────┐     ┌──────────────────┐                        
│   │  Containerd  │  →  │       runc        │  ← OCI运行时标准       
│   └──────────────┘     └──────────────────┘                        
│                                                                     
│   ┌──────────────┐     ┌──────────────────┐                        
│   │ Docker Hub   │  ↔  │  Private Registry │                       
│   │  (公共仓库)   │     │   (私有仓库)      │                       
│   └──────────────┘     └──────────────────┘                        
│                                                                    
└─────────────────────────────────────────────────────────────────────

2.Docker核心概念

1.容器技术演进

目的：提高隔离性、资源使用效率

虚拟化演进路线：
┌─────────────────────────────────────────────────────────────────
│  传统虚拟化 → 容器虚拟化                                         
├─────────────────────────────────────────────────────────────────
│  Type-I (裸金属): VMware ESXi, KVM                              
│  Type-II (宿主):  VirtualBox, VMware Workstation                 
│                                                                         
│  容器虚拟化: jail/vserver(chroot) → LXC → Docker                  
│                                                                         
│  Docker 核心技术栈:                                                 
│  lxc → libcontainer → runC                                        
│                                                                         
│  OCI (Open Container Initiative):                                  
│  • 由Linux基金会2015年创立                                        
│  • Runtime Specification (runC)                                    
│  • Image Specification                                             
└─────────────────────────────────────────────────────────────────

1.缓存的本质

缓存是为了调节速度不一致的介质之间的速度差，置于中间实现速度较快的一方加速访问速度较慢的一方。

典型例子：CPU缓存加速访问内存、内存加速访问硬盘、Raid Cache加速磁盘IO。

Stealth Ox Alpha

• ⚠ Auxiliary title generation failed: HTTP 404:
• Thank you for participating in the Stealth Ox Alpha testing period. - This model was ZAI’s GLM-5.3 Flash. Use it now: https://openrouter.ai/z-ai/glm-5.3-flash

如果不清理，pip 会把下载的 .whl 或安装包残留在镜像层中，导致最终生成的 Docker 镜像体积变大，而这些缓存文件在容器运行时是完全用不到的。

1.推荐清理方法

修改你的 RUN 指令，加上 --no-cache-dir 参数。这是最推荐、最优雅的做法：

Sub2API (Subscription-to-API) 是一种开源的 AI API 网关及中转分发管理平台。它的主要作用是将各种 AI 服务的订阅账号（如 ChatGPT Plus/Team、Claude Pro、Gemini Advanced 等）统一转换为标准的 API 接口，方便接入第三方客户端或应用集成。

核心功能与特性

• 订阅转 API：支持将 OAuth 授权账号、Session Key 或网页版订阅统一转化为兼容 OpenAI/Claude 标准规范的 API。
• 多账号池化管理：可接入多个订阅账号形成资源池，自动处理状态保持与过期刷新。
• 智能调度与负载均衡：具备粘性会话（Sticky Sessions）功能，可让同一个上下文对话固定路由到同一个上游账号，避免对话断连。当某个账号达到频率限制（Rate Limit）时，会自动切到备用账号。
• 配额与 Token 级计费：内置完整的用户管理、并发控制、配额分发以及 Token 级别的用量追踪扣费。
• 拼车与共享机制：方便团队或个人通过一个服务分摊订阅成本，原生支持在线支付和自助充值系统。

Oracle SQL Developer简化了Oracle数据库的开发和管理,SQL Developer提供了PL/SQL程序的端到端开发，运行查询工作表的脚本，管理数据库的DBA控制台，报表接口，完整的数据建模的解决方案，并且能够支持将你的第三方数据库迁移至Oracle。

在 NVIDIA GPU（英伟达显卡） 上部署大语言模型，追求的无非是两个核心指标：吞吐量（并发能力） 和 低延迟（响应速度）。

1. .safetensors 原始权重

这是目前 GPU 部署最常用的格式。在 NVIDIA GPU 上，千万不要直接用原生的 Hugging Face Transformers 库去跑生产环境（效率极低）。