不正经的显卡选择方案¶
性能排序¶
这里的性能是计算性能（FP32、FP16、TF32等）
依次是： RTX 5090 -> RTX 4090 -> RTX 3090TI -> RTX 3090 -> RTX 3080Ti -> RTX 4070Ti -> RTX 3080 -> RTX 3070-> RTX 2080Ti -> RTX 4060Ti -> RTX 3060 -> RTX 1080
按显存大小排¶
| 48G显存 | 32G显存 | 24G显存 | 22G显存 | 16G显存 | 12G显存 | 11G显存 | 10G显存 | 8G显存 |
|---|---|---|---|---|---|---|---|---|
| 4090 48GB | 5090 32GB | 1. RTX4090 2. RTX3090Ti 3. RTX3090 |
RTX2080Ti 22G | RTX4060Ti | 1. RTX3080Ti 2. RTX4070Ti 3. RTX3060 |
RTX2080Ti 11G | RTX3080 | 1. RTX3070 2. RTX1080 |
DeepSeek R1 / Qwen2.5 模型推理¶
|
模型 |
参数规模 |
1080 8G |
2080Ti 11G |
2080Ti 22G |
3060 12G |
3070 8G |
3080 10G |
3080Ti 12G |
3090 24G |
3090Ti 24G |
4060Ti 16G |
4090 24G |
4090 48G |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
DeepSeek R1 |
1.5B |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
|
7B |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
|
|
8B |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
|
|
14B |
CPU+GPU |
GPU |
GPU |
GPU |
CPU+GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
|
|
32B |
CPU+GPU |
CPU+GPU |
GPU |
CPU+GPU |
CPU+GPU |
CPU+GPU |
CPU+GPU |
GPU |
GPU |
CPU+GPU |
GPU |
GPU |
|
|
70B |
- |
- |
- |
- |
- |
- |
- |
CPU+GPU |
CPU+GPU |
- |
CPU+GPU |
GPU |
|
|
671B |
- |
- |
- |
- |
- |
- |
- |
- |
- |
- |
- |
- |
|
|
Qwen2.5 |
0.5B |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
|
1.5B |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
|
|
3B |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
|
|
7B |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
|
|
14B |
CPU+GPU |
GPU |
GPU |
GPU |
CPU+GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
GPU |
|
|
32B |
CPU+GPU |
CPU+GPU |
GPU |
CPU+GPU |
CPU+GPU |
CPU+GPU |
CPU+GPU |
GPU |
GPU |
CPU+GPU |
GPU |
GPU |
|
|
72B |
- |
- |
- |
- |
- |
- |
- |
CPU+GPU |
CPU+GPU |
- |
CPU+GPU |
GPU |
提示
GPU：表示GPU显存足够，可完全运行在GPU，可获得最好的加速效果；
CPU+GPU：表示需要CPU和系统内存配合运行，速度较快；
-：表示不支持；
各应用场景/模型所需显存¶
| 大类 | 模型/软件 | 参数量 | 显卡消耗 | 备注 |
| 大语言模型
（常用中文模型） |
ChatGLM2 | 6B | Float16:13G
Int8：9G Int4：6G |
清华智谱AI |
| Baichuan-13B | 13B | float16:26G
Int8：19G Int4：13G |
百川智能 | |
| LLaMa2 | 7B~65B
仅统计7B |
float16:15G
Int8：10G Int4：7G |
Meta | |
| LLaMa3 | 8B~405B
仅统计8B |
FP16:16G
FP8：8G Int4：4G |
||
| 深度模型 | / | / | 一般12G可用 | 常见NLP、CV模型 |
| AI绘图 | Stable Diffusion | 7亿 | 26G | 图像尺寸：512*512 |
| SDXL1.0 | 14亿 | 52G | 图像尺寸：1024*1024 | |
| DALL-E | 13亿 | 32G | ||
| 3D渲染 | lumion | / | 最少6G，最好11G以上 | 3D可视化，建筑渲染 |
| D5渲染器 | / | 最少8G，最好10G以上 | 室内外场景渲染 | |
| ArcGIS | / | 最少4G，最好8G以上 | 地理信息系统 | |
| V-Ray | / | 最少4G，最好8G以上 | 3D渲染引擎，可以与3D软件兼容 | |
| 3ds Max | / | 最少4G，最好8G以上 | 3D建模软件 | |
| SketchUp（草图大师） | / | 最少1G，最好4G以上 | 3D建模软件 | |
| Enscape | / | 最少2G，最好6G以上 | 实时渲染和虚拟现实插件 | |
| Maya | / | 最少4G，最好8G以上 | 3D动画、建模、仿真软件 | |
| Cinema4D（C4D） | / | 最少4G，最好8G以上 | 3D制作软件 | |
| Blender | / | 最少8G | 3D创作套件 |