https://www.bilibili.com/video/BV1364y157EA/

RTX 3080 Ti 拥有 34 TFLOPS 的着色器性能、67 TFLOPS 的光追性能、以及 273 TFLOPS 的 Tensor（Sparsity）性能。 该卡的外形设计，依然类似于现有的 RTX 3080 FE 公版显卡（双槽双面风冷散热器），但没有 RTX 3090 那样笨重（BFG），侧边仍是 12-pin 的 Microfit 辅助供电接口。

只有关于代码生成的部分：
https://zhuanlan.zhihu.com/p/666077213

https://www.modelscope.cn/models/deepseek-ai/deepseek-llm-7b-chat/summary

关于 DeepSeek
DeepSeek 致力于探索 AGI 的本质，不做中庸的事，带着好奇心，用最长期的眼光去回答最大的问题。

DeepSeek Coder 是深度求索发布的第一代大模型，在不久的将来，我们还将呈现给社区更多更好的研究成果。让我们在这个激动人心的时代，共同推进 AGI 的到来！

https://github.com/lm-sys/FastChat/blob/main/docs/model_support.md

需要选择 python3.10 的镜像，否则会执行报错：
Miniconda conda3
Python 3.10(ubuntu22.04)
Cuda 11.8

安装完成之后就可以使用fastchat启动了。

启动脚本：

解决： 内存不够，增加参数 --load-8bit 解决：

启动成功：

测速，反而提速了：

测试中文输出正常：

webui 启动正常了：

终于解决了webui的启动问题。模型发展的速度真的快。速度越来越快了。
deepseek的模型使用起来还可以。可以运行7b的模型了。
测试了几个简单的问题，还可以。7B模型经过 int8 量化，可以在 12G的3080TI 上面运行。