PMdissOS是Legend制作的一款Ubuntu镜像
作者:沐·逸@产品江湖
镜像内目前包含UbuntuOS+Conda运行环境+LangchainChatChat运行程序+chatglm3大模型文件,解压完成共50+G。
运行条件:
- 建议运行平台采用Windows11最新版企业操作系统,且安装WSL2,即windows自带虚拟机程序;
- 建议主机平台配置不低于 CPU E5 2678/2666 V3,运行内存32G及以上,可用硬盘空间500G及以上;
- 显卡建议采用NVIDIA,也就是N卡,且需要满足算力不低于1060,显存不低于5G,建议显卡型号:Nvidia 3060 12G或Nvidia 4060ti 16G;
- 显卡驱动已安装且为最新版本;
- 通过Windows的PowerShell,运行自检命令:nvidia-smi,以用来检查驱动和当前驱动支持最高的cuda版本,所显示的CUDA Version 低于11的情况,建议升级最新版显卡驱动;下图为我的运行结果,不一样或者没反应的建议先解决再继续下面的教程。
Legend的运行平台配置:
运行效果(视频):
可以参考:【专栏】从零开始运行本地大模型打造的RAG型知识库和智能问答
或直接看视频:
当然了ChatChat也是支持多显卡来做负载均衡的:
可以参考:【专栏】如何利用多块显卡运行本地大模型知识库ai问答RAG增强检索智能客服
PMdissOS运行路径参考:
- 页面中点击PMdissOS下载链接,并解压,得到一个 .tar 文件,这就是WSL备份完成的镜像文件;
- 进入power shell的管理员模式,用wsl命令导入上面tar文件到你的电脑磁盘中;
- 通过wsl命令,运行pmdiss os(作业一,自学WSL相关命令);
- cd进入conda目录,初始化conda,并将conda写入系统变量中;
- cd进入langchainchatchat目录中,通过python 运行 startup.py 即可;
下面这张图就是PMdissOS镜像,也就是步骤 ① 中所提到的需要先解压:
具体运行命令可参考下图:
1、PowerShell管理员模式下,运行wsl命令:以超级管理员角色运行默认Ubuntu系统;(这一步前提是已经激活了conda环境,就留给大家作为作业二吧!~。~!)
2、cd进入 langchainchatchat 目录
3、用conda激活 chatchat 虚拟环境;
3、键入 python startup.py -a 命令,以运行webUI;
4、运行成功,进入 localhost:8501 端口;
5、运行结果如图:
温馨贴士:
由于每人的运行平台情况不一样,且变量较多,Legend本人不知具体情况且无法控制:系统版本、系统环境、显卡型号、驱动版本、cuda版本、wsl安装和运行、powershell的使用、ubuntu的简单操作,恕教程不能细致入微,为您挨个排雷;
不过可以加我的微信,我可视情况给建议意见:i-am-Young,或18515367283;
推荐阅读:
收藏