息相吹头像

Qwen3.5-9B开源大模型教程:从HuggingFace下载到本地WebUI上线

Qwen3.5-9B开源大模型教程:从HuggingFace下载到本地WebUI上线

1. 项目概述

Qwen3.5-9B是一款拥有90亿参数的开源大语言模型,具备强大的逻辑推理、代码生成和多轮对话能力。最新版本还支持多模态理解(图文输入)和长达128K tokens的上下文处理能力。

这个教程将带你从零开始,完成从HuggingFace下载模型到本地WebUI上线的完整流程。我们将使用Conda环境管理工具,基于torch28环境进行部署。

2. 环境准备

2.1 系统要求

  • 操作系统:Linux (推荐Ubuntu 20.04+)
  • GPU:NVIDIA显卡,显存建议16GB以上
  • 内存:32GB以上
  • 存储空间:至少50GB可用空间

2.2 Conda环境配置

# 创建conda环境
conda create -n torch28 python=3.10 -y

# 激活环境
conda activate torch28

# 安装基础依赖
pip install torch==2.8.0 transformers>=5.0.0 gradio==6.x huggingface_hub>=1.3.0

3. 模型下载与部署

3.1 从HuggingFace下载模型

# 创建模型存储目录
mkdir -p /root/ai-models/Qwen

# 使用huggingface_hub下载模型
python -c "from huggingface_hub import snapshot_download; snapshot_download(repo_id='Qwen/Qwen3.5-9B', local_dir='/root/ai-models/Qwen/Qwen3.5-9B')"

3.2 创建符号链接

ln -s /root/ai-models/Qwen/Qwen3.5-9B /root/ai-models/Qwen/Qwen3___5-9B

4. WebUI部署

4.1 项目结构

/root/qwen3.5-9b/
├── app.py              # 主程序 (Gradio WebUI)
├── start.sh            # 启动脚本
├── service.log          # 运行日志
└── history.json         # 对话历史记录

4.2 创建启动脚本

创建start.sh文件:

#!/bin/bash
source /opt/miniconda3/etc/profile.d/conda.sh
conda activate torch28
python /root/qwen3.5-9b/app.py

赋予执行权限:

chmod +x /root/qwen3.5-9b/start.sh

4.3 Supervisor配置

创建配置文件/etc/supervisor/conf.d/qwen3.5-9b.conf:

[program:qwen3.5-9b]
command=/bin/bash /root/qwen3.5-9b/start.sh
directory=/root/qwen3.5-9b
environment=HOME="/root",USER="root",LOGNAME="root",SHELL="/bin/bash",PATH="/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin"
user=root
autostart=true
autorestart=true
startsecs=30
startretries=3
redirect_stderr=true
stdout_logfile=/root/qwen3.5-9b/service.log
stopasgroup=true
killasgroup=true

更新Supervisor配置:

supervisorctl update

5. 使用指南

5.1 服务管理命令

# 查看服务状态
supervisorctl status qwen3.5-9b

# 重启服务
supervisorctl restart qwen3.5-9b

# 停止服务
supervisorctl stop qwen3.5-9b

# 查看实时日志
tail -f /root/qwen3.5-9b/service.log

5.2 WebUI访问

  • 本地访问: http://localhost:7860
  • 网络访问: http://服务器IP:7860

5.3 功能使用

文本对话
  1. 在输入框输入问题
  2. 点击"Send"或按回车
  3. 等待模型回复
图片分析
  1. 在右侧"Upload Image"上传图片
  2. 在输入框描述你想问的问题
  3. 点击"Send"
参数调节
  • Max tokens: 生成文本的最大长度 (64-8192)
  • Temperature: 采样温度,越高越随机 (0.0-1.5)
  • Top P: 核采样阈值,越低越确定 (0.1-1.0)
  • Top K: 采样候选数,越少越确定 (1-100)

6. 常见问题排查

6.1 服务启动失败

检查步骤:

  1. 检查进程状态:supervisorctl status qwen3.5-9b
  2. 查看最新日志:supervisorctl tail qwen3.5-9b
  3. 检查conda环境是否正常
  4. 检查模型文件是否存在

6.2 模型加载慢/卡住

原因: 模型文件较大(~19GB),首次加载需要时间

解决:

  • 等待2-3分钟让模型完全加载
  • 检查GPU是否可用:nvidia-smi
  • 查看日志确认加载进度

6.3 端口被占用

# 检查端口占用
ss -tlnp | grep 7860

# 查看哪个进程占用
lsof -i :7860

7. 日常维护

7.1 清理对话历史

rm -f /root/qwen3.5-9b/history.json
supervisorctl restart qwen3.5-9b

7.2 清理日志

# 备份当前日志
cp /root/qwen3.5-9b/service.log /root/qwen3.5-9b/service.log.bak

# 清空日志
> /root/qwen3.5-9b/service.log

# 重启服务
supervisorctl restart qwen3.5-9b

8. 总结

通过本教程,你已经成功将Qwen3.5-9B大模型从HuggingFace下载并部署到本地WebUI。这个强大的开源模型可以用于各种自然语言处理任务,包括文本生成、代码编写和多模态理解。

记住,首次加载模型可能需要较长时间,请耐心等待。如果遇到任何问题,可以参考本文的故障排查部分,或者查看服务日志获取更多信息。


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/weixin_28729843/article/details/160195627

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--