Qwen3.5-9B从零开始部署：Conda环境配置+模型路径符号链接避坑指南

Qwen3.5-9B从零开始部署Conda环境配置模型路径符号链接避坑指南1. 项目概述Qwen3.5-9B是一款拥有90亿参数的开源大语言模型具备强大的逻辑推理、代码生成和多轮对话能力。该模型支持多模态理解图文输入和长上下文处理最高可达128K tokens是当前开源模型中的佼佼者。2. 环境准备2.1 Conda环境配置首先我们需要创建一个专用的Conda环境来运行Qwen3.5-9B模型# 创建名为torch28的Conda环境 conda create -n torch28 python3.10 -y # 激活环境 conda activate torch28 # 安装基础依赖 pip install torch2.8.0 transformers5.0.0 gradio6.x huggingface_hub1.3.0常见问题如果遇到CUDA版本不兼容问题可以尝试指定torch的CUDA版本pip install torch2.8.0cu121 --extra-index-url https://download.pytorch.org/whl/cu121如果pip安装速度慢可以添加国内镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple [包名]2.2 模型下载与路径处理Qwen3.5-9B模型文件较大约19GB下载后需要特别注意路径处理# 实际模型存储路径建议 mkdir -p /root/ai-models/Qwen/Qwen3___5-9B # 创建符号链接解决路径中特殊字符问题 ln -s /root/ai-models/Qwen/Qwen3___5-9B /root/ai-models/Qwen/Qwen3.5-9B避坑指南模型路径中避免使用特殊字符如.建议用下划线替代符号链接创建后确保所有脚本都引用符号链接路径而非实际路径检查权限ls -l /root/ai-models/Qwen/应显示正确的符号链接关系3. 项目部署3.1 项目结构搭建创建项目目录并设置基本结构mkdir -p /root/qwen3.5-9b cd /root/qwen3.5-9b # 创建必要文件 touch app.py start.sh service.log history.json项目结构说明/root/qwen3.5-9b/ ├── app.py # 主程序 (Gradio WebUI) ├── start.sh # 启动脚本 ├── service.log # 运行日志 └── history.json # 对话历史记录3.2 核心文件配置app.py 基础内容from transformers import AutoModelForCausalLM, AutoTokenizer import gradio as gr import os # 模型路径使用符号链接路径 model_path /root/ai-models/Qwen/Qwen3.5-9B # 加载模型和tokenizer tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained(model_path, device_mapauto, trust_remote_codeTrue).eval() # Gradio界面定义 with gr.Blocks() as demo: # 界面组件定义 ... if __name__ __main__: demo.launch(server_name0.0.0.0, server_port7860)start.sh 启动脚本#!/bin/bash source /opt/miniconda3/etc/profile.d/conda.sh conda activate torch28 python /root/qwen3.5-9b/app.py /root/qwen3.5-9b/service.log 21设置执行权限chmod x /root/qwen3.5-9b/start.sh4. Supervisor进程管理4.1 Supervisor安装与配置# 安装Supervisor apt-get install -y supervisor # 创建配置文件 cat /etc/supervisor/conf.d/qwen3.5-9b.conf EOF [program:qwen3.5-9b] command/bin/bash /root/qwen3.5-9b/start.sh directory/root/qwen3.5-9b environmentHOME/root,USERroot,LOGNAMEroot,SHELL/bin/bash,PATH/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin userroot autostarttrue autorestarttrue startsecs30 startretries3 redirect_stderrtrue stdout_logfile/root/qwen3.5-9b/service.log stopasgrouptrue killasgrouptrue EOF4.2 服务管理命令# 重新加载Supervisor配置 supervisorctl reread supervisorctl update # 服务管理命令 supervisorctl status qwen3.5-9b # 查看状态 supervisorctl restart qwen3.5-9b # 重启服务 supervisorctl stop qwen3.5-9b # 停止服务5. 服务访问与功能测试5.1 访问方式本地访问http://localhost:7860网络访问http://服务器IP:78605.2 功能测试文本对话测试在输入框输入问题如请用Python写一个快速排序算法点击Send或按回车观察模型回复质量和响应时间图片分析测试上传一张图片JPEG/PNG格式提问关于图片内容的问题如这张图片里有什么验证模型对图片的理解准确性6. 常见问题排查6.1 模型加载失败症状日志中出现Failed to load model或类似错误服务启动后立即退出排查步骤检查模型路径是否正确ls -l /root/ai-models/Qwen/验证模型文件完整性du -sh /root/ai-models/Qwen/Qwen3___5-9B检查Conda环境是否激活正确conda activate torch28 python -c import torch; print(torch.__version__)6.2 端口冲突解决方案# 查找占用7860端口的进程 lsof -i :7860 # 如果确实需要更换端口修改app.py中的server_port参数 demo.launch(server_name0.0.0.0, server_port7861) # 改为其他端口6.3 显存不足对于GPU环境如果遇到CUDA out of memory错误尝试减小max_tokens参数使用更低精度的模型版本如果有添加如下参数限制显存使用model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, torch_dtypetorch.float16, trust_remote_codeTrue ).eval()7. 日常维护建议7.1 日志管理# 日志轮转防止日志文件过大 logrotate -f /etc/logrotate.d/qwen3.5-9b # 示例logrotate配置 cat /etc/logrotate.d/qwen3.5-9b EOF /root/qwen3.5-9b/service.log { daily missingok rotate 7 compress delaycompress notifempty create 0640 root root } EOF7.2 模型更新当有新版本模型发布时下载新模型到新目录如Qwen3___5-9B-v2更新符号链接ln -sfn /root/ai-models/Qwen/Qwen3___5-9B-v2 /root/ai-models/Qwen/Qwen3.5-9B重启服务supervisorctl restart qwen3.5-9b8. 总结通过本文的详细指南您应该已经成功部署了Qwen3.5-9B大语言模型。关键要点回顾环境配置使用Conda创建独立环境确保依赖版本正确路径处理通过符号链接解决特殊字符路径问题进程管理使用Supervisor确保服务稳定运行问题排查掌握常见问题的诊断和解决方法对于更高级的使用您可以开发自定义前端界面替代Gradio集成到现有业务系统中针对特定领域进行微调获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。