标签镜像下的文章 - 洛维花 – LuoWeiHua

2026-04-13

2026 最新实战：在单卡 48GB GPU 上部署 Qwen3.5-35B-A3B MoE 模型（vLLM + Open WebUI 完整指南）一、为什么选择 Qwen3.5-35B-A3B？Qwen3.5-35B-A3B 是阿里通义千问团队于 2026 年初发布的混合专家（MoE）模型，具备以下优势：小体积，大能力：总参数量 35B，但每次推理仅激活约 3B 参数，显存占用远低于同级别 Dense 模型。超长上下文：原生支持 262,144 tokens，轻松处理长文档、代码库。开源免费：采用 Apache 2.0 协议，可商用，权重已在 ModelScope 魔搭社区公开。性能卓越：在多项基准测试中超越前代 Qwen3-235B-A22B，推理成本更低。对于拥有单张 48GB GPU（如 A6000、RTX 6000 Ada）的用户，它是目前能本地部署的最强 MoE 模型。二、环境配置（无需虚拟环境，全局安装即可）重要提示：经大量用户反馈，vLLM 与 Open WebUI 必须在同一 Python 环境中运行，否则会出现模块缺失或 API 不兼容问题。因此，直接使用全局环境是最简单可靠的方案。# 升级 pip（避免旧版 pip 的编译问题） pip install --upgrade pip #安装魔塔社区的包 pip install modelscope # 安装 vLLM（自动匹配 CUDA 版本） pip install vllm # 安装 FlashAttention（加速注意力计算） pip install flash-attn --no-build-isolation # 安装webui聊天界面 pip install open-webui三、单卡部署：Qwen3.5-35B-A3B 快速启动1. 下载模型（以 Qwen3.5-35B-A3B 为例）#模型下载 from modelscope import snapshot_download model_dir = snapshot_download('Qwen3.5-35B-A3B',cache_dir='./')四、单卡部署：启动 vLLM 服务vllm serve ./Qwen3.5-35B-A3B \ --dtype bfloat16 \ --port 5000 \ --max_model_len 262144 \ --gpu_memory_utilization 0.85参数详解（针对 MoE 模型优化）：参数推荐值说明--dtypebfloat16MoE 模型必须用 bfloat16，auto 可能导致精度下降--port5000API 服务端口（可自定义）--max_model_len262144启用模型最大上下文长度（爆显存时可降至 131072）--gpu_memory_utilization0.8548GB 显存安全值（若爆显存，逐步降至 0.8 → 0.75）显存占用参考（48GB GPU）：上下文 262K：~41GB上下文 131K：~38GB上下文 65K：~35GB五、集成 Open WebUI（图形化聊天界面）# 启用网络加速（AutoDL 用户必备） source /etc/network_turbo # 设置环境变量（关键！） export HF_ENDPOINT=https://hf-mirror.com # Hugging Face 镜像加速 export ENABLE_OLLAMA_API=False # 禁用 Ollama 兼容层 export OPENAI_API_BASE_URL=http://127.0.0.1:5000/v1 # 指向 vLLM API export DEFAULT_MODELS="Qwen3.5-35B-A3B" # 必须与模型文件夹名一致 # 启动 WebUI（默认端口 8080，此处改为 6006） open-webui serve --port 6006访问界面浏览器打开：👉 http://你的服务器IP:6006六、多卡部署（扩展参考）注意：Qwen3.5-35B-A3B 仅支持张量并行（Tensor Parallelism），不支持流水线并行。# 2 卡示例（如 2×A6000） vllm serve ./Qwen3.5-35B-A3B \ --dtype bfloat16 \ --port 5000 \ --tensor-parallel-size 2 \ --gpu_memory_utilization 0.8 \ --max_model_len 262144并行策略：--tensor-parallel-size N：必须等于 GPU 数量（如 2 卡设为 2）。不要设置 --pipeline-parallel-size：MoE 模型不兼容。七、OpenAI 格式 API 调用启动兼容 API 服务（等效于 vllm serve）python -m vllm.entrypoints.openai.api_server \ --served-model-name Qwen3.5-35B-A3B \ --model ./Qwen3.5-35B-A3B \ --dtype bfloat16 \ --port 5000 \ --max_model_len 262144 \ --gpu_memory_utilization 0.85Python 调用示例from openai import OpenAI client = OpenAI( base_url="http://localhost:5000/v1", api_key="not-needed" ) response = client.chat.completions.create( model="Qwen3.5-35B-A3B", messages=[{"role": "user", "content": "请用 262K 上下文分析以下代码库..."}], max_tokens=500 ) print(response.choices[0].message.content)

2026年04月13日
4 阅读
0 评论
0 点赞

2025-06-18

OpenEuler离线部署Redis、Nginx 前言OpenEuler虽然是基于Linux，和CentOS很像，但是其内部还是有很大差别，尤其是基础组件像gcc这，故直接拿CentOS中的组件去安装可能会出问题在开发环境，服务器可以连外网，很多组件可以直接yum安装，各种依赖包会自动安装好但在项目现场，如果服务器在内网无法访问Internet，就很棘手了，这时只能准备rpm包一个个去安装安装包下载地址OpenEuler镜像站罗列（推荐使用华为的官方镜像），基于OpenEuler 22.03 LTS SP3版本华为开源镜像站：https://mirrors.huaweicloud.com/openeuler/openEuler-22.03-LTS-SP3/everything/x86_64/Packages/华中科技大学镜像站：https://mirrors.hust.edu.cn/openeuler/openEuler-22.03-LTS-SP3/everything/x86_64/Packages/中国科学技术大学镜像站：https://mirrors.ustc.edu.cn/openeuler/openEuler-22.03-LTS-SP3/everything/x86_64/Packages/官方：https://easysoftware.openeuler.openatom.cn/zh/rpm?name=nginx准备安装包下载这些基础包：redis安装执行命令rpm -ivh /opt/redis6-6.2.7-3.oe2203sp3.x86_64.rpmnginx安装执行命令rpm -ivh /opt/nginx-1.21.5-6.oe2203sp3.x86_64.rpm重要事项没把握的话，千万不要用下面这个命令，这个命令会忽略依赖和兼容性，可能会导致基础组件被卸载掉。rpm -Uvh *.rpm --nodeps --force

2025年06月18日
1 阅读
0 评论
0 点赞

2024-08-27

当前国内可用的docker加速器搜集可用镜像加速器以下地址搜集自网络，仅供参考，请自行验证。1、https://docker.m.daocloud.io 2. https://dockerpull.com 3. https://atomhub.openatom.cn 4. https://docker.1panel.live 5. https://dockerhub.jobcher.com 6. https://hub.rat.dev 7. https://docker.registry.cyou 8. https://docker.awsl9527.cn 9. https://do.nark.eu.org/ 10. https://docker.ckyl.me 11. https://hub.uuuadc.top 12. https://docker.chenby.cn 13. https://docker.ckyl.me如何使用cat /etc/docker/daemon.json { "registry-mirrors": ["https://docker.m.daocloud.io"] }使其生效systemctl daemon-reload systemctl restart docker前缀方式加速源/镜像:TAG直接进行使用docker pull docker.m.daocloud.io/nginx:latest自建镜像源1、https://github.com/dqzboy/Docker-Proxy 2. https://github.com/cmliu/CF-Workers-docker.io

2024年08月27日
0 阅读
0 评论
0 点赞

2024-08-14

Linux环境安装Maven（详细图文）摘要笔者Linux环境为：Ubuntu 22.04一、准备工作1.检查当前环境是否安装maven若出现如图所示:即表示目前环境下未安装maven2.下载maven官网地址：https://maven.apache.org/download.cgi{cloud title="下载链接" type="default" url="https://maven.apache.org/download.cgi" password=""/}4.解压maven包#切换到 /opt目录 cd /opt #解压 tar -zxvf apache-maven-3.9.6-bin.tar.gz 5.移动到/usr/local目录下方便管理mv apache-maven-3.9.6 /usr/local/6.配置maven环境变量# 打开环境变量文件 vim /etc/profile # 在/etv/profile的最后一行添加，保存退出 export MAVEN_HOME=/usr/local/apache-maven-3.9.6 export PATH=$MAVEN_HOME/bin:$PATH7.刷新配置文件source /etc/profile8.配置maven镜像仓库在国内访问 Maven 中央仓库可能会受到网络限制，因此配置镜像是很有必要的。# 打开maven的配置文件 vim /usr/local/apache-maven-3.9.6/conf/settings.xml 阿里云镜像如下：<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror>9.验证是否成功命令：mvn -v到此，maven安装结束。

2024年08月14日
4 阅读
0 评论
0 点赞

2024-07-26

2024年07月26日
3 阅读
0 评论
0 点赞

2024-07-10

【N1和Armbian】六、N1安装armbian后将阿里网盘WEBDAV挂载为本地磁盘阿里的webdav方式方式有很多,比如使用alist,使用aliyundrive-webdav.alist方式的webdavalist的方式我就不多说了,可以看官网文档:https://alist.nn.ci/zh/aliyundrive-webdav方式愿意折腾的，也可以不使用docker，可以去原作者的github上去看看其他方式 GitHub地址使用docker拉取aliyundrive-webdav镜像docker pull messense/aliyundrive-webdav获取阿里网盘的REFRESH_TOKEN获取阿里令牌启动阿里网盘WebDAV的服务docker run -d \ --name=aliyundrive-webdav \ --restart=unless-stopped \ -p 9527:8080 \ -v /mnt/H1/aliyun-webdav/:/etc/aliyundrive-webdav/ \ -e REFRESH_TOKEN='刚刚复制的REFRESH_TOKEN' \ -e WEBDAV_AUTH_USER=daimafengzi \ -e WEBDAV_AUTH_PASSWORD=Gongxifacai168.. \ messense/aliyundrive-webdav验证是否已经正常启动在你的浏览器地址栏上，直接输入设备的ip:端口，然后输入启动时设置的账号密码，查看里面文件是否是你网盘的文件，有就说明正常启动连接到你的网盘了比如我的是192.168.31.132:9527安装davfs2，挂载webdav为本地路径安装软件apt-get install davfs2创建共享的文件夹（你想放在哪个目录下，就在哪儿创建）mkdir /aliyundrive更改文件夹的访问权限(你刚刚创建的文件夹)chmod 777 /aliyundrive将网盘挂载到系统的本地路径,执行完命令后会提示你输入账号密码，输入运行webdav时创建的账号密码即可mount -t davfs http://127.0.0.1:9527/ /aliyundrive在这个例子中，使用的是本地地址（127.0.0.1）和端口9527。你得替换成你自己的IP验证挂载是否成功执行完命令后，能看到一块你网盘大小的磁盘被挂载到你刚创建的文件夹上df -h完美安装,可以备份数据哦每天定时压缩打包日期格式的文件shell脚本mysql 怎么做定时备份 / mysql 备份 / sql文件导出

2024年07月10日
1 阅读
0 评论
0 点赞

2024-06-17

如何配置Docker镜像加速器daemon.json并测试结果在使用Docker时，为了提高镜像的下载速度，我们通常会配置镜像加速器。本文将指导您如何创建一个daemon.json文件，添加镜像加速器的配置，重启Docker服务，并测试配置是否生效。步骤一：创建daemon.json文件首先，您需要创建一个名为daemon.json的文件，并将其放置在Docker配置目录中。通常，这个目录位于/etc/docker/。您可以通过以下命令创建并编辑该文件：sudo mkdir -p /etc/docker #优先使用请删除 <请删除我< 中的 [请删除我] sudo tee /etc/docker/daemon.json <请删除我<请删除我EOF { "registry-mirrors": ["https://do.nark.eu.org"] } EOF #备用 sudo tee /etc/docker/daemon.json <请删除我<请删除我EOF { "registry-mirrors": [ "https://docker.1panel.live", "http://hub-mirror.c.163.com", "https://docker.mirrors.ustc.edu.cn", "https://registry.docker-cn.com", "https://nrbewqda.mirror.aliyuncs.com", "https://dmmxhzvq.mirror.aliyuncs.com" ] } EOF步骤二：使其生效systemctl daemon-reload systemctl restart docker如果您当前有正在运行的容器不方便重启Docker服务，则不用设置环境也可以直接使用，用法示例：docker pull do.nark.eu.org/library/mysql:5.7说明：library是一个特殊的命名空间，它代表的是官方镜像。如果是某个用户的镜像就把library替换为镜像的用户名。对于 Mac 和 Windows 用户，直接在 Docker Desktop 系统设置中，配置 registry-mirrors 即可。检查加速是否生效查看docker系统信息 docker info，如果从结果中看到了如下内容，说明配置成功。Registry Mirrors: [...] https://do.nark.eu.org引文

2024年06月17日
4 阅读
0 评论
0 点赞

2024-06-04

Rsync+Inotify 实现数据同步，双向同步，单向同步基本了解什么是rsync?与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！什么是inotify?Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。在上面章节中，我们讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。rsync+inotify同步逻辑图环境准备服务器类型IP地址应用操作系统源服务器（数据源服务器），客户端192.168.130.161rsync inotify-tools 脚本centos7/redhat7目标服务器（备份服务器），服务端192.168.130.160rsynccentos7/redhat7重要提示关闭服务端和客户端的防护墙（不是必须，可以开放端口）、selinux（必须）。 #临时关闭 setenforce 0 #长久关闭---使用此方法。需要重启生效。所以可以先执行上面那句，再执行这句。就暂时可以不重启，先配置 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config如果未关闭，会提示错误：rsync: failed to set times on "." (in backup): Permission denied (13) rsync: recv_generator: failed to stat "ccc" (in backup): Permission denied (13)目标服务器（备份服务器），服务端一：安装rsycn在Centos上只要一句代码而已，其他系统自己找。yum install -y rsync二：添加配置文件参数。[root@server ~]# vim /etc/rsyncd.conf ##日志文件位置. log file = /var/log/rsyncd.log ##pid文件的存放位置 pidfile = /var/run/rsyncd.pid ##支持max connections参数的锁文件 lock file = /var/run/rsync.lock ##用户认证配置文件，用于保存用户名称和密码，必须手动创建 secrets file = /etc/rsync.pass #自定义同步资源名称。 [qingjun] #rsync服务端数据存放路径，客户端的数据将同步至此目录 path = /tmp/ comment = sync runtime from client #设置rsync运行权限为root uid = 0 #设置rsync运行权限为root gid = 0 #默认端口 port = 873 #表示出现错误忽略错误 ignore errors #默认为true，修改为no，增加对目录文件软连接的备份 use chroot = no #设置rsync服务端为读写权限 read only = no #不显示rsync服务端资源列表 list = no #最大连接数 max connections = 200 #设置超时时间 timeout = 600 #执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开 auth users = admin #允许进行数据同步的源服务器IP地址，可以设置多个，用英文状态下逗号隔开 hosts allow = 192.168.0.0/24三：创建用户认证文件，设置文件权限为600。echo 'admin:123456' > /etc/rsync.pass chmod 600 /etc/rsync.pass 四：启动服务，设置开机自启。systemctl enable rsyncd systemctl start rsyncd五：验证是否监听端口ss -antl源服务器（数据源服务器），客户端一：安装rsycn在Centos上只要一句代码而已，其他系统自己找。yum install -y rsync二：配置epel源，安装inotify-tools服务。wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo #################################### wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo sed -i 's|^#baseurl=https://download.example/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel* sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel* ####################################### yum -y install inotify-tools二：创建认证密码文件，只需写密码，设置文件权限为600。echo '123456' > /etc/rsync.pass chmod 600 /etc/rsync.pass三：创建同步目录runtime。mkdir /runtime四：进入同步目录创建文件，开始同步。rsync -avH --port 873 --progress --delete /runtime admin@192.168.130.160::qingjun --password-file=/etc/rsync.pass 说明： rsync -avH --port 873 --progress --delete 源服务器需要同步到其他服务器的目录 admin@同步到哪个服务器IP::上面定义的同步模块 --password-file=/etc/rsync.pass五：服务端查看结果。六：自动同步- 1.写个脚本，给脚本设置开机启动执行。 #!/bin/bash host=192.168.130.160 src=/runtime des=qingjun password=/etc/rsync.pass user=admin inotifywait=/usr/bin/inotifywait $inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \ | while read files;do rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des echo "${files} was rsynced" >>/tmp/rsync.log 2>&1 done保存上面脚本到你想存放的目录，这边就存放到了opt目录下- 2. 后台执行脚本。nohup bash /opt/qingjun.sh &- 3. 添加到rc.local，实现开机自动启动这个脚本OK完美收工！

2024年06月04日
3 阅读
0 评论
0 点赞