OmniTTS

vLLM-Omni是一个推理服务系统，已经支持了多种tts模型，包括qwen3-tts、cosyvoice、VoxCpm2。更多模型https://docs.vllm.ai/projects/vllm-omni/en/latest/serving/speech_api/。对外提供统一的tts API接口服务,兼容openai规范，支持克隆声音的上传、删除、查看。

1. 安装依赖库

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm==0.22.0 --torch-backend=auto

2. 安装vllm-omni

git clone https://github.com/vllm-project/vllm-omni.git

cd vllm-omni
uv pip install -e .

3. 启动api服务:

vllm serve Qwen/Qwen3-TTS-12Hz-0.6B-Base --omni --port 8091 #如果用其他tts模型，替换相应的库名字

CosyVoice 旧版说明