mls

MLS (MLX Local Serving) 提供了一个高效能的整合式基础架构，专为在 Apple Silicon macOS 上运行多种本地机器学习模型而设计。透过让所有模型常驻于 GPU 记忆体中，本系统消除了启动延迟，并为多模态 AI 任务提供统一的 HTTP 介面。此方案非常适合需要高度隐私、低延迟推理的开发者、研究人员或进阶使用者，无需依赖外部云端 API 即可完成自动化作业与创意工作流。

• 支援多模态功能，包含自动语音识别 (ASR)、文字转语音 (TTS)、神经机器翻译、图像生成以及视觉语言模型 (VLM)。

• 统一的 API 架构，使用标准 HTTP/JSON 协定，易于与 LangChain、OpenAI SDK 以及 OpenClaw 等自动化工具整合。

• 提供即时监控仪表板，可查看 GPU 使用率、记忆体状态、推理伫列与伺服器日志。

• 支援针对长文本翻译与合成的批次处理功能，并可透过 API 端点监控处理进度。

• 提供相容 OpenAI 格式的视觉补全端点，便于构建多模态聊天应用程式。

• 执行需求：macOS 14+ (Apple Silicon)、Python 3.12+ 与 uv 套件管理器。

• 预设于 http://127.0.0.1:18321 运作，提供在地化服务。

• 进行 ASR 与档案转换任务时，建议使用绝对档案路径以确保系统正确存取资源。

• 支援 70 种以上的翻译语言，TTS 服务支援透过语意提示 (VoiceDesign) 自定义语调与口音。

• 提供个别模型控制 API，允许使用者独立重启或暂停特定服务，而不影响整体伺服器架构。

• 效能调整建议：图像生成可选取 9 步骤 (快速) 或 20 步骤 (高质量)，请根据实际应用场景进行平衡。