mls

MLS (MLX Local Serving) 提供了一個高效能的整合式基礎架構，專為在 Apple Silicon macOS 上運行多種本地機器學習模型而設計。透過讓所有模型常駐於 GPU 記憶體中，本系統消除了啟動延遲，並為多模態 AI 任務提供統一的 HTTP 介面。此方案非常適合需要高度隱私、低延遲推論的開發者、研究人員或進階使用者，無需依賴外部雲端 API 即可完成自動化作業與創意工作流。

• 支援多模態功能，包含自動語音識別 (ASR)、文字轉語音 (TTS)、神經機器翻譯、圖像生成以及視覺語言模型 (VLM)。

• 統一的 API 架構，使用標準 HTTP/JSON 協定，易於與 LangChain、OpenAI SDK 以及 OpenClaw 等自動化工具整合。

• 提供即時監控儀表板，可查看 GPU 使用率、記憶體狀態、推論佇列與伺服器日誌。

• 支援針對長文本翻譯與合成的批次處理功能，並可透過 API 端點監控處理進度。

• 提供相容 OpenAI 格式的視覺補全端點，便於建構多模態聊天應用程式。

• 執行需求：macOS 14+ (Apple Silicon)、Python 3.12+ 與 uv 套件管理器。

• 預設於 http://127.0.0.1:18321 運作，提供在地化服務。

• 進行 ASR 與檔案轉換任務時，建議使用絕對檔案路徑以確保系統正確存取資源。

• 支援 70 種以上的翻譯語言，TTS 服務支援透過語意提示 (VoiceDesign) 自定義語調與口音。

• 提供個別模型控制 API，允許使用者獨立重啟或暫停特定服務，而不影響整體伺服器架構。

• 效能調整建議：圖像生成可選取 9 步驟 (快速) 或 20 步驟 (高品質)，請根據實際應用場景進行平衡。