llmfit-advisor

llmfit-advisor 是一款針對硬體感知的智慧代理，旨在解決本機模型需求與使用者系統規格之間的資訊落差。它提供與 llmfit 引擎的自動化介面，讓使用者能根據 CPU、RAM 與 GPU 記憶體 (VRAM) 的即時診斷，精確判斷哪些大型語言模型 (LLM) 能在機器上有效運行。對於想要在本機執行 Llama、Mistral、Gemma 或 Qwen 等模型，卻不想透過反覆嘗試來猜測效能邊界的開發者、AI 愛好者與研究人員而言，此工具不可或缺。透過評估硬體與模型參數規模及架構（包含專家混合模型 MoE），它能確保資源運用效率與最佳推理速度。

• 自動偵測系統硬體，包含 NVIDIA、AMD 及 Apple Silicon 統一記憶體。

• 根據綜合指標（模型品質、速度、適配程度、上下文視窗大小）提供智慧評分。

• 推薦最佳量化設定 (如 Q4_K_M, Q5_K_M)，在可用記憶體限制下最大化模型能力。

• 直接與 Ollama、vLLM 與 LM Studio 等本機推理提供商整合，簡化設定流程。

• 支援多 GPU 配置與硬體模擬規劃。

• 提供依使用情境篩選建議，包含程式開發、邏輯推理、對話、多模態與嵌入任務。

• 此顧問工具透過 llmfit --json system 指令評估硬體，並使用 llmfit recommend 取得優先排序的模型清單。

• 提供明確的「適配等級」(Perfect, Good, Marginal, TooTight)，以防止推理過程中的記憶體溢位崩潰。

• 透過將 HuggingFace 儲存庫名稱映射至本機提供商標籤，協助設定 models.providers.ollama 及其他後端環境。

• 非常適合尋求透過明智的量化選擇與硬體卸載 (GPU, CPU+GPU Offload, 或 CPU) 來最大化每秒生成 Token 數 (TPS) 的使用者。

• 支援互動式 TUI 工作流程以進行即時調整，並透過社群數據提供進階硬體效能基準測試。