llmintegration

此技能為 Golden Armada AI 代理艦隊平台提供了一個整合大型語言模型 (LLM) 的完整框架。專為需要實作生產級 LLM 連接的軟體工程師與 AI 開發人員所設計，將不同供應商 API 的複雜性抽象化為統一介面。本系統支援包括 Anthropic Claude、OpenAI GPT 與 Google Gemini 等主流商用模型，並透過 Ollama 支援本地模型運行，實現了跨越雲端推理與私有本地部署的靈活架構。

• 統一供應商抽象：實作了抽象基類 (LLMProvider) 與工廠模式，標準化跨不同 LLM 後端的生成與串流方法。

• 多模型編排：支援根據任務需求切換模型，例如對複雜邏輯使用強推理模型，或對簡單文字處理使用成本效益較高的模型。

• 提示工程工具包：包含系統提示、少樣本學習與思維鏈序列的模組化結構，以提升代理的輸出品質。

• 原生 API 整合：提供針對 Anthropic、OpenAI、Google Generative AI 與 Ollama Python SDK 的預配置客戶端模式。

• Token 管理：提供追蹤 max_tokens、管理上下文視窗以及在串流與批次處理期間最佳化輸入/輸出限制的模式。

• 輸入：使用者提示、系統指令與供應商特定的配置 (API 金鑰、模型版本標籤)。

• 輸出：生成的文字串流、結構化的工具使用/函式呼叫酬載，以及格式化的完成回應。

• 使用建議：請務必使用環境變數儲存 API 金鑰等敏感資訊。在代理環境中執行前，請確保本地 Ollama 模型已下載並驗證。抽象層具有良好的擴充性，可透過實作 LLMProvider 介面並更新 LLMFactory 來新增供應商。

• 限制：可靠性取決於第三方 API 的運行狀態。對於本地 Ollama 部署，效能取決於可用硬體 (GPU/VRAM)。請確保針對商用 LLM 供應商的網路超時或速率限制回應實作適當的錯誤處理。