LLM Engineer Toolkit官網(wǎng)

一個精心整理的LLM工具庫，它將120多個與LLM相關(guān)的庫按照功能和用途進行了細致分類，涵蓋了從訓(xùn)練微調(diào)、應(yīng)用開發(fā)、推理服務(wù)到安全評估等 LLM 開發(fā)全流程所需的工具。

網(wǎng)站提供：Ai工具箱，Ai學習資源，LLM Engineer Toolkit，LLM。

LLM Engineer Toolkit工具分類

1. LLM訓(xùn)練和微調(diào)

• unsloth：快速微調(diào)LLM，減少內(nèi)存占用。
• PEFT：參數(shù)高效微調(diào)庫。
• TRL：通過強化學習訓(xùn)練Transformer語言模型。
• DeepSpeed：分布式訓(xùn)練和推理優(yōu)化庫。

2. LLM應(yīng)用開發(fā)

• LangChain：開發(fā)基于LLM的應(yīng)用。
• Llama Index：為LLM應(yīng)用提供數(shù)據(jù)框架。
• Haystack：端到端LLM框架，支持與Transformer模型和向量搜索集成。

3. LLM推理

• vLLM：高吞吐量、內(nèi)存高效的推理引擎。
• LightLLM：輕量級、可擴展的推理框架。
• TensorRT-LLM：Nvidia框架，用于優(yōu)化LLM推理。

4. LLM服務(wù)

• Langcorn：自動將LangChain應(yīng)用部署為FastAPI服務(wù)。
• LitServe：支持批量、流式傳輸和GPU自動擴展的快速服務(wù)引擎。

5. LLM數(shù)據(jù)提取

• Crawl4AI：開源的LLM友好型網(wǎng)絡(luò)。
• Docling：文檔解析工具。
• PyMuPDF4LLM：用于提取PDF內(nèi)容的工具。

6. LLM數(shù)據(jù)生成

• DataDreamer：合成數(shù)據(jù)生成庫。
• fabricator：靈活的合成數(shù)據(jù)生成框架。

7. LLM安全與監(jiān)控

• LLM Guard：LLM交互的安全工具。
• Weights & Biases：跟蹤LLM性能。
• Helicone：開源的LLM可觀測性平臺。

8. LLM評估

• Ragas：LLM應(yīng)用評估工具。
• LangTest：提供多種測試類型，評估LLM的準確性、偏見和魯棒性。

9. LLM嵌入模型

• Sentence-Transformers：最先進的文本嵌入模型。
• Text Embedding Inference：高性能嵌入模型推理工具。

10. 其他

• LLM Transparency Tool：分析Transformer模型內(nèi)部機制的工具。
• mergekit：合并預(yù)訓(xùn)練LLM的工具。

LLM Engineer Toolkit官網(wǎng)入口網(wǎng)址

llm-engineer-toolkit工具庫GitHub倉庫：https://github.com/KalyanKS-NLP/llm-engineer-toolkit

OpenI小編發(fā)現(xiàn)LLM Engineer Toolkit網(wǎng)站非常受用戶歡迎，請訪問LLM Engineer Toolkit網(wǎng)址入口試用。