llmfit: herramienta CLI para encontrar modelos LLM compatibles con tu hardware
Visitar llmfit.orgllmfit es una herramienta de línea de comandos escrita en Rust diseñada para encontrar modelos de lenguaje grande (LLM) que funcionen en tu hardware específico. Detecta automáticamente tu RAM, CPU y VRAM, y analiza una base de datos de modelos de Hugging Face para calcular qué opciones son viables y recomendar las mejores configuraciones de cuantización y ejecución (CPU/GPU/MoE offload).
- En GitHub
- 38.524 estrellas
- Enviado por
- Jam