matsuu
.
@matsuu,
Ollama代替ツール。Ollamaに比べてバイナリサイズが小さく高速でメモリーフットプリントも小さくOpenAI互換APIも互換性が高いらしい。バックエンドはllama.cppを利用。macOSはbrew install shimmyでインストールできる。
---
GitHub - Michael-A-Kuykendall/shimmy: ⚡ Python-free Rust inference server — OpenAI-API compatible. GGUF + SafeTensors, hot model swap, auto-discovery, single binary. FREE now, FREE forever.
https://github.com/Michael-A-Kuykendall/shimmy
#bookmarks