fedi.matsuu.org

fedi.matsuu.org

Profile for matsuu. Username @matsuu, fedi.matsuu.org.

About

Joined on Jan, 2023. 7206 posts. Followed by 38. Following 2.

Recent posts

matsuu . @matsuu,

Ollama代替ツール。Ollamaに比べてバイナリサイズが小さく高速でメモリーフットプリントも小さくOpenAI互換APIも互換性が高いらしい。バックエンドはllama.cppを利用。macOSはbrew install shimmyでインストールできる。
---
GitHub - Michael-A-Kuykendall/shimmy: ⚡ Python-free Rust inference server — OpenAI-API compatible. GGUF + SafeTensors, hot model swap, auto-discovery, single binary. FREE now, FREE forever.
https://github.com/Michael-A-Kuykendall/shimmy
#bookmarks

Open thread
matsuu . @matsuu,

人間とAIのどちらの用途にも使えるgrep代替ツール。grep同様の正規表現検索のほか、--semで意味による検索が可能。--sem "error handling"とするとtry/catchのブロックを出力するらしい。JSONL出力がAIフレンドリーと。読み方はseek
---
GitHub - BeaconBay/ck: Local first semantic and hybrid BM25 grep / search tool for use by AI and humans!
https://github.com/BeaconBay/ck
#bookmarks

Open thread