fedi.matsuu.org

Red HatがAI推論の高速化、効率化でvLLM基盤と新OSSプロジェクト「llm-d」を発表
https://atmarkit.itmedia.co.jp/ait/articles/2505/22/news099.html
#ReadItLater