matsuu
.
@matsuu,
同じクエリーがそんなに発生しそうにないが、キャッシュ効率はどんなもんでしょうね。あとtemperatureの意味とは、となりそう。
---
Fastlyが「AI Accelerator」正式リリース、生成AIからのレスポンスをキャッシュし高速化とコスト削減を実現
https://www.publickey1.jp/blog/25/fastlyai_acceleratorai.html
#bookmarks
matsuu
.
@matsuu,