matsuu
.
@matsuu,
OllamaがVulkanサポートわいわい。ROCｍをサポートしないAMDのグラフィックカードも恩恵を得られる可能性。llama.cppがVulkanをサポートした際に自分の手元のRTX3060でも高速になった。全環境で試す価値があるはず
---
ollama 0.12.11 Brings Vulkan Acceleration - Phoronix
https://www.phoronix.com/news/ollama-0.12.11-Vulkan
#bookmarks