MI50 使用llama.cpp的vulkan与ROCm后端的性能比较
版本号: llama: b6550ROCm: 6.3.4 Vulkan版本来自github官方下载,ROCm版 … 阅读更多
版本号: llama: b6550ROCm: 6.3.4 Vulkan版本来自github官方下载,ROCm版 … 阅读更多
GGUF(原名 GGML),是一个用于量化和推理大语言模型的格式。提供一种高效的模型存储格式,特别是支持量化模 … 阅读更多
近期发布的Qwen3-4B新模型性能大幅提升。在非推理(non-thinking)领域,Qwen3-4B-In … 阅读更多
Qwen3-Coder-30B-A3B-Instruct 又叫Qwen3-Coder-Flash,它具有以下特 … 阅读更多