关于 Metal 的报道
共 1 篇相关报道
Perplexity 开源 Lily：Apple Silicon 上用于 Qwen3.6-35B-A3B 的 Rust + Metal 推理引擎
Perplexity Open Sources Lily: A Rust + Metal Inference Engine for Qwen3.6-35B-A3B on Apple Silicon
AI 洞察Perplexity 开源了基于 Rust + Metal 的端侧推理引擎 Lily，专为 Apple Silicon 上的 Qwen 模型打造。这意味着在通用推理框架之外，针对特定硬件与模型组合的「极致定制化」正成为突破边缘端性能上限的有效路径。核心结论端侧 AI 部署正从依赖通用框架转向针对「特定硬件+特定模型」的极致定制。为什么重要端侧推理的吞吐量直接决定了 AI 助手的响应速度和本地可用性。通过 Rust 底层与 Metal 内核的软硬协同定制，证明了在消费级芯片上运行数十亿参数模型仍存在可观性能压榨空间。影响谁- Local AI Developers获得新的高性能端侧部署工具，可在 Apple 设备上更高效地运行特定大模型。
- MLX-LM在 Apple Silicon 极致优化场景下面临新的性能对比竞争压力。
后续看点后续应观察开源社区对 Lily 的贡献活跃度，以及是否有更多模型被尝试纳入这种特定硬件的定制优化框架中。重要度 60/100