Ollama に関する報道

GreenBench は、Apple Silicon ユニファイド メモリ アーキテクチャの LLM 推論エネルギー効率ベンチマークを初めて提供します。推論中の M4 Pro の CPU+GPU パッケージの消費電力はわずか 0.47W であることが測定されています。データセンターのGPUに焦点を当てたこれまでのGreen AI研究と比較して、今回はローカル推論二酸化炭素排出量データのギャップを埋めるために、測定対象をApple Siliconまで拡張しました。