Noticias sobre Ollama
1 artículos relacionados
GreenBench: Evaluación comparativa de la eficiencia energética y la huella de carbono de la inferencia de LLM de código abierto en Apple Silicon
GreenBench: Benchmarking Energy Efficiency and Carbon Footprint of Open-Source LLM Inference on Apple Silicon
AI InsightGreenBench proporciona por primera vez el punto de referencia de eficiencia energética de inferencia LLM para la arquitectura de memoria unificada de Apple Silicon. Se mide que el consumo de energía del paquete CPU+GPU del M4 Pro durante la inferencia es de solo 0,47W. En comparación con investigaciones anteriores sobre IA ecológica que se centraban en las GPU de centros de datos, esta vez el objeto de medición se ha extendido a Apple Silicon para llenar el vacío en los datos de inferencia local sobre la huella de carbono.Importancia 70/100