Noticias sobre Apple Silicon

El cuello de botella en el rendimiento al ejecutar modelos grandes localmente no es solo el tamaño del modelo, sino que también está limitado por el ancho de banda de la memoria unificada del hardware. La aparición de esta herramienta refleja que los desarrolladores están pasando de intentos ciegos a evaluaciones precisas de costo-beneficio basadas en límites de hardware al implementar modelos grandes en el dispositivo.

Apple lanzó Minions para agregar dispositivos Apple Silicon inactivos en una nube de GPU virtual distribuida, lo que significa que la potencia informática de vanguardia está evolucionando del consumo pasivo al razonamiento distribuido activo. Al romper las limitaciones de altos costos de la infraestructura de GPU centralizada, esta solución proporciona una nueva ruta de reducción de costos descentralizada para modelos de lenguaje grandes e inferencia de aprendizaje automático.