Noticias sobre Janas

Janas, a través de la ruta técnica de cargar capas de expertos por streaming desde un SSD, ha logrado ejecutar de manera eficiente modelos de lenguaje de gran tamaño en dispositivos con memoria física limitada. Esto demuestra que el cuello de botella de la inferencia local se está desplazando desde la pura capacidad de memoria hacia el ancho de banda de E/S de los dispositivos de almacenamiento y la optimización de la arquitectura.