Noticias sobre arXiv CS.AI

El documento señala que el aprendizaje federado no es una panacea para resolver los problemas de extracción de IA porque el control del modelo aún puede estar en manos del iniciador. Lo que realmente cambia la estructura de poder es el "modelo de gobernanza" y no sólo la protección de los datos. La comunidad creativa está tratando de recuperar el control en los tres niveles de almacenamiento, circulación y aprendizaje a través de mecanismos de confianza y cooperación.

La generación de presentaciones académicas es un proceso creativo que requiere iteraciones repetidas. Al introducir comentarios de los usuarios por etapas en el proceso de múltiples agentes, ConvDeck rompe las limitaciones de los sistemas existentes que tienen un circuito cerrado interno o solo permiten a los usuarios intervenir al final, lo que indica que el enfoque de optimización de la generación de contenido de IA está cambiando de la generación completamente automática al enlace intermedio de la colaboración entre humanos y máquinas.

arXiv publicó una nueva investigación que propone la aplicación de la teoría de medición de Rasch (RMT) para la evaluación de LLM. En comparación con la práctica estándar anterior de simplemente tratar el modelo como un sujeto o evaluador, RMT descompone las calificaciones ordinales en facetas separables en una escala común y diagnostica errores de calibración y sesgos del evaluador. Esto muestra que la evaluación de LLM está pasando de simples pruebas de referencia a análisis psicométricos multidimensionales cuantificables.

Este artículo propone el marco SHAPE para analizar la trayectoria de la cadena de pensamiento del razonamiento matemático de modelos grandes a través de las dos dimensiones del espacio semántico y las estrategias heurísticas. En comparación con el método de evaluación anterior que solo se centraba en la precisión de la respuesta final, esto marca un cambio en la evaluación de una evaluación orientada a resultados a una orientada a procesos, lo que puede explicar mejor las capacidades matemáticas subyacentes del modelo.