Noticias sobre DeepSeek-R1-Distill-Qwen-7B
1 artículos relacionados
El vector de parada: internalización de una intervención de dirección causal para un razonamiento eficiente
The Halt Vector: Internalizing a Causal Steering Intervention for Efficient Reasoning
AI InsightEl artículo encontró que la longitud de la cadena de pensamiento de DeepSeek-R1-Distill-Qwen-7B es aproximadamente el doble de larga que la probabilidad de respuesta es estable. La redundancia varía de una pregunta a otra y la penalización por extensión global no se puede eliminar. Los investigadores propusieron un "vector de parada" para construir la dirección de la diferencia media en la capa 18 e internalizarla en el peso para lograr un razonamiento acortado según la demanda. En comparación con el castigo o la intervención externos anteriores, esta vez el descubrimiento causal se solidifica en pesos, abriendo un nuevo camino para la compresión del razonamiento no supervisado.Importancia 78/100