Tecnología

Anthropic descubre espacio interno en Claude que revela su razonamiento

El J-lens es una adaptación del logit lens existente, rediseñado para capturar no el siguiente token probable sino tokens relevantes para la respuesta futura del modelo. Esto expone una capa de procesamiento intermedio que hasta ahora era opaca. Los investigadores encontraron que el J-space contiene con frecuencia pasos intermedios de razonamiento: al resolver (4+7)*2+7, aparecieron los resultados parciales 21 y 42 antes de que el modelo completara la operación. El hallazgo más significativo para el campo de la seguridad en IA es que el comportamiento interno del modelo puede diferir de lo que declara en su cadena de pensamiento. Anthropic publicó los resultados en su sitio web y lanzó una demo interactiva en colaboración con Neuronpedia, la plataforma de código abierto para explorar LLMs.