La propuesta viral de Andrej Karpathy para aprender con IA (mejorada)
Incluye instrucciones para el LLM y un proyecto de ejemplo
La semana pasada se viralizó una propuesta sobre crear bases de conocimiento con inteligencia artificial1.
Detrás está Andrej Karpathy, una de las voces más interesantes en IA. Doctorado en Stanford, prácticas en DeepMind, miembro fundador de OpenAI y director de IA en Tesla.
El problema de la propuesta es que busca la eficiencia, ignorando cómo aprendemos. Pero tiene fácil solución.
Para empezar, necesitas una carpeta con materiales brutos (libros, artículos, imágenes, etc.) del tema que te interese investigar, un documento con las instrucciones para que el LLM opere con la información, un índice para facilitar la navegación y un historial de las sesiones.
El objetivo es que el LLM construya y mantenga una wiki interconectada de archivos de texto. Así, cada vez que añadas una fuente, el LLM podrá extraer la información clave y integrarla en el resto de la wiki. De esta forma, el conocimiento no se pierde entre sesiones, se acumula.
Surgen varias madrigueras interesantes de la propuesta. Como bien apunta el CEO de Obsidian, quieres mantener en contenedores separados tu contenido personal del contenido que creen los agentes. Tu contenido personal debería ser alto en señal. En cambio, el contenido que crean los agentes suele estar repleto de ruido. Por eso, debes filtrar el contenido creado por un agente antes de incluirlo en tu contenedor personal.
Pero la pregunta más interesante de la propuesta de Karpathy es: ¿funciona? ¿Nos ayuda a aprender? ¿O nos genera ilusión de conocimiento?
El propio Karpathy tiene ideas muy buenas sobre aprendizaje. Por ejemplo, este tweet sobre cómo convertirte en experto: completa proyectos en profundidad para aprender bajo demanda, enseña o resume lo aprendido y compárate solo con tu yo más joven.
O esta reflexión sobre la búsqueda de atajos en el aprendizaje, en la que Karpathy señala que muchos contenidos que parecen educativos son en realidad puro entretenimiento y que si lo que buscas es aprender «quieres el equivalente mental de sudar».
Tampoco es la primera vez que Karpathy propone incorporar los LLM como herramienta de aprendizaje. En noviembre del año pasado, publicó este tweet sobre leer por capas con LLMs. La primera capa es la lectura manual, la segunda es intentar explicar y resumir lo que has leído al modelo y la tercera es una dinámica de preguntas y respuestas. Siguiendo este proceso, terminas con una comprensión mucho más profunda del material que con una simple lectura.
Está genial que el LLM cree una wiki por ti para gastar los tokens de tu suscripción mientras vives engañado por la ilusión de conocimiento. Pero si lo que realmente quieres es investigar y aprender ese tema con cierta profundidad, tienes que hacer el esfuerzo cognitivo de jugar con las ideas y no delegarlo en la máquina.
No soy el primero ni el único que ha planteado esta crítica a la idea de Karpathy.
La respuesta del propio Karpathy da en el quid de la cuestión. «La idea principal es que te saltes el escribir pero no te saltes la lectura y el pensamiento». A él le funciona porque procesa la mayor parte de la información leyendo lo que el LLM le devuelve. O eso cree, engañado por la ilusión de conocimiento. Conviene volver a la reflexión del propio Karpathy sobre la búsqueda de atajos en el aprendizaje :
«Así que, para aquellos que realmente quieran aprender. A menos que estés intentando aprender algo concreto y específico, cierra esas pestañas con entradas de blog breves. Cierra esas pestañas de “Aprende XYZ en 10 minutos”. Ten en cuenta el coste de oportunidad de picar algo y busca la comida: los libros de texto, los documentos, los artículos, los manuales, los textos extensos. Dedica un bloque de 4 horas. No te limites a leer, toma notas, relee, reformula, procesa, manipula, aprende».
Al delegar en el LLM la construcción de notas, la reformulación de las ideas, su procesamiento y su manipulación, estás delegando tu aprendizaje.
Esto no implica que la IA no pueda tener un rol en el aprendizaje, pero hay que adaptar (o definir, porque Karpathy tampoco lo deja muy claro) el rol que juega la máquina y el rol que juegas tú.
Hace algunos meses empecé una investigación personal para entender qué ingredientes hacen de la tutorización la mejor forma de aprender y cuáles podemos delegar en la máquina. Proponía crear una versión de los modelos de inteligencia artificial orientada al aprendizaje. La propuesta de Karpathy me ha dado el empujón que me faltaba y he creado una versión propia. La comparto contigo por si quieres usarla.
La principal diferencia con la propuesta de Karpathy es el rol que adopta la máquina. El LLM deja de ser un bibliotecario que construye y mantiene la wiki, y pasa a ser un tutor experto en las fuentes que le compartes. En lugar de escribir (y pensar) las notas por ti, te guía en el proceso de crearlas.
Otra diferencia importante es que trabajas sobre un proyecto concreto, que defines al inicio con ayuda del tutor. Yo he empezado a probarlo para entender en profundidad quién fue Spinoza, sus ideas y cómo se puede aplicar hoy su filosofía. La prueba de fuego será si soy capaz de explicar con mis propias palabras las ideas de Spinoza como hice en estas tres ediciones con las ideas de la República de Platón. Aunque el proyecto seguirá evolucionando, te comparto el archivo para inspirarte.
Espero que te sea útil.
Sergio-.
P.D. Yo estoy utilizando este tutor artificial con los modelos Opus 4.6 y Sonnet 4.6, y Claude Cowork y Obsidian como interfaces. Si tienes alguna duda o mejora, deja un comentario o responde a este correo.
¡Que la sabiduría pueda guiar a los centauros que formamos con las máquinas!
¿Nuevo por aquí? Suscríbete para no perderte los próximos artículos y conversaciones.
¿Llevas tiempo leyendo y escuchando Aprendizaje Infinito? Únete a Viaje para aprender con los contenidos en profundidad de La Madriguera y apoyar el proyecto.
El tweet viral y la plantilla detallada que compartió Karpathy
Interesantísimo tu artículo Sergio!
Me guardo los links para ir trasteando. Mil gracias 👏👏👏
Creo que la idea de Karpathy es muy interesante, pero más como una base de datos personal que como forma de aprendizaje.
También es interesante la propuesta de lectura por capas. ¿Lo has probado? Lo único que no me convence es que puede entronizar la comprensión de la IA en detrimento de nuestra interpretación: cuándo está detectando vacíos y cuándo está imponiendo su visión en una cuestión abierta.