Page 27 - Anuario AC/E de cultura digital 2025

Attention Is All You Need (Vaswani et al., 2017).
Dichos modelos pueden procesar grandes corpus
de datos, identificar patrones y generar respues-
tas cada vez más coherentes y contextualizadas.
La arquitectura transformer supuso una auténtica
revolución en el ámbito del procesamiento del
lenguaje natural (NLP, por sus siglas en inglés).
Antes de esta propuesta, las redes neuronales
recurrentes (RNN) se veían limitadas por la
dificultad de procesar secuencias muy largas.
Con esta aportación, la forma de abordar estas
limitaciones cambió radicalmente. El uso de vec-
tores matemáticos permitió representar palabras
y conceptos en un espacio tridimensional, donde
las palabras con significados similares están cerca
unas de otras.
Los IAlogos son intercambios comunicativos
en los que al menos uno de los
interlocutores es un sistema basado en
modelos de lenguaje de última generación.
Estos modelos de lenguaje no «entienden»
realmente lo que producen; se limitan a mani-
pular símbolos siguiendo reglas. El experimento
mental de La habitación china de John Searle,
uno de los más destacados representantes de
la filosofía de la mente del siglo xx, ilustra esta
idea: una persona puede simular saber chino
al aplicar un manual de instrucciones sin com-
prender el idioma, pero ejecutar un algoritmo
no es lo mismo que pensar. Este experimento ha
generado un amplio debate, dividiendo a los aca-
démicos entre los que creen que la comprensión
genuina es posible a través de sistemas avanza-
dos de procesamiento de información y aquellos
que, como Searle, sostienen que la manipulación
de símbolos no equivale a un entendimiento real.
Lo mismo sucede con Alan Turing, el genial
matemático inglés que descifró los códigos que
los nazis enviaban con su máquina Enigma. La
«caja negra» de Turing nos muestra cómo estas
máquinas pueden generar respuestas coherentes
sin una verdadera comprensión de su significado.
Pero ¿qué hay detrás de esta «magia»? La res-
puesta está en los algoritmos de aprendizaje
profundo y en el uso de vectores matemáticos.
¿Cómo funcionan los
modelos de lenguaje?
Imaginemos el lenguaje humano como un in-
menso rompecabezas donde cada palabra es una
pieza que debe colocarse en el lugar adecuado.
Estos sistemas utilizan algoritmos muy poten-
tes para anticipar cuál será la siguiente pieza
basándose en las que ya tienen. En primer lugar,
convierten las palabras en números a través de
vectores, de modo que «gato» y «felino» se
parecen en ese espacio matemático porque com-
parten significado. A continuación, aplican un
mecanismo de «atención propia» (self-attention)
para determinar qué palabras de la frase mere-
cen mayor énfasis, lo que les permite mantener
la coherencia del contexto. Cuando reciben
un texto, el modelo prevé la siguiente palabra
más probable gracias a los patrones que ha ido
captando durante su entrenamiento en millones
de textos —desde libros hasta artículos web—,
afinando constantemente sus respuestas y
haciéndose más preciso a medida que procesa
más información.
Anuario AC/E de cultura digital 2025
ANUARIO AC/E DE CULTURA DIGITAL 2025
27