Qué significa «indexar tus documentos» y por qué no es entrenar un modelo

Cuando alguien dice que quiere «una IA que conozca nuestros documentos», normalmente imagina que hay que enseñárselos al modelo, como quien estudia para un examen. Casi siempre no hace falta, y entender por qué ahorra tiempo y dinero.

Entrenar: cambiar el modelo

Entrenar —o ajustar— significa modificar el modelo para que incorpore información. Es caro en cómputo, lleva tiempo, exige preparar los datos con cuidado y, sobre todo, hay que repetirlo cada vez que la información cambia. Si mañana se actualiza un procedimiento, el modelo sigue sabiendo el anterior hasta que se vuelva a ajustar.

Indexar: dejar los documentos a mano

Indexar es otra cosa. Los documentos se parten en fragmentos, se guardan en un índice y, cuando alguien pregunta, el sistema busca los fragmentos que tratan de eso y se los pasa al modelo junto con la pregunta. El modelo no «sabe» sus contratos: los lee en ese momento y responde citando de dónde sacó cada cosa.

• La respuesta viene con su referencia, así que se puede verificar.
• Cambiar un documento es reindexarlo: minutos, no un reentrenamiento.
• Lo que no está en el índice no se inventa, se responde que no consta.
• Se controla quién ve qué, porque el índice es suyo y vive en su equipo.

Cuándo sí hace falta entrenar

Ajustar un modelo tiene sentido cuando lo que quiere cambiar no es el conocimiento sino la forma: que redacte con el estilo de su institución, que siga un formato de dictamen muy particular, que clasifique con criterios propios. Para «que conozca nuestra normativa», indexar es más rápido, más barato y más fácil de mantener.

En el equipo FusionXpark que instalamos, el ajuste fino llega a modelos de unos 70 mil millones de parámetros; los de hasta 200 mil millones se pueden usar pero no entrenar. Una razón más por la que, en la mayoría de los casos, indexar es el camino.