Imagina un mundo en el que los modelos de lenguaje no solo nos ayudan a comunicarnos, sino que también crean sus propias herramientas para resolver problemas.

La investigación reciente sugiere que esto ya es posible, gracias a la capacidad de los modelos de lenguaje modernos, como GPT-4, para generar herramientas dinámicamente y formar sistemas cerrados que abordan sus propias necesidades.

La analogía humana y los modelos de lenguaje

La capacidad de fabricar nuestras propias herramientas ha sido un factor clave en los avances tecnológicos de la humanidad. La investigación actual sobre modelos de lenguaje plantea la pregunta: ¿podrían los modelos de lenguaje beneficiarse de la misma manera? Al explorar el concepto evolutivo de crear herramientas, los investigadores buscan aplicarlo al ámbito de los modelos de lenguaje.

Enseñando a los modelos de lenguaje a ser creadores de herramientas

El marco LLMs as Tool Makers (LaTM) explora la idea de enseñar a los modelos de lenguaje a utilizar sus propias herramientas. La interacción con las herramientas ocurre en dos fases: creación y uso. Durante la creación, se emplea un enfoque de aprendizaje por pocos ejemplos para que el modelo de lenguaje genere una herramienta necesaria (en forma de función de Python) basada en ejemplos de funcionalidad deseada. Una vez creada la herramienta y superadas las pruebas de funcionalidad, se puede solicitar al modelo de lenguaje que la utilice proporcionando una descripción y ejemplos de uso.

Desacoplando la creación y el uso de herramientas

No es necesario utilizar el mismo modelo de lenguaje para la creación y el uso de herramientas. De hecho, en la mayoría de los casos, tiene más sentido utilizar un modelo de lenguaje más potente (como GPT-4) para la creación de herramientas, ya que es una tarea más difícil. Luego, podemos ahorrar costos al emplear un modelo de lenguaje más eficiente (como GPT-3.5-turbo) para usar estas herramientas a lo largo del tiempo. La creación de herramientas solo ocurre una vez, y podemos reutilizar las herramientas creadas tantas veces como sea necesario.

Haciendo el sistema más dinámico

Si queremos identificar dinámicamente la necesidad de una nueva herramienta mientras resolvemos un problema, podemos agregar un agente de despacho adicional a este sistema. El despachador simplemente decide si invocar una herramienta existente o crear una nueva, dada una estrategia actual para resolver un problema. Se ha encontrado que este despachador es ~95% preciso (incluso con modelos de lenguaje más pequeños) al decidir entre usar herramientas existentes o nuevas.

En resumen

Los enfoques actuales para el uso de herramientas en modelos de lenguaje se basan en que los humanos seleccionen un conjunto fijo de herramientas útiles. La investigación reciente busca hacer este sistema más dinámico al permitir que los modelos de lenguaje creen y utilicen sus propias herramientas. Este enfoque se ha demostrado que funciona bastante bien, siempre que se utilice un modelo de lenguaje potente (como GPT-4) para la creación de herramientas.