OpenAI, el principal proveedor de modelos de lenguaje, ha anunciado recientemente una importante actualización en sus ofertas de API, que incluye mejoras en sus reconocidos modelos como GPT-4 y gpt-3.5-turbo. Estas actualizaciones traen consigo una nueva capacidad de función de llamada, reducciones significativas de costos y una opción ampliada de ventana de contexto de 16,000 tokens para el modelo gpt-3.5-turbo.
Ventana de Contexto Ampliada y Avances Tecnológicos
En los modelos de lenguaje, la «ventana de contexto» funciona como una memoria a corto plazo que almacena el contenido de la entrada de la solicitud o, en el caso de un chatbot, el contenido completo de la conversación en curso.
En una carrera por aumentar el tamaño del contexto, Anthropic recientemente presentó una opción de ventana de contexto de 75,000 tokens para su modelo de lenguaje Claude. OpenAI también ha desarrollado una versión de GPT-4 de 32,000 tokens, aunque aún no está disponible para el público.
OpenAI ha respondido a esta progresión tecnológica introduciendo «gpt-3.5-turbo-16k», una nueva variante del modelo gpt-3.5-turbo con una ventana de contexto de 16,000 tokens. Con cuatro veces la longitud del contexto de la versión estándar de 4,000 tokens, gpt-3.5-turbo-16k puede procesar sin problemas aproximadamente 20 páginas de texto en una sola solicitud. Esta expansión beneficia en gran medida a los desarrolladores que requieren que el modelo maneje y genere respuestas para fragmentos de texto más grandes.
Capacidad de Función de Llamada para Mejores Chatbots
La última actualización de OpenAI también incluye la introducción de una capacidad de función de llamada en la API de Chat Completions. Esta nueva función permite a los desarrolladores construir chatbots capaces de llamar a herramientas externas, convertir lenguaje natural en llamadas a API externas o realizar consultas a bases de datos. Por ejemplo, se puede convertir una solicitud como «Enviar un correo electrónico a Anya para ver si quiere tomar un café el próximo viernes» en una llamada a la función como «send_email(to: string, body: string)». Además, esta función garantiza una salida consistente en formato JSON, lo cual solucionaba dificultades previas para los usuarios de la API.
Mejor Controlabilidad y Precios Simplificados
OpenAI aborda el concepto de «controlabilidad», que se refiere a dirigir el comportamiento del modelo de lenguaje. El nuevo modelo «gpt-3.5-turbo-0613» ofrece una mejor controlabilidad a través del mensaje del sistema, una indicación especial que le indica al modelo cómo comportarse, como «Eres Grimace. Solo hablas de batidos».
Junto con las mejoras funcionales, OpenAI introduce reducciones significativas de costos. El popular gpt-3.5-turbo ahora ofrece una reducción del 25 por ciento en los tokens de entrada, lo que permite a los desarrolladores utilizar este modelo por aproximadamente $0.0015 por cada 1,000 tokens de entrada y $0.002 por cada 1,000 tokens de salida, lo que equivale a aproximadamente 700 páginas por dólar. Además, el modelo gpt-3.5-turbo-16k recientemente introducido tiene un precio de $0.003 por cada 1,000 tokens de entrada y $0.004 por cada 1,000 tokens de salida.
Además, OpenAI ofrece una importante reducción del 75 por ciento en el costo de su modelo de embeddings «text-embedding-ada-002». Si bien este modelo se utiliza menos en aplicaciones de conversación, los modelos de embeddings son fundamentales para traducir palabras y conceptos a un lenguaje numérico comprensible por las máquinas, lo cual es importante para tareas como búsqueda de texto y sugerencia de contenido relevante.
Depreciación de Modelos Antiguos y Disponibilidad de GPT-4
A medida que OpenAI continúa desarrollando sus modelos, algunas versiones anteriores serán depreciadas. En particular, los modelos como gpt-3.5-turbo-0301 y gpt-4-0314 comenzarán el proceso de depreciación a partir del 13 de septiembre, lo que significa que dejarán de estar accesibles. Sin embargo, hasta esa fecha, los desarrolladores pueden continuar utilizando estos modelos para sus proyectos.
Es importante destacar que aunque la API de GPT-4 de OpenAI aún está en una lista de espera, se espera que esté disponible para un público más amplio en un futuro cercano.
La reciente actualización de OpenAI en sus modelos de lenguaje, que incluye GPT-4 y gpt-3.5-turbo, trae consigo importantes avances. Los desarrolladores ahora pueden beneficiarse de una ventana de contexto más amplia, una mejor controlabilidad, capacidades de función de llamada y reducciones significativas de costos. OpenAI continúa empujando los límites de la IA del lenguaje, asegurando un rendimiento mejorado y una mayor accesibilidad para sus usuarios.