Escalando la creación de chatbots con IA usando Chatfuel

Publicado originalmente ennebius.com

Descripción general

Para las empresas SaaS, ofrecer una experiencia excepcional al cliente es primordial, ya que establece la base para la confianza y la satisfacción.

Usando Nebius AI Studio para aprovechar una cascada de modelos Llama-405B junto con un SDK personalizado, Chatfuel, la plataforma líder de automatización de participación del cliente impulsada por IA, logró importantes mejoras de eficiencia con mejor calidad de respuesta y velocidad de interacción para sus agentes chatbot de IA.

Fundada en 2015 por dos ex alumnos de Y Combinator, la plataforma sin código impulsada por IA de Chatfuel está diseñada para automatizar la comunicación y mejorar la participación del cliente para empresas de servicios.

Asociándose con Meta desde 2016, la empresa llega a miles de clientes, integrando su software directamente con las plataformas de mensajería del gigante tecnológico y agilizando las interacciones en WhatsApp, Facebook Messenger, Instagram y sitios web.

Los agentes de IA de Chatfuel están pre-entrenados con miles de millones de mensajes y liberan a los representantes humanos para enfocarse en el crecimiento y la creatividad. Anteriormente, Chatfuel dependía únicamente de modelos GPT-4 para sus agentes chatbot. Sin embargo, necesitaba modelos más confiables y de alto rendimiento para optimizar los procesos de incorporación y mejorar las capacidades de los agentes. Esto requería una infraestructura capaz de manejar procesos exigentes de entrenamiento y prueba.

A través de nuestra asociación, Chatfuel aprovechó una cascada de modelos Llama-405B de última generación utilizando la infraestructura de Nebius para alcanzar un rendimiento excepcional del chatbot. El equipo de Nebius desarrolló esta cascada y SDK personalizado, lo que permitió a Chatfuel lograr importantes mejoras de eficiencia con mejor calidad de respuesta y velocidad de interacción.

Equilibrando costo, rendimiento y velocidad

El lanzamiento de la cascada de modelos a producción tomó solo un mes usando Nebius AI Studio. El equipo de Nebius jugó un papel crucial en el desarrollo y prueba de múltiples versiones del modelo, ayudando a Chatfuel a identificar el mejor equilibrio entre rendimiento, costo y velocidad. Esta colaboración aseguró que los nuevos modelos de Chatfuel cumplieran con los estrictos requisitos necesarios para el rendimiento y la escalabilidad del chatbot en tiempo real.

Chatfuel utilizó Nebius AI Studio para servir los modelos Llama 405B, permitiéndoles realizar varias tareas (generación de texto restringida, clasificación de texto, etc.) con calidad de última generación. Además, Chatfuel utilizó Nebius Compute Cloud para alojar los componentes de las soluciones y evaluar su calidad.

La adopción del modelo Llama-405b también mejoró la calidad del análisis de las descripciones de formato libre de los agentes que desean los clientes de Chatfuel y redujo los costos asociados con el LLM. Además, mejoró el rendimiento sobre GPT-4o de OpenAI en un 24% en la tarea de enrutar la entrada del usuario al agente correcto.

Manejo de datos

Anteriormente, crear chatbots efectivos impulsados por IA requería grandes cantidades de datos para ajustar los modelos. Sin embargo, muchos de los datos con los que trabaja Chatfuel inicialmente carecían de etiquetado adecuado, lo que dificultaba lograr resultados de alta calidad.

El equipo de Nebius apoyó en la optimización del proceso de entrenamiento, permitiendo a Chatfuel mantener excelentes resultados incluso con muestras de datos más pequeñas y bien curadas. Este enfoque no solo mejoró la calidad de las soluciones de Chatfuel, sino que también ahorró costos y recursos significativos, permitiéndoles entregar soluciones de chatbot potentes de manera más eficiente y efectiva.

Evaluación del modelo

Chatfuel implementa un meticuloso proceso de tres pasos para evaluar sus modelos de chatbot y asegurar resultados óptimos.

1. Evaluación del equipo de Nebius: El equipo de Nebius realiza una evaluación inicial utilizando métricas avanzadas y evaluación humana básica para verificar el rendimiento técnico y la confiabilidad de los modelos.

2. Revisión del equipo de producto de Chatfuel: El equipo de producto de Chatfuel evalúa los modelos en el contexto de casos de uso del mundo real, asegurando que se alineen con los objetivos del producto y las necesidades del cliente.

3. Retroalimentación de clientes leales: Finalmente, involucran a sus clientes leales para probar los modelos en escenarios prácticos, recopilando sus ideas para ajustar y mejorar aún más la experiencia.

SDK personalizado

Para las empresas SaaS, ofrecer una experiencia excepcional al cliente es primordial, ya que establece la base para la confianza y la satisfacción. Un mal servicio al cliente termina costando a las empresas miles de millones de dólares en ingresos cada año.

Reconociendo esto, el equipo de Nebius desarrolló un SDK personalizado que agilizó el proceso de integración, permitiendo al equipo de ingeniería de Chatfuel implementar la solución completa en su producto en solo tres días.

Esta eficiencia permitió a Chatfuel enfocarse en refinar el viaje del cliente y asegurar un rendimiento sin problemas desde el principio.

Aspectos destacados de Chatfuel al trabajar con Nebius

• Infraestructura estable: Nebius proporciona una plataforma altamente confiable y robusta para respaldar las operaciones de IA.

• Orientación experta: El equipo de Nebius ofrece un soporte excepcional, ayudando en procesos críticos de toma de decisiones de productos de IA.

• Mejores resultados comerciales: La colaboración con Nebius ha impulsado significativamente el rendimiento del embudo de productos y mejorado la retención de clientes.

Gracias a su colaboración con Nebius, Chatfuel ahora puede crear diversos chatbots de IA rápidamente, mejorando los procesos de incorporación de clientes. La empresa ha logrado importantes mejoras de eficiencia en IA con mejor calidad de respuesta, velocidad de interacción y ha establecido un enrutamiento eficiente entre diferentes agentes chatbot.

Pioneros en soluciones de participación del cliente impulsadas por IA

Gracias a la asociación de Chatfuel con Nebius, los clientes de la empresa ahora están creando diversos agentes para diferentes tareas de chatbot en minutos, siendo pioneros en soluciones de participación del cliente impulsadas por IA.

En adelante, Chatfuel continuará utilizando Nebius AI Studio y el SDK desarrollado a medida para crear experiencias más personalizadas para cada cliente. Esto incluye mejor reenganche a través de capacidades avanzadas de chatbot, así como procesos mejorados de entrenamiento y reentrenamiento para agentes chatbot.