RÁPIDO Y FURIOSO: Por qué la IA híbrida supera a la quema de tokens

Es evidente que vivimos en tiempos interesantes y de rápidos cambios. Recientemente me reuní con Derek Holt, director ejecutivo de Digital.ai, para un próximo episodio de su podcast, Publicado: La historia detrás del software, para analizar el impacto de la IA en el desarrollo de software. A los pocos días de nuestra conversación, las organizaciones ya habían adoptado un nuevo pasatiempo favorito: ¡ahorrar tokens!

¿Qué ha pasado? Cada vez más proveedores están optando por licencias basadas en el consumo.

Se parece mucho a los inicios del auge de la nube hace más de una década. ¿Lo recuerdan? Parecía que no había límites, hasta que llegó la primera factura de nuestro proveedor de servicios en la nube. Tampoco debería sorprendernos el aumento de precios esta vez. Si han seguido las noticias sobre las empresas de IA en los últimos meses, es evidente que las enormes inversiones que las respaldan se trasladarán a nosotros, los usuarios. Solo en los últimos 12 meses, las empresas de IA han recaudado más de 225 mil millones de dólares mediante la venta de bonos, y los inversores quieren ver un retorno cuanto antes.

Entonces, ¿hay alguna salida? Deberíamos haber aprendido del pasado. Pero como seres humanos, cuando surge algo tan revolucionario como la IA, nos encanta experimentar y probar todo lo que podemos. Es un patrón que se repite a lo largo de la historia de la humanidad.

La respuesta, sin embargo, es simple: ¡PIENSE EN UN MODELO HÍBRIDO!

¿Qué significa eso? Durante la última década, podíamos elegir cómo implementar nuestras herramientas de desarrollo de software, como SaaS o en nuestras propias instalaciones. Con muchos proveedores, la IA ha eliminado esa libertad. Si se desean las capacidades de IA, SaaS suele ser la única opción, y muchos proveedores ya no permiten elegir el modelo de lenguaje de programación (LLM). La pregunta clave es si realmente necesitamos el LLM más grande para la tarea en cuestión. ¿Con qué frecuencia generamos código y con qué frecuencia traducimos poesía medieval a otro idioma? Los LLM grandes pueden hacer ambas cosas, pero a un precio mucho más elevado que un modelo más pequeño y optimizado, de nuestra elección, que genere código, gestione solicitudes de extracción o mejore la estructura de las descripciones y requisitos de las tareas.

Todos hemos visto cómo los precios de los servidores preparados para IA se han disparado en los últimos 12 meses. Aun así, puede que te sorprenda lo rápido que puedes recuperar la inversión con modelos autogestionados, o incluso aislados de la red, que se ejecutan en tu propio hardware. Las simulaciones han demostrado que el coste a tres años de las soluciones SaaS puede ser hasta seis o siete veces superior al de las autogestionadas, incluso incluyendo el coste de compra y funcionamiento del hardware necesario, y las configuraciones autogestionadas a veces ofrecen tiempos de respuesta más rápidos. Además, ganas seguridad, porque tus datos nunca salen de tus instalaciones.

En la IA agente para el desarrollo de software, el enfoque híbrido tiene dos dimensiones: el modelo de despliegue y el LLM. Creo que veremos una combinación de LLM grandes y especializados en el desarrollo de software, con modelos grandes utilizados como SaaS cuando se necesite procesar petabytes de datos, y modelos especializados para las tareas cotidianas.

Permítanme concluir con una reflexión más. Muchas de las herramientas que vemos en el sector tienen sus raíces en la era pre-IA y llevan años, a veces décadas, en uso. Es hora de plantearse su modernización. Muchas organizaciones no están satisfechas con los resultados de sus iniciativas de IA o se enfrentan a nuevos problemas de seguridad y cuellos de botella en la infraestructura. Una de las razones es la falta de contexto, causada por datos aislados en pilas de herramientas basadas en un enfoque de selección de las mejores soluciones. Facilitar el acceso a ese contexto es fundamental para sacar el máximo partido a sus tokens con IA automatizada. Al mismo tiempo, es igualmente importante actualizar la infraestructura de sus herramientas para evitar cuellos de botella en el proceso de CI/CD. La clave aquí es la automatización. Si sus herramientas son difíciles de automatizar, es hora de plantearse un cambio.

Para las organizaciones listas para repensar sus modelos de implementación, opciones de LLM y automatización en todo el SDLC, este es exactamente el lugar. Digital.ai y el estado de ánimo consciente puede ayudar. Derek y yo profundizamos en todo esto en nuestro próximo podcast. Quema de fichas: El coste oculto de equivocarse con la IADesde el coste real de la IA hasta la importancia de que los humanos mantengan el control. Con nuestra alianza recientemente ampliada, el momento no podría ser mejor.

Estén atentos a la conversación completa en los próximos días.