VELOZES E FURIOSOS: Por que a IA híbrida supera a queima de tokens

É evidente que vivemos em tempos interessantes e de rápidas mudanças. Recentemente, conversei com Derek Holt, CEO da Digital.ai, para um próximo episódio de seu podcast, ReleasedA história por trás do software, para discutir o impacto da IA ​​no desenvolvimento de software. Poucos dias após nossa conversa, as organizações já haviam adotado um novo passatempo favorito: economizar fichas!

O que aconteceu? Cada vez mais fornecedores estão migrando para o licenciamento baseado no consumo.

A sensação é muito parecida com a dos primórdios da euforia em torno da computação em nuvem, há mais de uma década. Lembra? Parecia que o céu era o limite, até chegar a primeira fatura do nosso provedor de hiperescala. Não devemos nos surpreender com os aumentos de preço desta vez também. Se você acompanhou as notícias sobre empresas de IA nos últimos meses, está claro que os investimentos maciços nelas serão repassados ​​para nós, usuários. Somente nos últimos 12 meses, as empresas de IA captaram mais de US$ 225 bilhões em emissões de títulos, e os investidores querem ver o retorno o quanto antes.

Então, existe uma saída? Deveríamos ter aprendido com o passado. Mas, como seres humanos, quando surge algo tão inovador quanto a IA, adoramos experimentar e testar o máximo possível. É um padrão que se repete ao longo da história da humanidade.

A resposta, porém, é simples: PENSE EM UM MODELO HÍBRIDO!

O que isso significa? Na última década, podíamos escolher como implantar nossas ferramentas de desenvolvimento de software, como SaaS ou em nossas próprias instalações. Com muitos fornecedores, a IA eliminou essa liberdade. Se você deseja os recursos de IA, o SaaS geralmente é a única opção, e muitos fornecedores também não permitem mais que você escolha o LLM. A questão principal é se realmente precisamos do maior LLM para a tarefa em questão. Com que frequência você gera código e com que frequência traduz poesia medieval para outro idioma? Grandes LLMs podem fazer ambos, mas a um preço muito mais alto do que um modelo menor e otimizado de sua escolha que gere código, lide com solicitações de pull ou melhore a estrutura das descrições de tarefas e requisitos.

Todos nós vimos os preços dos servidores preparados para IA dispararem nos últimos 12 meses. Mesmo assim, você pode se surpreender com a rapidez com que pode recuperar o investimento em modelos autohospedados, ou até mesmo isolados da internet, executados em seu próprio hardware. Simulações mostraram que o custo de três anos de soluções exclusivamente SaaS pode ser de seis a sete vezes maior do que o de autohospedagem, mesmo incluindo o custo de compra e operação do hardware necessário, e as configurações autohospedadas às vezes oferecem tempos de resposta mais rápidos. Você também ganha em segurança, pois seus dados nunca saem de suas instalações.

Na IA agente para desenvolvimento de software, o modelo híbrido possui duas dimensões: o modelo de implantação e o LLM (Modelo de Aprendizado de Liderança). Acredito que veremos uma combinação de LLMs grandes e especializados no desenvolvimento de software, com modelos grandes sendo usados ​​como SaaS quando for necessário processar petabytes de dados, e modelos especializados lidando com tarefas do dia a dia.

Para finalizar, gostaria de compartilhar mais uma reflexão. Muitas das ferramentas que vemos em uso têm suas raízes na era pré-IA e estão em operação há anos, às vezes décadas. É hora de pensar em modernizá-las. Muitas organizações estão insatisfeitas com os resultados de suas iniciativas de IA ou enfrentam novos problemas de segurança e gargalos de infraestrutura. Um dos motivos é a falta de contexto, causada por dados isolados em diferentes conjuntos de ferramentas construídos com base em uma abordagem de "melhores de cada categoria". Tornar esse contexto acessível é fundamental para aproveitar ao máximo seus tokens com IA ativa. Ao mesmo tempo, é igualmente importante atualizar a infraestrutura de suas ferramentas para evitar gargalos no pipeline de CI/CD. A palavra-chave aqui é automação. Se suas ferramentas são difíceis de automatizar, é hora de pensar em uma mudança.

Para organizações prontas para repensar seus modelos de implantação, opções de gerenciamento de ciclo de vida de desenvolvimento de software (LLM) e automação em todo o SDLC, este é exatamente o caminho a seguir. Digital.ai E saber que o humor está ruim pode ajudar. Derek e eu vamos explorar tudo isso no nosso próximo podcast. Queima de Tokens: O Custo Oculto de Errar na IA, desde o custo real da IA ​​até por que os humanos precisam manter o controle. Com nossa parceria recém-ampliada, o momento não poderia ser melhor.

Acompanhe a conversa completa nos próximos dias.