Estudo aponta que o ambiente de software em torno de modelos de linguagem afeta a eficiência em até 100 vezes e explica mais variações de custo e performance do que a arquitetura subjacente.
O progresso da inteligência artificial costuma ser atribuído ao treinamento de modelos, ao aprendizado por reforço e à eficiência de inferência. No entanto, uma pesquisa recente indica que o "scaffolding" — a camada de software e o contexto fornecido a um modelo no momento de sua execução — tem um impacto substancial e frequentemente subestimado. O estudo, conduzido por Hans Gundlach, Zachary Brown, Jayson Lynch e Neil Thompson, analisa dados do Holistic Agent Leaderboard (HAL) e conclui que essa estruturação pode alterar a eficiência de inferência de um modelo em até 100 vezes.
Os dados revelam que o scaffolding, também referido como wrapper ou harness, é o programa responsável por transformar um modelo de IA em um agente autônomo. A pesquisa identificou que as variações de desempenho e custo entre diferentes sistemas são explicadas em maior grau pelas camadas de scaffolding do que pelos próprios modelos de linguagem subjacentes. Em termos práticos, o impacto dessa camada pode ser tão determinante que, ao avaliar um sistema, é quase tão relevante questionar qual é o scaffold utilizado quanto perguntar qual é o modelo base em operação.
Uma característica distintiva dessa tecnologia é a sua inconsistência de resultados. Diferentemente de muitas inovações em aprendizado de máquina que oferecem ganhos generalizados, um mesmo scaffold pode gerar efeitos opostos dependendo do modelo e da tarefa. A pesquisa aponta que, enquanto alguns modelos apresentam melhorias significativas de performance com uma determinada estrutura de software, outros podem sofrer quedas de eficiência ou serem prejudicados pela mesma configuração.
Essas interações complexas entre modelo e scaffold trazem implicações diretas para a economia de agentes de IA e para a forma como os sistemas são avaliados. Segundo os autores do estudo, a dependência de camadas de software altamente otimizadas e específicas para cada modelo pode funcionar como uma barreira técnica. Eles especulam que essa dinâmica pode atuar como um motor para o aumento da concentração de mercado no setor de inteligência artificial, favorecendo empresas capazes de desenvolver e integrar essas estruturas de forma mais eficaz.
Scaffolding, também chamado de wrapper ou harness, é a camada de software e o contexto fornecido a um modelo de IA no momento de sua execução. É o programa responsável por transformar um modelo de linguagem em um agente autônomo.
Um estudo indica que o scaffolding pode alterar a eficiência de inferência de um modelo em até 100 vezes. As variações de custo e performance entre sistemas são explicadas em maior grau por essa estruturação do que pelos próprios modelos de linguagem subjacentes.
A dependência de camadas de software altamente otimizadas e específicas para cada modelo pode atuar como uma barreira técnica. Isso pode aumentar a concentração de mercado no setor, favorecendo empresas capazes de desenvolver e integrar essas estruturas de forma mais eficaz.