Nesta newsletter e na próxima estaremos tratando de dois temas entrelaçados, e que foram recentemente documentados pela empresa de capital de risco estadunidense Menlo Ventures: inicialmente lidaremos com “The Modern AI Stack”, e na próxima newsletter vamos tratar sobre “AI Agents”.
Não é mais surpresa para ninguém o fato de que máquinas estão se tornando capazes de gerar raciocínio, criação e criatividade, e estas capacidades estão levando as empresas a reconstruírem seus tech stacks (empilhamentos tecnológicos). Enquanto os dias iniciais da transformação de IA foram quase um “far-oeste”, hoje os construtores estão convergindo em torno de infraestrutura, ferramental e enfoques.
Em documento recente, Murphy et al. (2024) compartilharam sua tese sobre como o desenvolvimento da IA acontecerá, bem como os componentes centrais da infraestrutura que irão se combinar para criar o “empilhamento moderno de IA” – a nova arquitetura que irá guiar as aplicações de IA nos anos à frente.
Em termos conceituais, a Menlo Ventures define as camadas-chave do moderno empilhamento de IA (camadas que são mostradas na Figura 1 à frente) como sendo:
- Camada 1: Modelos alicerces e de computação: A camada de modelo alicerce de computação contém os próprios modelos alicerces, bem como a infraestrutura para treinar, ajustar, otimizar, e, em última instância, empregar os modelos;
- Camada 2: Dados: a camada de dados contém a infraestrutura para conectar LLMs (Large Language Models) ao contexto correto onde quer que eles existam no seio dos sistemas de dados da empresa. Os componentes centrais incluem dados pré-processados, ETL e pipelines de dados, bancos de dados tais como vector databases, metadata stores, e context caches;
- Camada 3: Emprego: A camada de emprego contém as ferramentas que ajudam os desenvolvedores a gerenciarem e orquestrarem aas aplicações de IA, e inclui os arcabouços de agentes, gestão de prompt, e modelo de roteamento e orquestração;
- Camada 4: Observabilidade: A camada final do moderno empilhamento de IA contém soluções que ajudam a monitorar o tempo de duração do comportamento do LLM e a guarda contra ameaças, incluindo novas categorias para observabilidade do LLM e soluções de segurança.
Ambos estrutura de mercado e tecnologia que definem o moderno empilhamento de IA hoje estão evoluindo rapidamente. No entanto, componentes chave e líderes nessas categorias já estão emergindo. O estabelecimento desses vencedores prematuros conta a história de uma nova curva de maturidade de IA – e uma notadamente distinta do ciclo de desenvolvimento do tradicional machine learning - ML (ver Figura 2 à frente).
Antes dos modelos LLMs, o desenvolvimento de ML era linear e “model-forward” (voltado para modelo). Times buscando construir aplicações de IA necessitavam começar o modelo - o que frequentemente envolvia meses de tediosas coletas de dados, engenharia de características, e rodadas de treinamentos, bem como time de Phds, antes do sistema pudesse ser produtizado como um consumidor vendo o produto final.
Os modelos LLMs mudaram o script, alterando o desenvolvimento da IA para ser “product-forward” (voltado para produto) e possibilitando times sem expertise de ML incorporarem IA em seus produtos. Agora que qualquer um pode acessar o OpenAI ou Anthropic APIs para estimular os mais poderosos modelos instantaneamente, companhias podem na realidade começar com o produto, mais do que o modelo.
É fácil o suficiente incorporar chamadas de APIs para um produto, mas à medida que os empilhamentos de IA amadurecem, times de desenvolvimento se voltam para customizar suas experiências de IA através dos dados da empresa – ou de consumidores específicos. Times começam com otimizações prompt-level, tais como retrieval augmented generation (RAG), mas eventualmente se movem em direção a otimizações model-level, tais como model routing, fine-tuning, ou quantization, guiados por considerações tais como desempenho, custo e latência.
Construtores de IA evolveram coletivamente de ML tradicionais para a nova curva de maturidade de IA ao longo do ano passado, cristalizando-se em novos blocos construtivos à medida que infraestrutura essencial para a produção de sistemas de IA em cada fase da curva (Figura 2).
Ainda de acordo com o documento da Menlo Ventures, a revolução da IA não somente estimulou a demanda por um novo empilhamento de infraestrutura, mas ativamente reformatou como as empresas focam o desenvolvimento de aplicações, o gasto de P&D, e a composição do time. Sendo assim, a Menlo Ventures define quatro princípios chave de design para o novo paradigma:
- A maioria do gasto é para Inferência vs. Treinamento;
- Vivemos em um Mundo Multi-Modelo;
- RAG é o Enfoque Arquitetural Dominante;
- Todos os desenvolvedores são desenvolvedores de IA.
Finalmente, como o moderno empilhamento de IA está evoluindo rapidamente, e como a Menlo Ventures olha para frente para a sua progressão, a empresa vê um número de desenvolvimentos emergentes:
- Next-Gen de arquiteturas de IA estão explorando aplicações mais avançadas de RAG;
- Modelos menores se tornam uma proporção maior do Moderno Empilhamento de IA;
- Novas ferramentas para observabilidade e modelos de avaliação emergirão;
- Arquiteturas se moverão em direção a Serverless.
Na próxima newsletter veremos como os AI Agents (Agentes de IA) estão definindo uma nova arquitetura para automação de empresas, e o que os tornam possíveis, como a evolução arquitetural do moderno empilhamento de IA visto nesta newsletter.
Se sua empresa, organização ou instituição deseja saber mais sobre o moderno empilhamento de IA e sobre agentes de IA, não hesite em nos contatar!
Figura 1 – Os Emergentes Blocos Construtivos para a GenIA
Fonte: Murphy et al. (2024))
Figura 2 – Nova Curva de Maturidade de IA
Fonte: Murphy et al. (2024))
