Passei a maior parte da minha carreira de engenheiro de software repetindo os mesmos passos para implantar e operar software ou criando programas que fizessem isso por mim.
Comecei na OpenAI na equipe de infraestrutura de nuvem, colocando novos clusters Kubernetes em operação para as equipes de aplicativos. Levava uma semana para preparar um lote de clusters, resolvendo problemas com conexões privadas, cotas e Terraform. Assim que os clusters ficavam prontos, eu começava a preparar o lote seguinte.
Depois, passei para a equipe da API, onde executava avaliações dos nossos modelos mais recentes. Resolvia problemas com avaliadores, cotas, configurações e PyTorch. Quando conseguíamos executar as avaliações e lançar o modelo, eu recomeçava com o modelo seguinte.
Hoje conto com o Codex para me ajudar nesse trabalho repetitivo. Continuo desenvolvendo software, agora com a ajuda do Codex. Em vez de criar uma automação para cada tarefa, estou desenvolvendo o Runme para:
- Reunir e selecionar as informações que dão contexto a um fluxo de trabalho.
- Preservar os limites que definem o que exige revisão e aprovação.
- Usar o que o Codex aprendeu nas execuções anteriores para melhorar as próximas.
Como executo avaliações com o Codex
Na OpenAI, quando lançamos novos modelos e recursos, executamos avaliações para verificar se eles funcionam como esperado. Para executar uma avaliação, crio um notebook no Runme e escrevo um breve resumo da meta:
# Meta: executar a avaliação no modelo atual
- Revise uma execução anterior para entender o fluxo de trabalho.
- Escreva um plano detalhado neste notebook.
- Aguarde até que eu revise e aprove o plano antes de começar.
- Documente os comandos que você executar, a saída de cada um e como você interpreta os resultados.Em seguida, peço ao Codex que use o conteúdo dessa célula do notebook como meta:
Leia a célula que descreve a meta no notebook do Runme aberto no navegador.
Use o conteúdo dessa célula como meta, escreva seu plano no notebook e aguarde minha aprovação antes de começar.O Codex lê o notebook e o atualiza à medida que o trabalho avança. Quando o plano fica pronto, eu o reviso e faço ajustes, se necessário. Muitas vezes, minha principal contribuição é ajudar o Codex a decidir qual sistema de avaliação usar e se é preciso provisionar uma nova infraestrutura ou se os recursos existentes são suficientes.
Enquanto o Codex trabalha, acompanho o progresso, às vezes pelo celular, e de vez em quando dou uma sugestão quando ele não consegue avançar. Se uma cota se esgotar e impedir o provisionamento de um ambiente de desenvolvimento, por exemplo, posso sugerir que ele reutilize um ambiente existente ou procure outra opção aprovada.
O resultado é um notebook que registra tanto os passos necessários para concluir a tarefa quanto as tentativas que não deram certo. Antes de encerrar, trabalho com o Codex para registrar decisões que, de outra forma, ficariam perdidas na conversa. Anotamos por que escolhemos determinada opção, qual abordagem passamos a preferir e o que vale a pena fazer de outro jeito na próxima vez.
Como colaboro com o Codex nos notebooks
O projeto Runme é um aplicativo web de código aberto para criar notebooks com o Codex. Assim como o Jupyter e o Colab, ele oferece suporte a Markdown, células de código e HTML. Com isso, podemos criar documentos que combinam instruções, comandos, resultados, tabelas e gráficos.
Os notebooks podem ser salvos diretamente no Google Drive. Assim, meus colegas podem encontrar e compartilhar o material produzido em uma ferramenta que já conhecem, sem precisar de mais um repositório de documentos.
Para cada notebook, o Runme também gera um arquivo de índice em Markdown chamado *.index.md. O Google Drive pode indexar esse arquivo, o que facilita a localização de notebooks anteriores quando um agente precisa de exemplos, de contexto operacional ou do resultado de uma execução anterior.
Os agentes interagem com o Runme por meio do WebMCP. Ao carregar, o aplicativo registra ferramentas no navegador que um agente pode usar para:
- Ler as instruções de uso do Runme e de seus notebooks.
- Executar programas JavaScript de escopo delimitado que leem ou atualizam o conteúdo dos notebooks.
- Consultar a documentação do aplicativo.
Essa arquitetura é importante porque o Runme é distribuído como um site estático e executado no navegador. Adicionar um servidor só para expor um endpoint MCP tradicional exigiria mais infraestrutura, tornaria a operação mais complexa e mudaria o local de processamento dos dados dos notebooks. Com o WebMCP, o aplicativo disponibiliza seus recursos diretamente no navegador.
Como reúno e seleciono informações úteis
Cada vez que executo uma avaliação, tenho a oportunidade de documentar como fiz o trabalho e facilitar a próxima execução. À medida que o fluxo de trabalho melhora, ele gera informações mais úteis. Esse contexto, por sua vez, ajuda o Codex a lidar melhor com a tarefa na próxima vez.
Boa parte das informações que poderiam ajudar um agente já existe no trabalho do dia a dia, mas está espalhada pelo histórico do terminal, pelo Slack, por guias operacionais, documentos e painéis. A utilidade da documentação é fácil de demonstrar. O difícil é reduzir o esforço de documentar o trabalho a ponto de conseguir fazer isso enquanto ele acontece.
O Runme reúne em um só documento o que pretendíamos fazer, as ações que executamos, as decisões que tomamos e os resultados que obtivemos. Uma meta persistente mantém o Codex focado na tarefa, enquanto a revisão automática de aprovações pode analisar as ações elegíveis sem alterar os limites de permissão existentes.
Ainda sou eu quem decide se o plano está pronto e se uma escolha importante exige julgamento humano. O Codex executa os passos repetitivos e registra o que aconteceu com mais detalhes do que eu registraria por conta própria. Como é fácil compartilhar o notebook, esse conhecimento prático pode chegar a outras pessoas sem ficar restrito ao histórico de conversas de quem fez o trabalho.
Como recupero um pouco desse tempo
Passei boa parte da minha carreira tentando descobrir as palavras mágicas para fazer máquinas cheias de manias obedecerem. A infraestrutura de nuvem e o Kubernetes prometiam facilitar a implantação e a operação de software. Junto com eles, veio também um enorme ecossistema de ferramentas, como mostra o panorama da CNCF. Muitas vezes, resolver um problema cria outro: é preciso escolher as ferramentas para resolvê-lo, aprender a usá-las e cuidar da operação delas.
O que me atrai no Codex é poder contar com ele nesse trabalho operacional repetitivo e continuar participando das decisões que importam.
Espero recuperar um pouco desse tempo de vida e aproveitá-lo para brincar com meus cachorros.