Engenheiro de IA Sênior; Avaliação de Modelos de Linguagem no Mercado Imobiliário

Position: Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Mercado Imobiliário)

Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Mercado Imobiliário). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision.

Nível: senior.

Modelo de trabalho: 100% Remoto.

Contratação: tempo integral, CLT ou PJ.

Sobre a vaga:

Uma plataforma do mercado imobiliário usa modelos de linguagem em várias frentes: descrição automática de imóvel a partir de ficha e fotos, atendimento ao comprador, resposta a dúvidas sobre financiamento e condomínio. Cada uma pode ser feita por vários modelos e prompts, e todo mês surge um novo candidato mais barato ou mais rápido. Você vai construir a avaliação que diz, com evidência, se a troca vale a pena.

O difícil é avaliar texto livre. Descrição que inventa uma vaga de garagem, resposta que afirma uma taxa de condomínio que não existe, tom inadequado com o comprador. Para isso precisa de conjuntos de referência por caso de uso, rubricas escritas com a área de negócio, avaliação por modelo calibrada contra revisão humana e testes de regressão a cada mudança. Está bem feito quando uma troca de modelo é decidida em um dia com números, as falhas conhecidas viram casos permanentes e a nota automática concorda com a humana em grau medido.

O

que você vai fazer:

• Construir conjuntos de avaliação por caso de uso, com casos comuns, raros e adversariais
• Escrever rubricas de qualidade com as áreas de negócio e transformá-las em critérios mensuráveis
• Implementar avaliação automática por modelo e calibrá-la contra amostras revisadas por pessoas
• Medir fidelidade a fatos da ficha do imóvel, taxa de invenção e adequação do tom
• Rodar comparações de modelo, prompt e recuperação com custo e latência lado a lado
• Integrar a avaliação ao pipeline, para que regressão de qualidade bloqueie a mudança
• Acompanhar em produção amostras de conversas reais e realimentar o conjunto de avaliação
• Orientar engenheiros do produto sobre como avaliar uma mudança antes de pedir revisão

Requisitos:

• Avaliação de sistemas com LLM: conjuntos de referência, rubricas, avaliação por modelo e revisão humana
• Estatística para comparar variantes com amostras pequenas e saber quando a diferença é real
• Python com testes automatizados e código de avaliação reprodutível
• Conhecimento de RAG e de agentes o bastante para isolar a origem de cada falha
• Medição de custo e de latência por componente do sistema
• Capacidade de explicar limites de uma métrica a quem decide

Diferenciais:

• Conhecimento do processo de venda e de locação de imóveis
• Experiência com avaliação multimodal, de texto e imagem de ficha de imóvel
• Prática em concordância entre avaliadores e em calibração de juiz automático
• Ferramentas de observabilidade e de experimentos de LLM
• Ajuste fino de modelos menores guiado pela avaliação

Como é trabalhar aqui:

Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. A avaliação é tratada como produto do time: tem dono, histórico e revisão como qualquer código. Os resultados de cada comparação ficam em relatório curto que engenheiros e negócio leem antes de decidir.

Benefícios oferecidos pela empresa contratante:

• Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
• Trabalhe de qualquer lugar, com liberdade e flexibilidade
• Conexão global: convivência com times de diferentes países e culturas
• Apoio à saúde física com Total Pass e Mediquo
• Cuidado com a saúde mental pelo programa Team Care
• Contratação e jornada definidas com a empresa contratante

Tecnologias envolvidas:

• Python
• LLMs
• Avaliação de LLMs
• RAG
• Lang Chain
• FastAPI
• SQL
• Git

Seus dados: tratados conforme a LGPD, com remoção a qualquer momento, a pedido.