Pessoa Engenheira de Dados Sênior

Por que ser zupper? Vamos direto ao ponto: o que oferecemos é um ambiente de crescimento exponencial. Mais do que palavras bonitas, isso significa que oferecemos todas as oportunidades para que você possa protagonizar sua evolução e todo o suporte necessário. Como protagonismo sem apoio não gera desenvolvimento acelerado, além de oportunidades, cada zupper tem um plano de desenvolvimento de carreira, acompanhamento próximo por uma pessoa do time de People e acesso a uma plataforma proprietária que tangibiliza o sentimento de progresso. E por que fazemos tudo isso? Porque acreditamos que somente um ambiente de crescimento exponencial vai nos fazer chegar aonde queremos: usar a tecnologia para transformar a vida de pessoas, potencializar talentos desperdiçados por falta de acesso e posicionar regiões desprivilegiadas como pólos de tecnologia de qualidade. Ah, e não podemos esquecer: na Zup acreditamos na #Liberdade ! Com isso, zuppers podem trabalhar de onde quiserem, seja home office, em nossos escritórios ou em um modelo híbrido O que você fará por aqui Participar do processo de entendimento das necessidades do negócio ,entendendo e garantindo a entrega de valor; Desenhar a arquitetura e avaliar as tecnologias disponíveis para resolver o problema certo; Desenvolver e evoluir pipelines de dados escaláveis e preparados para alimentar modelos de IA Generativa e soluções de RAG; Implementar pipelines de Dados para democratização de dados em uma arquitetura Data Mesh, criando camadas semânticas e dados estruturados para consumo por IA; Combinar a arquitetura e tecnologia para desenvolver e entregar componentes reutilizáveis como conectores, APIs , SDKs , CLIs, integrando com APIs de LLMs (OpenAI, Claude, Gemini) ; Prototipar agentes inteligentes utilizando frameworks como LangChain, LangGraph e CrewAI, avaliando custo, latência e qualidade das integrações; Testar e automatizar tudo que for possível; Validar e adaptar os componentes de acordo com os feedbacks dos usuários; Colaborar com a qualidade e inovação tecnológica do produto e ambiente de trabalho. O que esperamos que você saiba Conhecimento em processamento de dados em larga escala, processamento paralelo e distribuído (Apache Spark, Hadoop, Hive, etc); Experiência prática em ELT utilizando dbt, Data Lake/Lakehouse e orquestração com Airflow; Experiência com serviços de Data & Analytics da nuvem AWS (Glue, EMR, Athena, Quicksight); Conhecimento de linguagem de programação Python; Domínio sobre os principais serviços da Cloud AWS (S3, Lambda, SQS, DynamoDB, API Gateway); Proficiência no uso de LLMs, aplicação prática de embeddings, RAG (Retrieval-Augmented Generation) e Bancos Vetoriais (Pinecone, Milvus, pgvector, Qdrant, etc.); Habilidade em Engenharia de Prompts e orquestração com frameworks como LangChain ou LangGraph; Atuação prática consistente com bases de dados relacionais (SQL) e NoSQL (documentos e chave-valor); Domínio de práticas de DevOps e infraestrutura como código (Terraform, CodePipeline, etc). O que seria muito legal se você soubesse Experiência anterior em iniciativas de democratização de dados com Data Mesh; Experiência em avaliação comparativa entre diferentes LLMs de mercado considerando custo-benefício e latência; Experiência com IA generativa ou ferramentas de automação aplicadas a pipelines de dados, como geração assistida de código, documentação automatizada ou monitoramento inteligente de qualidade de dados; Conhecimentos de Observability (Cloudwatch, CloudTrail, Prometheus, AppDynamics, Splunk, ElasticSearch, Grafana e etc.); Conhecimento em técnicas avançadas de cache para sistemas escaláveis de IA; Ter experiência no desenvolvimento de soluções para instituições financeiras. O que te oferecemos Aqui não é só a sua carreira que importa, queremos que você tenha saúde e bem estar físico e mental para a melhor jornada de experiência profissional e pessoal da sua vida. Carreira Liberdade para trabalhar de onde quiser Horários flexíveis* Auxílio Educa…