Job Description
Sobre a vaga:
Buscamos um talento técnico de alto nível para assumir o protagonismo na nossa estrutura de coleta de dados. Somos uma startup focada em IA jurídica e precisamos de alguém que garanta a integridade da nossa base de dados, composta por milhões de decisões de 91 tribunais brasileiros. Você será o dono do fluxo de dados, com total autonomia para implementar soluções e, futuramente, liderar a frente de Web Scraping.
Principais Responsabilidades
- Manutenção e Evolução: Gerenciar e otimizar scrapers e máquinas virtuais (VMs) para coleta de dados em larga escala.
- Automação Total: Configurar ambientes no GCP para que os processos rodem de ponta a ponta sem intervenção humana.
- Resolução de Conflitos: Criar soluções criativas para superar desafios técnicos como quebra de sites, captchas e rate limits.
- Entrega de Valor: Garantir que o dado final chegue estruturado e pronto para uso no PostgreSQL, permitindo que o time de IA foque no...