Software Engineer Backend - Integrations and Web Scraping @Konsi
Software Development
Salary unspecified
Remote Location
Employment Type full-time
Posted 1wk ago

[Hiring] Software Engineer Backend - Integrations and Web Scraping @Konsi

1wk ago - Konsi is hiring a remote Software Engineer Backend - Integrations and Web Scraping. 💸 Salary: unspecified 📍Location: Brazil

Role Description

Estamos buscando uma pessoa Engenheira de Software que encare o Web Scraping como um desafio de Engenharia Reversa e Arquitetura Distribuída. Você será responsável por construir e manter o "motor" que conecta nossa plataforma a dezenas de sistemas governamentais e bancários complexos, lidando com centenas de milhares de requisições, contornando limitações de acesso e garantindo latência mínima.

Se você sabe a diferença entre um headless browser e uma requisição HTTP direta, entende como um WAF identifica um bot e sabe debugar um handshake TLS, este é o seu lugar.

Qualifications

  • Domínio de Node.js & TypeScript: Experiência comprovada com desenvolvimento backend, tipagem estrita e o event loop do Node.
  • Deep Dive em HTTP: Conhecimento profundo de headers, cookies, verbos HTTP e autenticação. Você deve se sentir confortável analisando o Network Tab do DevTools ou usando Wireshark/Charles Proxy.
  • Experiência com Puppeteer: Saber utilizar automação de browser quando APIs diretas não estão disponíveis, aplicando técnicas de stealth.
  • Filas e Mensageria: Experiência prática com RabbitMQ, Kafka ou SQS.
  • Conteinerização: Docker é o padrão para nossos ambientes de desenvolvimento e produção.
  • Mentalidade de Engenheiro: Código limpo, testes unitários, CI/CD (GitHub Actions) e Code Review fazem parte do dia a dia.

Requirements

  • Engenharia de Extração: Desenvolver scrapers robustos e performáticos utilizando TypeScript (Node.js), priorizando engenharia reversa de APIs (HTTP clients) sobre automação de navegador sempre que possível.
  • Bypass de Proteções: Implementar estratégias para contornar sistemas anti-bot (Cloudflare, Akamai, Incapsula), gerenciando rotação de IPs (Proxies Residenciais/Datacenter), User-Agents e TLS Fingerprinting.
  • Orquestração de Captchas: Integrar e otimizar o uso de serviços de resolução de CAPTCHA (2Captcha, Anti-Captcha, CapSolver), balanceando custo vs. tempo de resolução.
  • Gestão de Sessão e Credenciais: Criar lógicas seguras para gerenciamento de credenciais de clientes, respeitando rigorosamente janelas de Rate Limiting e concorrência de sessões.
  • Arquitetura Assíncrona: Manter e evoluir filas de processamento de alta vazão (RabbitMQ) para lidar com picos de tráfego e garantir a ordem e entrega dos dados.
  • Observabilidade: Monitorar a saúde dos bots em tempo real (taxas de sucesso, tempo de resposta, bloqueios) utilizando ferramentas como Prometheus/Grafana ou stacks de logs centralizados.

Benefits

  • Experiência prévia contornando proteções avançadas de WAFs e Fingerprinting de navegador.
  • Experiência com Redis para cache e controle de throttling distribuído.
  • Vivência em ambientes de alta concorrência.
Before You Apply
️
remote Be aware of the location restriction for this remote position: Brazil
‼ Beware of scams! When applying for jobs, you should NEVER have to pay anything. Learn more.
Software Engineer Backend - Integrations and Web Scraping @Konsi
Software Development
Salary unspecified
Remote Location
Employment Type full-time
Posted 1wk ago
Apply for this position
Did not apply ✓
Applied ✓
Sent Follow-Up ✓
Interview Scheduled ✓
Interview Completed ✓
Offer Accepted ✓
Offer Declined ✓
Application Denied ✓
Unlock 140,000+ Remote Jobs
️
remote Be aware of the location restriction for this remote position: Brazil
‼ Beware of scams! When applying for jobs, you should NEVER have to pay anything. Learn more.
Apply for this position
Did not apply ✓
Applied ✓
Sent Follow-Up ✓
Interview Scheduled ✓
Interview Completed ✓
Offer Accepted ✓
Offer Declined ✓
Application Denied ✓
Unlock 140,000+ Remote Jobs
×
Apply to the best remote jobs
before everyone else

Access 140,000+ vetted remote jobs and get daily alerts.

4.9 ★★★★★ from 500+ reviews

⚡ 142,595+ remote jobs, refreshed hourly

🔔 Real-time alerts: Apply first, direct to employer

🛡️ Vetted companies, no scams, true remote only

Unlock All Jobs Now

Maybe later