Com 1,8 bilhão de sites por aí, você poderia pensar que a humanidade está ocupada constantemente criando e consumindo conteúdo da Internet. Embora, na realidade, dos 1,8 bilhão, apenas 200 milhões de sites (11%) estejam ativos; e de todo o tráfego que ocorre, mais de 60% é entregue por bots. Para ser claro: quando você detecta atividade incomum em seu site, você deve se preocupar. É muito provável que sejam bots tentando roubar seus dados ou conteúdo, em um processo conhecido como web scraping.
O que é web scraping?
Web scraping é o processo de extração ou recuperação de dados de um site. Isso pode ser feito manualmente ou automaticamente. A forma mais simples de web scraping é o modelo de copiar e colar manual. Em um nível mais “profissional”, existem inúmeras ferramentas, de software pago a bibliotecas Python gratuitas. Scripts automatizados detectam suas URLs, se disfarçam de usuários e começam a acessar suas URLs para extrair os dados. Essa explosão intensiva de atividade geralmente prejudica o desempenho do site e pode facilmente levar à deterioração da marca.
Para que serve web scraping?
Os web scrapers podem ser usados para vários fins legítimos, entre eles:
- rastrear o comportamento do usuário para fins de pesquisa ou marketing;
- análise de mercado (monitoramento da concorrência, agregação de notícias, inteligência de preços, etc.);
- monitoramento de marca;
- coleta e agregação de informações gratuitas (como mineração de dados realizada em repositórios de dados públicos, listagens de imóveis e aplicativos meteorológicos que coletam informações de fontes da Internet);
- acompanhamento de alterações no site.
Por outro lado, o web scraping antiético recupera informações para finalidades como:
- coleta de informações de contato ilegalmente;
- roubar conteúdo;
- degradar o desempenho de um site;
- esgotar os recursos do site.
Hoje em dia, criar conteúdo original não é suficiente. Você também deve proteger ativamente seu conteúdo e as informações que seu site contém, de tal onipresente ameaça. Para isso, você deve entender o que é web scraping - e o que não é.
Web scraping vs web crawling
O web crawling (rastreamento da web) é a atividade que um bot (um script automatizado) executa para recuperar e indexar informações sobre uma página da web. Os mecanismos de pesquisa são capazes de fornecer resultados de pesquisa porque rastreiam e indexam praticamente toda a Internet em busca de correspondências de palavras-chave, sinais de autoridade, etc.
O Web crawling destina-se a descobrir conjuntos de dados genéricos completos para indexar informações sobre sites. O web scraping, por outro lado, vai além para extrair conjuntos de dados específicos a fim de analisá-los e explorá-los para um propósito específico.
Web scraping vs data mining
Data mining (mineração de dados) é o ato de encontrar e extrair grandes quantidades de dados brutos de literalmente qualquer fonte, com o objetivo de analisar conjuntos de dados para derivar informações e conhecimento.
Web scraping para propósitos de data mining também. Entretanto, os dados também podem ser extraídos de uma variedade de outras fontes, como conjuntos de dados privados ou públicos (bancos de dados) ou cookies. Data mining pode fornecer informações sobre tendências de doenças, comportamento do comprador e sucesso de marketing, clima e muito mais.
Web scraping vs screen scraping
O web scraping extrai informações específicas dentro do site por meio de solicitações html e https. Screen scraping (captura de tela) reúne pixels, ou seja, dados de exibição da tela. Ele detecta os dados visuais exibidos na tela e coleta os elementos na tela (texto ou imagens).
Screen scraping é frequentemente usado para rastrear a atividade ou jornada de um usuário em um site, para extrair informações sobre a página da Web de uma empresa ou para roubar informações privadas do usuário.
Como o web scraping é feito?
Copiar / colar não é uma técnica de scraping escalonável. A verdadeira ameaça vem de formas de scraping mais avançadas, mais baratas e que consomem menos recursos.
Linguagens de programação, Python em particular, são freqüentemente usadas para extrair informações com comandos regex ou grep simples. A análise ajuda a entender o código html recebido após o comando. Em seguida, as informações são decodificadas e remontadas em um formato legível.
Todo o processo pode demorar entre minutos e horas, dependendo da quantidade de dados.
Como se proteger do web scraping
Como você pode ter certeza de que o Google, por exemplo, ainda é capaz de rastrear e indexar seu site, mas que seu conteúdo é seguro e permanece exclusivo? Você precisa permanecer alerta e trabalhar ativamente para proteger seus dados, usando qualquer uma das soluções descritas abaixo que seja mais apropriada para você.
Software de gerenciamento de bot dedicado
- A tecnologia CAPTCHA, como reCAPTCHA Enterprise, é uma camada de segurança para evitar que scripts acessem o conteúdo.
- Cloudflare fornece não apenas proteção contra CDN e DDoS, mas também segurança de mitigação de bot.
- Imperva (anteriormente Distil Networks) é uma ferramenta que policia o tráfego malicioso na internet, detectando e neutralizando bots maliciosos.
- DataDome é outro serviço que oferece proteção contra scraping, scalping, enchimento de credenciais, ataques DDoS e fraude de cartão.
Outras técnicas anti-scraping
- Robots.txt é um arquivo que instrui os mecanismos de pesquisa sobre o que rastrear e indexar, permitindo o acesso a bots legais, mas negando o acesso a scripts suspeitos.
- Os certificados SSL vêm na forma de uma extensão de segurança que protege as informações do usuário. É útil não apenas contra web scraping, mas também como um nível mínimo de segurança geral.
- Detecte padrões de navegação semelhantes aos de bots, como volumes incomuns de visualizações de itens, monitore essas contas e bloqueie certos endereços IP. Para isso, você pode usar geolocalização ou procurar uma lista de bloqueio baseada em DNS.
- Bloqueie solicitações de HTTP com cabeçalho de agente de usuário indesejado.
- Mude seu html com freqüência, pelo menos no nível de id e classe. Como os scrapers analisam seus padrões html e quebram seu código de marcação, as menores alterações podem desviá-los do caminho.
- Adicione honeypots para prender os raspadores. Isso geralmente é feito criando páginas falsas que apenas um não humano visitaria. Se você detectar atividade nessas páginas, poderá bloquear o IP com segurança.
- Acelerar solicitações, ou seja, limitar o número de solicitações / ações em um determinado período de tempo.
- Aplique os Termos e Condições exigindo que os usuários marquem uma caixa.
Conclusão
Os dados são a nova mina de ouro - e é incrivelmente fácil de roubar. Qualquer uma das soluções mencionadas acima ajudará a protegê-lo. O primeiro passo, porém, é estar atento e alerta. Neste momento, os bots estão acessando suas URLs em busca de dados utilizáveis. Você está preparado para enfrentá-los? Afinal, a saúde de sua marca depende de quão bem você protege o conteúdo de seu site e as informações de seus usuários.
