Web Scraping
Fora de Estoque

Web Scraping

Fora de estoque
Só resta %1

O objetivo deste workshop é apresentar as principais ferramentas e estratégias para baixar e organizar dados da internet utilizando o R. Para isso, abordaremos as noções básicas de como um site é construído, como funcionam as requisições web e como descobrir o caminho até um conteúdo específico de uma página. Também abordaremos o uso de APIs e o que fazer quando o fluxo usual de raspagem não funciona.

6 aulas - 18h de curso

SKU
webscraping
Categoria

Você sairá apta(o) a:

 

  • Baixar dados de APIs;
  • Organizar um projeto de raspagem de dados;
  • Escrever scripts em R para baixar dados da internet automaticamente;
  • Estruturar dados de arquivos .xml, .html e .json;
  • Acessar informações em páginas estáticas e dinâmicas;
  • Identificar a forma mais eficiente de implementar soluções para raspar sites complexos.

Ementa:

 

  • Introdução
    • O que é e quando fazer web scraping
    • O ciclo do web scraping
    • Utilizando o Inspetor do navegador
  • Utilizando APIs
    • Acessando dados de APIs
    • APIs escondidas em sites
    • APIs com autenticação simples
    • Acessar APIs com OAuth2
  • Baixando dados em HTML ou XML
    • Imitando a requisição do inspetor
    • O pacote {httr}
    • Requisições GET e POST
  • Construindo um parser
    • O pacote {xml2}
    • Introdução ao XPath
    • Estruturando os dados brutos

 

  • Como iterar algoritmos no R
    • Aprimorando seu algoritmo com o {purrr}
    • Tratamento de erros
    • Paralelização
  • Páginas dinâmicas com Selenium
    • Utilizando o {webdriver}
    • Controlando um navegador web
  • Tópicos
    • View states
    • Lidando com Captchas
    • GitHub Actions

  • Aulas online.
  • Material didático com o conteúdo do curso.
  • Exercícios “para casa” para praticar e tirar dúvidas.
  • Projeto de análise de dados para aplicar o conteúdo aprendido e gerar portfólio.
  • Gravação das aulas disponíveis por pelo menos 1 ano.

Necessários:

  • Interesse por Ciência de Dados.
  • Conhecimentos básicos de computação: criação de arquivos e pastas, instalação de programas, navegação na internet.
  • Uma conta de e-mail Google para acessar o Google Sala de Aula.
  • Últimas versões do R e do RStudio instaladas

Sugeridos:

Caio Lente

Mestrando em Ciência da Computação no IME-USP e cientista de dados na Terranova Consultoria. Programador desde os 15 anos, começou a se apaixonar pelo R em 2016 e agora não fala em outra coisa.

Julio Trecenti

Faxineiro de dados. Doutorando em Estatística pelo IME-USP. Secretário-geral da Assoc. Brasileira de Jurimetria (ABJ). Conselheiro do CONFE. Trabalha com web scraping, arrumação de dados, construção de modelos preditivos, APIs e dashboards em Shiny.

No modelo online, todas as aulas serão gravadas e o vídeo ficará disponível por pelo menos 1 ano após o término do curso.

Tanto no modelo ao vivo quanto no modelo online, você receberá o certificado ao final do curso (sujeito à entrega de atividades solicitadas). Nele constará o nome do curso cumprido e a carga horária específica na página do curso. O certificado é individual e terá o mesmo nome que você utilizou na compra.

Sim, você receberá o certificado ao final do curso (sujeito à entrega de atividades solicitadas durante as aulas). Nele constará o nome do curso cumprido e a carga horária específica delimitada na página do curso. O certificado é individual e terá o mesmo nome que você utilizou na compra.

Sim, as aulas ao vivo são gravadas e disponibilizadas para as pessoas inscritas por pelo menos 1 ano.

Após a confirmação da compra, você receberá um e-mail de nossa equipe com a confirmação de sua inscrição. Nele, enviamos o link para o manual de acesso com as informações para entrar na turma pelo Google Sala de Aula e outras orientações importantes. Você também pode acessar informações sobra a sua compra criando uma conta aqui no nosso site e acessando a sessão "Meus Pedidos".

Caso você não receba e-mail de confirmação antes do curso começar, primeiramente dê uma olhada na sua caixa de spam. Caso não esteja lá, basta enviar um e-mail para contato@curso-r.com informando o curso comprado e o seu e-mail de compra. Resolveremos o seu problema o quanto antes!

Para compras diretamente no site trabalhamos com pagamentos por cartão de crédito, boletos, PIX. Você também pode realizar o seu pagamento por transferência bancária, para isso solicitamos que envie um e-mail para contato@curso-r.com informando o curso desejado.

Depende do curso e também do pacote escolhido (se houver). Todas as informações necessárias para ingressar em qualquer curso da Curso-R pode ser encontrada na sua respectiva página. Caso você opte por comprar vários cursos de uma vez, as trilhas são pacotes promocionais de cursos com grandes descontos. O preço das trilhas pode ser encontrado também nas suas respectivas páginas.

Envie um e-mail para contato@curso-r.com.


Sidebar