O que você aprenderá_
- Utilize o PySPark para completar o pipeline do machine learing
- Trate dados utilizando o PySprak SQL
- Crie modelos utilizando PySparkMLlib
- Valide de modelos com PySpark MLlib
- Otimize modelos com PySpark MLlib
Público alvo_
Pessoas interessandas em criar modelos de machine learing com a ferramenta PySpark.
Igor Nascimento Alves
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.
Curso atualizado em 01/04/2025
Já estuda na Alura?
Comece o curso agoraEmenta
Preparando os dados
- Apresentação
- O problema e a ferramenta
- Carregar e explorar dados
- Tratando os dados
- Criando Dummies
Criando o primeiro modelo
- Regressão Logística
- Preparação dos dados
- Ajuste e previsão
- Métricas
Avaliando o novo modelo
- Árvore de decisão
- Ajuste e previsão
- Métricas
Comparação entre modelos
- Random Forest
- Ajuste e previsão
- Métricas
Técnicas de otimização
- Ferramenta Cross Validation (CV)
- Árvore de decisão com CV
- Random Forest com CV
- Conclusão
Descubra se esse curso é pra você! Leia as primeiras aulas
-
Formação
Apache Spark com Python
10h
De curso
49
Atividades
Escola
Data Science
Faça parte da nossa comunidade no discord!
Troque conhecimentos com a comunidade da Alura
Mais tempo para a sua evolução, na velocidade do mercado. Comece hoje e aproveite por 2 anos.
Plus (1 ano)
Impulsione a sua carreira com os melhores cursos e faça parte da maior comunidade tech.
Matricule-seÀ vista R$1.30812x R$1091 ano de Alura
Assine o PLUS (1 ANO) e garanta:
- Acesso a TODOS os cursos por 1 ano
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
- Certificado
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
- Mentorias em grupo com especialistas
No Discord, você participa de eventos exclusivos, pode tirar dúvidas em estudos colaborativos e ainda conta com mentorias em grupo com especialistas de diversas áreas.
- Comunidade exclusiva
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
- Acesso ao conteúdo das Imersões
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
- App Android e iOS para estudar onde quiser
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
-
O mais escolhido
Pro (1 ano)
Acelere o seu aprendizado com a IA da Alura e prepare-se para o mercado internacional.
Matricule-seÀ vista R$1.78812x R$1491 ano de Alura
Todos os benefícios do PLUS (1 ANO) e mais vantagens exclusivas:
- Luri , a inteligência artificial da Alura
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.
- Alura Língua - Inglês e Espanhol
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Ultra (1 ano)
Transforme a sua jornada com benefícios exclusivos e evolua ainda mais na sua carreira.
Matricule-seÀ vista R$2.50812x R$2091 ano de Alura
Todos os benefícios do PRO (1 ANO) e mais vantagens exclusivas:
- Luri , com mensagens ILIMITADAS
Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.
- Luri Vision , a IA que enxerga suas dúvidas
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
- 6 Ebooks da Casa do Código
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.