WORKSHOP BIG DATA & MACHINE LEARNING
Saiba mais Big Data & Machine LearningPROCESSAMENTO DE DADOS COM VOLUME, VELOCIDADE E VARIEDADE
BASE TEÓRICA E PRÁTICA COM AS PRINCIPAIS FERRAMENTAS ADOTADAS
TREINAMENTO IN-COMPANY PARA TURMAS FECHADAS
PROGRAMA
Plano Teórico
Apresentação
O que é Big Data e Machine Learning – História, volume, velocidade, variedade, valor e aplicações cotidianas.
Big Data
Arquitetura Hadoop (HDFS, YARN, Map Reduce).
Apache Spark.
Ferramentas do ecossistema.
- Hue
- Hive
- Sqoop
- Oozie
- Flume
- Kafka
Aplicações batch e realtime.
Machine Learning
Problemas de Machine Learning.
- Regressão
- Classificação
- Detecção de falhas
- Clusterização
- Recomendações
Plano Prático
Definição de infraestrutura
Planejamento de infraestrutura Hadoop
Instalação e configuração
Pré-requisitos.
Instalação cluster Hadoop e Spark usando a ferramenta Apache Ambari.
Ingestão de dados
Ingestão de dados a partir de arquivos texto (CVS).
Ingestão de dados no Hadoop a partir de base relacional.
Ingestão de dados a partir de filas (Kafka / Flume).
Processamento de dados
Processamento / consolidação de dados com hive.
Processamento / consolidação com Spark e SparkSQL.
NoSQL e visualização dados
Introdução ao HBASE.
Introdução ao Elasticsearch.
Interconexão Hadoop x Elasticsearch.
Geração dashboards com Kibana.
NoSQL e visualização de dados
Exemplo de regressão de dados (estimativa de estoque).
Exemplo de classificação (ranking de crédito).
Exemplo de análise bayesiana (análise de sentimento).
Exemplo de rede neural (classificação de imagens).
INFORMAÇÕES E SOLICITAÇÃO
MAIS WORKSHOPS DISPONÍVEIS
DEVOPS
Abordando a evolução da TI tradicional para a TI digital.
IOT - INTERNET OF THINGS
O que é IoT? Aplicações cotidianas e componentes de uma solução IoT.