Machine Learning em Power BI com R e Python Análise avançada Análise preditiva Aprendizado de máquina Para todos Pablo J Moreno Primeira Edição Gabriel Gómez Apoiamos o desenvolvimento de aplicativos de código aberto e investimos na educação Internal Use - Confidential
Machine Learning em Power BI com R e Python é um livro escrito em linguagem simples com inúmeros exemplos práticos que permitirão a qualquer usuário de Power BI, amador ou especialista, fazer análises avançadas de dados, análises preditivas e aprendizado de máquina (machine learning). Não é necessária experiência prévia em programação. Na Seção I você aprenderá sobre os fundamentos da análise avançada e aprendizado de máquina, bem como os conceitos fundamentais para o desenvolvimento de análises avançadas ou preditivas. A Seção II tem foco no desenvolvimento de análises avançadas em R, tanto na visualização quanto na transformação de dados. A Seção III é dedicada ao uso de Python para realizar análises preditivas e aprendizado de máquina. E finalmente, na Seção IV indicamos ao leitor recursos e materiais adicionais para continuar seu aprendizado nestas disciplinas. Internal Use - Confidential
Motivação e propósito deste livro Power BI Power BI uso habituousl Power BI é uma ferramenta conhecida por sua grande funcionalidade e versatilidade para relatórios, análise de dados e inteligência de negócios. No entanto, não é tão conhecido o enorme potencial que as línguas trazem e quando interagem com o Power BI. Este livro destina-se a trazer e iniciar qualquer usuário de Power BI, amador ou experiente, para a aplicação dessas linguagens de programação para expandir a utilidade do Power BI para além da análise histórica de dados. Não é necessária experiência de programação. Não é um livro de programação, nem é ciência de dados como tal, embora cubra os fundamentos necessários para sua implementação, aplicação e interpretação dos resultados. Esperamos que este livro ajude o leitor a começar na ciência de dados em um nível avançado. Internal Use - Confidential
índice Seção I - Noções Básicas Conceitos fundamentais de Business Intelligence, Advanced Analytics, Machine Learning, Data Science e Inteligência Artificial Business Intelligence Análise avançada Análises descritivas Análise de diagnóstico Análise preditiva aprendizado de máquina Modelos de regressão Modelos de classificação Modelos de agrupamento Modelos de parceria Modelos de controle Ciclo de vida de aprendizagem de máquina Ciência de Dados inteligência artificial Profissionais de Dados Analista de Dados Engenheiro de Dados Administrador de banco de dados Engenheiro de Aprendizagem de Máquina Cientista de Dados Arquiteto de Dados estatístico Analista de Negócios Big Data Big Data versus Small Data Qualidade dos Dados Dados arrumados Técnicas de visualização de dados Ferramentas de desenvolvimento e considerações ambientais Internal Use - Confidential
Seção II – Análise Avançada com Instale R, RStudio e sincronize com Power BI Instalação de R Instalação do RStudio Sincronizar R com Power BI Instalação de pacotes em R Como inserir o código R no Power BI Limitações do Power BI Desktop com R Dados de importação e exportação Documentos de importação Importação csv Importação Excel Importar qualquer documento delimitado Importação de ZIP (não comprimido) Importação de SPSS, STATA e SAS Importação de MongoDB Importação do Google Drive Exportação de dados (funcionalidade de gravação) Exportar como csv Exportar como Documento do Google (Planilha) Escrever tabelas para banco de dados (SQL, MySQL, PostgreSQL) Elaboração, limpeza e análise de dados Modificações básicas de dados Funções básicas de dplyr Transformando dados com dplyr Limpando títulos de coluna Tratamento de valores nulos. Acusações Colunas com formulação avançada Valores de dimensionamento e centralidade Desvio da média Porcentagem do total Soma cumulativa de uma variável Quebra de linha visualização Entendendo como funciona o ggplot2 Internal Use - Confidential
Regras de componentes estética Geometrias balança Facetas Regras de nível de gráfico Exemplos de visualização avançada Gráfico de cumes ou áreas Gráfico escalonado ridge Gráfico de violino com caixa Gráfico de regressão múltipla Gráfico de caixas de dispersão Gráfico de correlação (múltiplas variáveis) Correlogram Correlogram composto Distribuição marginal Clustering ou Dendrograma Dendrograma duplo Gráfico de densidade Múltiplas barras circulares Coordenadas paralelas Gráfico de previsão (profeta) Gráfico de pirulito Anotações em gráficos Formatação de cores condicionais Linhas e áreas de cor Análises avançadas Séries e Previsão de Tempo Objeto da série de tempo Modelos estatísticos Método ingênuo Simples Exponencial Suave Tendência Holt ARIMA TBATS profeta Internal Use - Confidential
Regressão Linear Regressão linear simples Regressão linear múltipla Regressão não linear, monótona e não monótona Modelo aditivo generalizado (gam) Regressão Logística Análise avançada com rede neural artificial Coloque um modelo preditivo R em produção com Power BI Seção III – Machine Learning com Instale Python e sincronize com Power BI Instalação de Anaconda e Python Configuração detorno virtual Instalação de pacotes em Python Python sincronizante com Power BI Como o código Python é inserido no Power BI Limitações do Power BISktop com Python Aprendizado de Máquina com Python Aprendizado não supervisionado Análise de agrupamento Eu agrupando mimplementação Aplicativo – segmentação de clientes Aplicação – paranálisis geoespaciais Análise de Associações, Recomendação e Análise de Cesta de Mercado Implementação de associação, recomendação, análise de cesta de mercado Aplicação – análise da cesta de compras Aplicação – análise de solicitações à TI Detecção de anomalias Implementando a detecção de anomalias Aplicação – Análise de produção industrial Aplicação – Análise de Telemetria App – compras com cartão de crédito de negócios Internal Use - Confidential
Aprendizagem supervisionada Análise de Regressão Implementação da Análise de Regressão Estruturar o processo de previsão Aplicação – Análise de desvios na previsão Aplicação – Aprendizado de Máquina de Regressão Aplicação – Série temporal univarial Aplicação – Séries temporentais multivariáveis Análise de Classificação Implementação da análise de classificação Estruturar o processo de previsão Aplicação – Classificação bivariáveis Aplicação – Classificação multivariada Aplicação – Classificação bivariáveis desequilibrada Avaliação e validação de resultados Seleção do modelo mais ideal regressão classificação Exemplo de seleção do modelo mais ideal Validação dos resultados regressão classificação Aplicação – validação dos resultados – regressão Processamento de linguagem natural Análise de processamento de linguagem natural tratamento de texto Limpando caracteres especiais e marcas de pontuação Filtragem de frequência Filtragem de stopword Isolamento de palavras raras Stemming e Lemmatização Contagem e comprimento de palavras Análise de frequência e vetorização Bigrams e Trigramas Análise de sentimento de texto Internal Use - Confidential
produção Distribua um modelo em produção como um aplicativo (aplicativo) Modelo de regressão Critérios de classificação Implantação de um modelo para produção Seção IV - Recursos Adicionais Métodos de avaliação de modelos Referencial de referência para projetos de dados Folhas Rápidas recursos adicionais Autorização para o uso de logotipos Internal Use - Confidential
Obrigado Para o Todo-Poderoso, pelacriação. A todos os membros da nossa família e entes queridos, presentes e ausentes. A todos os nossos professores, professores, amigos e profissionais que conhecemos durante nossa existência, com especial menção a: Freddy Gonzalez Moez Ali Pablo Peralta James Fett Francisco Mullor Ricardo Rincon Ruben Pertusa Miguel Egea Ana María Bisbé Salvador Ramos Didier Atehortúa Jorge Luis Gonzalez Internal Use - Confidential
Sobre os autores Pablo J Moreno Cientista de dados com experiência em business intelligence, análise avançada e machine learning em diversas áreas de negócios: mercado financeiro, finanças corporativas, marketing digital, operações, gestão de riscos e auditoria interna. MVP da Microsoft (Dice Platform) desde 2019 Gabriel Gómez É profissional especializado em desenvolvimento e implementação de software, administração SQL DB (Banco de Dados) e Business Intelligence. Especialista em mineração de dados e análise avançada de dados, bem como gestão de ferramentas tecnológicas e relatórios. Internal Use - Confidential
Publicado: Nov 2021 mlbi.io Internal Use - Confidential
Search
Read the Text Version
- 1 - 12
Pages: