ingestão, virtualização, processamento e visualização. Já ouviu falar em virtualização dos dados? Essa abordagem de virtualização é utilizada em diversas ferramentas, tais como: Synapse, RedShift, Athena, Trino, Snowflake, Dremio, Microsoft Fabric e o BigQuery também pode ser. Uma coisa é certa, se você entender o mecanismo disso, vai perceber que há muita semelhança entre as ferramentas. Você vai ter o dado físico em um local e a ferramenta será capaz de consultar o arquivo como se fosse uma tabela, via SQL. # Conteúdo abordado no vídeo ## Etapas do processo - Ingestão com Python no Datalake - Virtualização das fontes com o Dremio - Processamento com o dbt - Visualização com o Power BI ## Conteúdo abordado - Preparação do ambiente - Entendimento sobre datalake e virtualização - Realizando uma consulta federada (s3 e Postgres) - Conexão do Power BI com o Dremio ## Repositório do projeto ## Meu linkedin ## Meu portfólio # Cursos ## Sparkanos ## Workshops com Luciano Borba ## Apoena Stack Link de desconto: #dataengineer #python #dbt #dremio #minio #aws #s3 #powerbi #analytics