Arquitetura medalhão no Fabric: camada bronze e CSV

Esta é a parte 2 da série sobre arquitetura medalhão no Microsoft Fabric. Na parte 1 preparamos o ambiente. Agora vamos criar a camada bronze e carregar nela um arquivo CSV de vendas.

Em uma frase: a bronze guarda o dado exatamente como chegou, sem tratar nada.

Mapa da série: a camada bronze está destacada

O que é a camada bronze

A bronze é a porta de entrada dos dados. A regra é simples: o dado fica exatamente como chegou da origem, sem limpeza e sem correções. Isso traz duas vantagens:

Rastreabilidade: você sempre sabe como o dado original era.
Reprocessamento: se algo der errado nas camadas seguintes, dá para refazer o tratamento a partir do dado bruto.

Por isso, se o arquivo vier com erros, a bronze os mantém.

Criando o lh_bronze

Veja o passo a passo animado:

Passo a passo animado: Novo item, Lakehouse, nome lh_bronze, nova subpasta dados_vendas e carregar o vendas_raw.csv

Dentro do workspace, vamos criar o lakehouse da camada bronze:

No workspace, clique em Novo item e escolha Lakehouse.
Dê o nome lh_bronze e confirme.

Ao terminar, o lakehouse abre com as duas áreas que vimos na parte 1: Files e Tables. As tabelas ficam no schema dbo, que é o padrão.

Dica: os nomes dos botões podem variar um pouco conforme a versão e o idioma do portal.

O arquivo de exemplo

Para a série, usei um arquivo de vendas pequeno, o vendas_raw.csv. Crie um arquivo de texto com este conteúdo e salve com esse nome:

id_transacao,id_cliente,data_venda,valor,status
101,C100,2024-01-15,150.50,Concluida
102,C101,2024-01-16,320.00,Concluida
103,C100,2024-01-16,,Pendente
104,C102,2024-01-17,45.00,Cancelada
105,C103,2024-01-18,890.90,Concluida
105,C103,2024-01-18,890.90,Concluida

Cada linha é uma transação, com o ID, o cliente, a data, o valor e o status.

Carregando o arquivo na bronze

É na área Files que o arquivo bruto fica. Vamos organizá-lo em uma subpasta:

No lh_bronze, clique nos três pontinhos ao lado de Files e escolha Nova subpasta.
Dê o nome dados_vendas.
Abra a pasta, use a opção de carregar e escolha Carregar arquivos.
Selecione o vendas_raw.csv e confirme.

Pronto: o caminho do arquivo é Files/dados_vendas/vendas_raw.csv.

Animação: o arquivo vendas_raw.csv é carregado dentro da pasta dados_vendas, em Files

Dica: a subpasta não é só organização. Na parte 3, vamos criar um atalho para esses dados, e o atalho aponta para uma pasta, não para um arquivo solto. Sem a subpasta, eu não conseguia selecionar o CSV.

Os problemas do arquivo

O arquivo tem problemas de propósito, para termos o que tratar mais adiante:

A transação 103 não tem valor.
A transação 104 foi cancelada.
A transação 105 aparece duplicada.

Tabela com o conteúdo do vendas_raw.csv, destacando a transação 103 sem valor, a 104 cancelada e a 105 duplicada

Na bronze, nada disso é corrigido. O dado fica bruto. O tratamento acontece na silver.

Para ir além (documentação da Microsoft)

Resumo

A bronze guarda o dado exatamente como chegou, sem tratamento.
Criamos o lakehouse lh_bronze e a pasta Files/dados_vendas.
Carregamos o vendas_raw.csv, que tem um valor vazio, uma transação cancelada e uma duplicada.
A subpasta será necessária para criar o atalho na próxima etapa.

Na parte 3, vamos criar a camada silver e conectá-la à bronze com um atalho.