O Data Warehouse é um componente essencial do Microsoft Fabric, a nova plataforma unificada de dados da Microsoft que integra diversas funcionalidades, desde engenharia de dados até análise avançada e inteligência artificial. Ele atua como um repositório centralizado para armazenar grandes volumes de dados estruturados, oferecendo uma base sólida para a geração de insights e tomadas de decisão.
Principais características
O Data Warehouse no Microsoft Fabric se destaca por algumas características fundamentais:
Escalabilidade: Projetado para suportar grandes volumes de dados, o Data Warehouse do Microsoft Fabric escala conforme a demanda, seja no armazenamento, seja na capacidade de processamento.
Desempenho Otimizado: Utilizando mecanismos avançados de otimização de consultas e gestão de dados, ele oferece consultas rápidas e eficientes, mesmo em grandes conjuntos de dados.
Integração com o OneLake: Todos os dados gerados ou carregados no Data Warehouse ficam acessíveis através do OneLake, o armazenamento centralizado do Fabric, permitindo que múltiplos serviços dentro da plataforma possam interagir com os mesmos dados de forma unificada.
Conectividade com o Power BI: O Data Warehouse está integrado ao Power BI, permitindo que relatórios e dashboards sejam criados de maneira eficiente diretamente sobre os dados do warehouse.
Suporte a Linguagens de Consultas Populares: Além do SQL, ele também suporta Python, Spark e KQL (Kusto Query Language), oferecendo flexibilidade para diferentes tipos de usuários.
Formato aberto para interoperabilidade
Os dados no Data Warehouse são armazenados no formato de arquivo parquet e permitem transações ACID e interoperabilidade entre diferentes mecanismos. Isso pode ser aproveitado por outras cargas de trabalho do Microsoft Fabric, como Spark, Pipelines, Power BI e Azure Data Explorer. Engenheiros de dados acostumados a trabalhar com Python podem usar os mesmos dados que foram modelados por um profissional de data warehouse usando SQL.
Ponto de extremidade de análise SQL do Lakehouse
Um ponto de extremidade de análise SQL é gerado automaticamente por um Lakehouse no Microsoft Fabric, permitindo transições entre a exibição “Lake” (que dá suporte à engenharia de dados e ao Apache Spark) e a exibição “SQL” do mesmo Lakehouse. O ponto de extremidade SQL é somente leitura, e os dados só podem ser modificados na exibição “Lake” via Spark.
Essa funcionalidade permite aos usuários consultar tabelas Delta, criar exibições e procedimentos no T-SQL e gerenciar permissões. O ponto de extremidade é acessível por ferramentas conhecidas, como o SQL Server Management Studio e o Azure Data Studio.
Data Warehouse X Ponto de extremidade SQL do Lakehouse
Embora o Data Warehouse do Synapse seja um armazém de dados tradicional com suporte total a T-SQL, o ponto de extremidade de análise SQL é um warehouse somente leitura, criado automaticamente ao se configurar um Lakehouse. O ponto de extremidade SQL permite que engenheiros de dados criem uma camada relacional sobre dados físicos no Lakehouse, expondo esses dados a ferramentas de análise.
Por outro lado, o Data Warehouse do Synapse é altamente configurável, oferecendo controle total sobre a criação de tabelas e consultas usando T-SQL, o que o torna ideal para data warehousing empresarial.
Conceitos importantes
Para quem está começando com o Data Warehouse no Microsoft Fabric, é importante entender alguns conceitos básicos:
• Armazenamento Colunar: Utiliza armazenamento colunar, que é eficiente para análises de grandes volumes de dados, permitindo compressão de dados superior e acesso mais rápido às consultas.
• Modelagem de Dados: A criação de um modelo de dados estruturado é crucial para garantir o desempenho ideal do Data Warehouse. Isso inclui a organização de dados em tabelas de fatos e dimensões.
• Pipeline de Dados: O processo de ingestão e transformação de dados pode ser automatizado com pipelines, integrando dados de várias fontes de maneira contínua.
• Segurança e Governança de Dados: Oferece controle detalhado de acessos, auditoria de ações e proteção avançada dos dados através do Azure Active Directory e Azure Key Vault.
Comparação de funcionalidades de Armazenamento
No Microsoft Fabric, os usuários podem decidir entre diferentes opções de armazenamento, como Warehouse, Lakehouse ou Datamarts do Power BI, dependendo de seus casos de uso. Aqui está uma comparação entre eles:
| Oferta | Armazenamento | Ponto de Extremidade SQL do Lakehouse | Datamart do Power BI |
| Licenciamento | Malha ou Power BI Premium | Malha ou Power BI Premium | Somente Power BI Premium |
| Principais Recursos | Suporte total a ACID e T-SQL | Somente leitura, com suporte limitado a T-SQL | Data Warehouse sem código |
| Desenvolvedor Alvo | Desenvolvedores SQL e desenvolvedores cidadãos | Engenheiros de dados e desenvolvedores SQL | Desenvolvedores cidadãos |
| Caso de Uso Recomendado | Data Rarehousing empresarial | Análise de tabelas Delta no Lakehouse | Data Warehouse de autoatendimento |
| Camada de Armazenamento | Formato Delta | Formato Delta | N/A |
Conclusão
O Data Warehouse do Microsoft Fabric oferece uma solução robusta e escalável para empresas que desejam centralizar e analisar seus dados. Com uma arquitetura moderna e uma integração perfeita com outras ferramentas do Microsoft Fabric, ele é uma peça-chave para qualquer estratégia de Data & Analytics.
