Databricks SQL
Serverless
2024 Trending
Lakehouse
Data Warehousing
Analytics SQL serverless na plataforma Databricks Lakehouse
O que é Databricks SQL?
Databricks SQL é um plano de computação serverless que permite executar consultas SQL em seu data lake com performance otimizada. Construído sobre Apache Spark e Delta Lake, oferece a simplicidade de um data warehouse com a flexibilidade de um data lake.
Arquitetura Lakehouse
Databricks SQL é parte da arquitetura Lakehouse:
- Delta Lake: Camada de armazenamento ACID
- Photon Engine: Engine de consulta vetorizada
- SQL Warehouses: Compute serverless otimizado
- Unity Catalog: Governança unificada
Vantagens
- Performance superior com Photon Engine
- Integração nativa com Delta Lake
- Serverless com auto-scaling
- Governança unificada
- Suporte a dados estruturados e semi-estruturados
- Integração com ML e Data Science
Casos de Uso Ideais
- Analytics em data lakes
- Business Intelligence moderna
- Self-service analytics
- Unified analytics (BI + ML)
Principais Recursos
⚡ Photon Engine
Engine de consulta vetorizada de alta performance
🏠 Delta Lake
Armazenamento ACID nativo para data lakes
🔒 Unity Catalog
Governança e segurança unificada
📊 SQL Warehouses
Compute serverless otimizado para SQL
Casos de Uso
✅ Recomendado para:
- Analytics em data lakes
- Unified analytics (BI + ML + Data Science)
- Modernização de data warehouses
- Self-service analytics
- Real-time analytics
- Multi-cloud deployments
Exemplos Práticos
Consulta em Delta Lake
-- Análise de vendas em Delta Lake
SELECT
date_trunc('month', sale_date) as month,
region,
SUM(amount) as total_sales,
COUNT(DISTINCT customer_id) as unique_customers
FROM delta.`/mnt/datalake/sales`
WHERE sale_date >= '2024-01-01'
GROUP BY month, region
ORDER BY month, total_sales DESC;Time Travel com Delta Lake
-- Consultar versão anterior dos dados
SELECT * FROM delta.`/mnt/datalake/sales`
VERSION AS OF 10;
-- Consultar dados de timestamp específico
SELECT * FROM delta.`/mnt/datalake/sales`
TIMESTAMP AS OF '2024-01-15 10:00:00';Comparações
| Aspecto | Databricks SQL | Snowflake | BigQuery |
|---|---|---|---|
| Lakehouse | ✅ Nativo | ✅ Suporte | ✅ Suporte |
| ML Integrado | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| Multi-Cloud | ✅ AWS, Azure, GCP | ✅ AWS, Azure, GCP | ❌ GCP Only |