Data Governance Principles
Orion Framework supports data governance through catalog-based policies, versioning and audit capabilities.
Catalog-Based Access Control
The catalog.yml file acts as a central registry of all datasets, making it easy to track data sources and enforce access policies.
Dataset Versioning
Version your datasets by updating catalog entries. Maintain historical versions for compliance and rollback capabilities.
Audit Trails
All pipeline executions are logged with timestamps, context information and node-level details through the OrionContext logger.
Security Best Practices
- Store credentials securely using environment variables or encrypted configuration files
- Never commit sensitive data or credentials to version control
- Use restricted file permissions for configuration files (
chmod 600) - Implement role-based access control at the infrastructure level
Princípios de Governança de Dados
O Orion Framework suporta governança de dados através de políticas baseadas em catálogo, versionamento e capacidades de auditoria.
Controle de Acesso Baseado em Catálogo
O arquivo catalog.yml atua como um registro central de todos os datasets, facilitando o rastreamento de fontes de dados e a aplicação de políticas de acesso.
Versionamento de Datasets
Versionar seus datasets atualizando entradas do catálogo. Mantenha versões históricas para conformidade e capacidade de rollback.
Trilhas de Auditoria
Todas as execuções de pipeline são registradas com timestamps, informações de contexto e detalhes em nível de node através do logger do OrionContext.
Melhores Práticas de Segurança
- Armazene credenciais de forma segura usando variáveis de ambiente ou arquivos de configuração criptografados
- Nunca faça commit de dados sensíveis ou credenciais no controle de versão
- Use permissões restritas de arquivo para arquivos de configuração (
chmod 600) - Implemente controle de acesso baseado em funções no nível de infraestrutura