Serviços de visualização de dados da AWS: painéis e BI feitos da maneira certa
Serviços de visualização de dados da AWS para painéis e BI. O que é preciso para criar análises confiáveis na AWS e o pipeline por trás de cada bom pa...
Certa vez, uma equipe financeira nos mostrou um lindo painel da AWS criado por seu último fornecedor. Gráficos limpos, as cores certas, os executivos adoraram. Também estava errado: dois dos números de primeira linha estavam saindo de uma tabela que não era atualizada há semanas, e ninguém sabia porque o painel nunca dizia isso. Essa é toda a lição da visualização de dados na AWS em uma história: o gráfico é a parte fácil, e um gráfico bonito construído em um pipeline quebrado é pior do que nenhum painel.
O funil por trás de um bom painel
Cada visualização confiável fica no topo de uma cadeia que a maioria das pessoas nunca vê. Os dados são ingeridos de suas fontes — bancos de dados, ferramentas SaaS, arquivos. Ele pousa no armazenamento, geralmente S3. Ele é limpo e remodelado, porque os dados brutos são sempre mais confusos do que qualquer um admite. Ele é modelado em métricas que significam uma coisa consistente. Só então ele chega a um gráfico.
Pule ou apresse qualquer uma dessas etapas e o painel ainda renderiza — ele apenas renderiza algo falso. O valor da engenharia está nas camadas inferiores, que é exatamente onde o trabalho barato do painel é mais importante.
Qual é a aparência de um AWS Stack
Os serviços específicos dependem dos seus dados, mas a forma é consistente:
- S3 como o lar durável e barato para dados brutos e processados
- Um armazém ou mecanismo de consulta — Redshift ou Athena consultando o S3 diretamente — para análise em grande escala
- Uma etapa de transformação que limpa e modela dados de acordo com um cronograma
- Uma camada de visualização — QuickSight para BI padrão ou um painel incorporado personalizado quando os dados pertencem ao seu próprio produto
- Programação e monitoramento para que as atualizações sejam previsíveis e as falhas sejam percebidas
A montagem delas na AWS, em vez de uma única plataforma tudo-em-um, mantém você no controle dos custos à medida que os dados aumentam e permite que cada camada seja a ferramenta certa, em vez de qualquer pacote incluído.
BI autônomo ou incorporado
Alguns clientes querem um espaço de trabalho de BI no qual seus analistas façam login. Outros querem que os gráficos estejam dentro de seu próprio aplicativo ou portal, para que os usuários nunca saiam do produto para ver seus números. Fazemos as duas coisas: a rota incorporada significa um front-end personalizado no React e no Node no mesmo pipeline da AWS, que é o tipo de trabalho de dados full-stack que criamos regularmente.
Como diferenciar um painel funcional de um bonito
Três cheques resolvem isso rapidamente. Os números se reconciliam com uma fonte em que você já confia? Ele é atualizado de acordo com uma programação que você pode nomear e informa quando foi a última atualização? Uma determinada métrica é lida de forma idêntica em todos os lugares em que aparece? Um painel que os supera está fazendo seu trabalho. Uma que falha em qualquer uma delas é uma apresentação de slides com cosplay de dados ao vivo — e você só descobrirá quando for tomada uma decisão sobre um número que estava obsoleto.
Perguntas frequentes
O gráfico visível é a última etapa. Antes de ingerir dados de suas fontes, armazená-los, limpá-los e transformá-los e modelá-los em métricas confiáveis. Um painel construído em um pipeline instável parece bom e se encaixa com confiança. A maior parte do esforço de engenharia vai para as camadas que ninguém vê.
Uma pilha típica usa o S3 para armazenamento, um depósito como o Redshift ou consultas no S3 para análise, uma etapa de processamento para limpar e remodelar dados e uma camada de visualização, como o QuickSight, ou um painel personalizado incorporado. As partes exatas dependem do volume de dados e da dinâmica dos números.
Verifique se os números se reconciliam com uma fonte em que você confia, se eles são atualizados de acordo com uma programação conhecida e se a mesma métrica é a mesma em todos os lugares em que aparece. Um painel que não pode ser vinculado aos dados de origem ou que define “receita” de forma diferente em duas telas é decoração, não análise.
Sim. Além das ferramentas de BI independentes, as visualizações podem ser incorporadas diretamente ao seu produto ou portal interno para que os usuários nunca saiam do seu aplicativo para ver seus dados. Isso geralmente significa um front-end personalizado apoiado pelo mesmo pipeline da AWS, que criamos no React e no Node.