O que você vai aprender?
Nesta dica vamos demonstrar como configurar a execução incremental de um fluxo no Tableau Prep.
Introdução:
Quando trabalhamos com quantidade de dados massivos, uma das nossas maiores dificuldade é a quantidade de linhas e colunas. Em relação a coluna já vimos na dica “Dica Prep 11 – Melhores práticas na entrada de dados”, mas e quanto as linhas?
Bem, nesse caso podemos filtrar, ou se for possível, fazer uma execução INCREMENTAL, trazendo apenas as linhas novas da nossa base de dados, mantendo o histórico guardando e apenas tratando e salvando as nossas informações.
Para isso, vamos precisar de algumas coisas
Configurando a entrada:
A Configuração de uma execução incremental é feita completamente na entrada de dados.
Para esse exemplo, utilizaremos o fluxo “World Indicator” do próprio tableau prep
Na configuração da entrada dos dados, ao descermos tudo no menu “Settings”, veremos a opção de execução Incremental
Ao habilitar essa opção, precisaremos dizer qual campo da BASE de origem representa o nosso incremental (sim, precisaremos de um campo para identificar o que é incremental).
Esse campo pode ser do tipo INTEIRO, DATA ou DATA/HORA, apenas esses tipos de dados estarão disponíveis aqui, ou seja, no exemplo acima onde selecionamos a coluna “Months Code” apenas as linhas que possuem “Months Codes” NOVOS irão entrar no nosso fluxo para tratamento, as demais serão ignoradas.
Mas aí vem a pergunta, como ele sabe que é um “Months Code” novo? E nisso vem a próxima etapa da configuração
Precisamos que em alguma saída de dados, exista o mesmo campo para comparação dentro do fluxo. Os nomes não precisam ser iguais, mas ele precisa existir com o mesmo tipo de dado da entrada (inteiro, data ou data/hora).
Fazendo a Execução Incremental:
Percebam que agora, ao lado do botão de executar o fluxo, temos uma seta pra baixo com a opção “Incremental Refresh”
E o mesmo acontece quando vamos diretamente na saída. Existe uma seta ao lado do botão de play que nos permite executar APENAS aquela saída e com a configuração de execução incremental.