O que você vai aprender?
Nesta dica iremos ensinar como fazer a união dos dados logo no input, que é quando trazemos os dados para o fluxo.
Passo 1: Conhecer nossos dados
Primeiramente. Para que isso dê certo, nossos dados devem seguir o mesmo padrão (Colunas com o mesmo nome, mesmo tipo de dado, e etc).
Então no nosso exemplo a primeira coisa que faremos será estudar nossos dados.
Como se pode ver, nossas bases tem todos os nomes de coluna em comum (São a primeira linha do CSV).
Os arquivos se chamam USCA_2015, USCA_2016, USCA_2017, USCA_2018. Então vemos que os nomes também tem um padrão. Vamos nos aproveitar disso para fazer nossa união no Input.
Passo 2: União por Input
Quando trazemos qualquer uma dessas bases para o nosso canvas. Que é a janela branca do Prep, vamos nos deparar com a janela de configuração do Input. Nela clicamos em Tabelas na parte de cima e vamos ver essa janela.
Nessa janela conseguimos ver dois botões, dos quais devemos manter um selecionado. E no final dessa janela, temos as tabelas incluídas (São as tabelas que nosso input irá trazer para o fluxo).
Vamos mudar a seleção para “Unir as linhas de várias tabelas”.
Assim vamos ter opções de aplicar filtros nas pastas de origem da nossa base que já trouxemos para o Prep, e a partir desse filtro unir mais bases nesse input.
Não entendeu? Vou explicar melhor
- Pesquisar em: O prep vai pesquisar nesse diretório por bases que correspondem o filtro para o arquivo. (Incluir subpastas vai aumentar o range de pesquisa para as pastas que estão dentro da pasta selecionada.)
- Filtro de arquivo: O filtro de arquivo pode ser por nome, tamanho do arquivo, data de modificação ou criação. Esse filtro pode ser por correspondência ou por não correspondência. Trazendo tudo que corresponde, ou tudo que não corresponde.
Vamos usar o filtro por nome.
Como se pode ver na caixa de digitação do filtro usamos o Wildcard * para dizer que qualquer coisa que vier no nome do nosso arquivo antes ou depois de USCA deve ser aceito. Então ele nos trouxe todos os ORDERS_USCA independente do ano no nome do arquivo.
Na caixa “Tabelas incluídas” conseguimos ver quais foram as tabelas que entraram no nosso input baseado no nosso filtro.
Vale ressaltar que não necessariamente precisamos trazer para o Prep a base ou tabela que desejamos que seja incluída no nosso Input. Podemos trazer qualquer tabela e aplicar o filtro da maneira que quisermos, até mesmo excluindo nossa tabela de origem (Ou seja, caso eu quisesse que todos os outros anos fossem meu input, exceto o ano de 2015, não teria nenhum problema, tudo que eu precisaria era achar o diretório certo e aplicar o filtro correto).
Clicando em aplicar abaixo da caixa “Tabelas incluídas” a união dessas bases será feita e…