Skip to content

Latest commit

 

History

History
65 lines (38 loc) · 1.97 KB

README.md

File metadata and controls

65 lines (38 loc) · 1.97 KB

Lab

Disclaimer

As configurações dos Laboratórios é puramente para fins de desenvolvimento local e estudos

💻 Pré-requisitos

  • Docker
  • Docker-Compose

criando nosso KTable do tópico postgres.dbfiafastapi.produtos

Important

Não esqueçam de sair do Container

docker-compose up -d  ksqldb-server ksqldb-cli 

docker-compose exec ksqldb-cli ksql http://ksqldb-server:8088

SET 'auto.offset.reset'='earliest';
   
create table produtosTable (id int primary key, nome varchar, valor double) with (KAFKA_TOPIC='postgres.dbfiafastapi.produtos', KEY_FORMAT = 'JSON', VALUE_FORMAT = 'JSON');

Criando nosso KStream do tópico postgres.dbfiafastapi.compraitens

 create stream compraitens_stream (id int, idproduto int, valor double, quantidade int, idcompra int) with (kafka_topic='postgres.dbfiafastapi.compraitens', value_format='json');

Gerando join entre Ktable produtosTable e KStream compraitens_stream

create stream comprasItemProduto as 
select  p.id  as id,  ci.idproduto , p.nome, ci.idcompra
from compraitens_stream ci 
left join produtosTable p on ci.idproduto = p.id  emit changes;

Em outro terminal vamos listar todos os tópicos

docker exec -it kafka-broker /bin/bash

kafka-topics --bootstrap-server localhost:9092 --list 

kafka-console-consumer --bootstrap-server localhost:9092 --topic COMPRASITEMPRODUTO  --property print.timestamp=true --property print.key=true --property print.value=true --property print.partition=true --from-beginning
  1. Criando ambiente MinIO e os Conectores Sink
  2. Criando Api, gerando evento para o carrinho
  3. Criando ambiente Analytics - Presto
  4. Criando ambiente Analytics - Criando External tables no Hive
  5. Criando ambiente Analytics - Ingestão de Dados Externos com NIFI
  6. Analisando Dados com o metabase