Recently XP inc. decided to launch XP Card a option for our customers to has a credit card with investback with benefits of use, and a new challenge appear… Catch all of these information in streaming pipelines to make internal products in near real time and real time.

Source: XP inc. — Xdata

Motivation

Every new product frequently comes with a dose of new challenges. In this article I would like to share some of the challenges our team went through and how we approached them. Our main focus here will be on our data streaming platform, an agnostic solution built to process and deliver near-realtime analytics.

The team

At XP we have a very unique way to approach challenges. Thus, a unique team compositions are always needed.

Our team is composed of:

  • Internal Clients [Usually those in need of the data]
  • Tribes
  • Data Product Manager
  • Tech Leads
  • Data Engineers
  • Data Analystss

Other teams like Processing…


Já pensou em fazer um mini projeto de IoT para seu portifólio usando algumas ferramentas bem legais e um Raspberry Pi ? Borá lá que irei mostrar o step by step.

Photo by Harrison Broadbent on Unsplash

Objetivo

Usar um Raspberry Pi com sensores e enviar os dados ao GCP usando as seguintes ferramentas: Cloud IAM, Cloud Storage, Cloud Pub/Sub, Cloud IoT Core, Cloud Dataflow e BigQuery. Além do queridissímo Terrraform para subirmos nossa infra.


Aposto que já ouviu falar sobre Metabase, mas não achou material em PT-BR para brincar certo? Bora aprender o básico do Metabase então!! [update 2020/11/13]

Metabase é show!

Decidi criar um material básico de introdução ao Metabase, pois tive de estar aprendendo a usar onde trabalho, com a missão de democratizar o uso da ferramenta, além de ajudar na democratização da cultura DataDriven, assim criei este material e estou compartilhando ele para que possa auxiliar outras pessoas.

Não sabe o que é metabase?


Neste artigo estarei descrevendo um passo a passo para que você possa implementar o Metabase com o PostgreSQL em seu ambiente Docker.

Fonte: Imagem de Robert Brownsteihttps://www.behance.net/gallery/41119883/Docker-Whale

Antes de falar de iniciar o tutorial deixarei alguns artigos de referência para que você possa se inteirtar de Docker, mas ainda antes de falar de Docker é preciso falar de containers, que são a grosso modo uma tecnologia que o SO possui para isolar as aplicações. Neste artigo do Free Code Camp tem uma ótima explicação sobre o que é um container.
Para quem não conhece o FreeCodeCamp tem mais de 5K tutoriais sobre diversos assuntos de programação.

Aqui tem uma ótima explicação sobre a diferença de Vm’s e Containers.

Por que Docker?

Utilizar o docker para testes e até mesmo produção…


Um artigo cheio de links para se aventurar na engenharia de dados …(last_updated_21–06–2020)

Fonte: https://www.analyticsindiamag.com/data-engineering-trending-now/

E ai pessoal tudo bem? Resolvi compartilhar um pouco das formas que encontrei para poder aprender e aprimorar o que estou estudando de Engenharia de dados, como adentrei-me recentemente nesta jornada, o interessante é que comecei a estudar ciência de dados e os desafios da vida me levaram a engenharia de dados e confesso que estou gostando bastante, e como é bem difícil de encontrar material sobre o assunto, resolvi compartilhar o que encontrei, aqui você encontrará links de cursos e livros e uns caras que manjam demais para seguir.

Calma… na vida real não é assim que funciona..

Motivação:


Last Update: 2020–07–04 (added example Docker compose)

Neste artigo abordarei de forma rápida (tentarei ir direto ao ponto) uma explicação básica da sintaxe YAML.

Quem nunca teve uma ansiedade de leve né…

Mas o que é YAML? é de comer?
Segundo o yaml.org:

What It Is: YAML is a human friendly data serialization standard for all programming languages.

Ou seja: Um padrão de serialização de dados amigável para qualquer linguagem de programação.

“ O YAML foi criado especificamente para funcionar bem em casos de uso comum, como: arquivos de configuração, arquivos de log, mensagens entre processos, compartilhamento de dados entre…


fonte: https://forumdoacre.org.br/internet-das-coisas-industrial-nova-etapa-da-linha-producao/how-does-iiot-affect-me/

Muitos já devem ter ouvido falar sobre a tão citada 4ª revolução industrial, ou indústria 4.0 além de termos como internet das coisas o IoT. Mas afinal como as empresas podem se beneficiar destas tecnologias e quais as etapas necessárias para que haja esta tão esperada revolução em processos e produtos?

Antes de começar a dissertar sobre o assunto farei uma prévia explicando superficialmente a industria 4.0 e a Internet das Coisas.

Quando começou a quarta revolução industrial?

Até o momento houve apenas três. A primeira no século 18, pela chegada ao mercado do motor a vapor e do tear mecânico. …

Diogo Akio Balboni Miyake

Enthusiast in Data Science, Artificial Inteligence, Machine Learning and trying to help people to live better.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store