A era das planilhas como única fonte de dados já acabou. Vivemos em um mundo informatizado e capaz de automatizar boa parte das rotinas empresariais. A era da integração de dados já começou.
Devido a difícil manipulação de planilhas, onde o trabalho manual de selecionar dados e analisar se torna totalmente dispendioso, diversas empresas optam por criar sistemas integradores nos quais todas as informações se encontram já de maneira sucinta.
Diversos sistemas de CRM e ERP, além de ferramentas de automação de marketing, possuem interfaces de exportação de dados que nutrem funcionários diariamente de informações que devem ser trabalhadas.
Por isso, neste artigo iremos explicar como uma integração ocorre e qual sua finalidade.
API: a porta de entrada para a integração de dados
A maioria dos sistemas de controle de dados possuem uma interface conhecida como API (Application Programming Interface), que fornece uma abstração de operações de obtenção de dados através de urls.
A interação através de urls garante que qualquer outra aplicação desenvolvida em qualquer linguagem de programação requisite e envie dados para um sistema pois toda linguagem de programação é capaz de acessar urls, este método é considerado um método universal pois independe da tecnologia utilizada.
Uma das principais características presentes em uma API são suas funcionalidades bem definidas em endpoints. Endpoints são url específicas destinadas a uma operação específica.
Exemplo:
www.sistema.com/obterdadosdecliente/rogerio
O endpoint acima obtem dados do cliente “rogerio” que estão alocados em um sistema.
Uma outra particularidade de uma API é sua segurança, junto com a url podemos através de um protocolo conhecido como HTTP enviar dados de autenticação. Não estou falando de login e senha, e sim de um conjunto de caracteres atribuídos a um usuário especifico conhecido como Token. Este token possui uma validade e deve ser renovado em um ciclo de tempo determinado.
Mas como uma API nos entrega os dados requisitados?
Atualmente as API’s utilizam dois formatos populares para a entrega dos dados, que são considerados básicos e portanto qualquer linguagem é capaz de lidar com estes formatos. Após toda requisição de dados através de um endpoint nos é encaminhado um documento em formato JSON ou XML. Ambos formatos são uma abstração textual de alguma tabela, sim, pense em uma planilha, é bastante semelhante!
Uma diferença crucial entre um XML e um JSON, além de sua estruturação, é a capacidade de um JSON abarcar um número dinâmico de colunas em sua representação de “planilha”.
- XML: o formato XML possui uma característica estática por padrão, porém algumas medidas podem tornar o XML dinâmico o suficiente, com relação ao número de linhas, para que atenda a regras de negócio específicas.
- CSV: este formato já trás em seu nome sua característica de estruturação, CSV significa Comma Separated Values de tradução livre – valores separados por vírgula.
Não há documentação que defina este padrão de maneira formal, ou seja, não há regras fixas que definam muito bem seu formato, a única característica que é mantida em todo csv é que cada item de colunas diferentes é delimitado pelo caractere “,”.
Regras de definição de tipos de dados como envolver palavras com “ “ (aspas duplas) caracterizando aquele dado como do tipo texto ou qualquer outra regra que defina dados numéricos por exemplo, estão a cargo de quem implementa o sistema que fornece dados sob este formato.
É um formato bastante confuso porém extremamente presente nos sistemas antigos e atuais devido a sua fácil utilização em sistemas que lidam com planilhas, afinal de contas o CSV é uma representação direta de uma planilha, sem rodeios, sem formalidades.
Bancos de dados relacionais e não relacionais
Bancos de dados consistem em sistemas de armazenamento estruturado de dados. Em um banco relacional conseguimos definir relações explícitas entre os dados trazendo alguma informação útil através destas relações além de automatizar operações sobre dados relacionados de maneira unificada.
Vamos a um exemplo:
Em um banco de dados possuímos uma tabela chamada “estoque” e outra chamada “vendas”, em uma abordagem com planilhas, o usuário a cada venda teria que atualizar duas planilhas. Na planilha vendas seria adicionado a informação de uma venda, e logo depois a planilha estoque deveria ser atualizada decrescendo um item que foi vendido.
Se estas operações forem feitas de maneira manual esta operação está sujeita a erros que podem causar inconsistência nos dados. O funcionário pode não atuar de maneira ágil, esquecer de detalhes e causar transtornos no controle de estoque como vender um produto que não está mais presente em estoque.
Em um banco relacional estas duas tabelas estão relacionadas de maneira lógica onde sempre que há uma venda de determinado item, na tabela “estoque”, sua quantidade é decrescida automaticamente, e na próxima venda aquele item possuirá menos volume em estoque.
Em um banco não relacional podemos ter tabelas independentes com dados distintos não conectados, permitindo a integridade e independência de dados não relacionados.
Sistemas legados
Em diversas empresas, principalmente do ramo bancário existem sistemas antigos que utilizam tecnologias ultrapassadas que possuem funções essenciais do negócio. A reimplementação de tais sistemas utilizando novas tecnologias se torna um problema devido a alta requisição dos serviços oferecidos pelos sistemas legados e sua complexidade. Uma nova implementação de um sistema legado pode prejudicar a disponibilidade de algum serviço bem como a perda de dados no processo.
Se faz necessário então a integração destes sistemas através da interface existente que pode ser através de terminais de comando e os sistemas não tão velhos, através de interfaces web. Infelizmente não é toda linguagem de programação que possui recursos necessários para lidar com estes cenários, mas a maioria das linguagens modernas possuem meios de interação que cobrem esta necessidade. Uma outra característica de sistemas legados é a falta de estruturação em seus dados, outro ponto em que as linguagens de programação modernas atacam com eficiência.
O que determina uma boa integração de dados?
Uma boa integração deve observar fatores de tempo e disponibilidade de dados. A fonte de onde os dados estão sendo extraídos deve estar disponível o tempo inteiro.
Uma boa integração também se caracteriza pela economia de recursos ao obter aquele dado, se sua linguagem de programação não possui o recurso necessário para obter aquele dado com qualidade, considere uma mudança, e não se preocupe com esta mudança pois diferentes sistemas possuem requisitos de integração distintos.
O que determina uma má integração?
Além das características antagônicas ao tópico anterior, uma integração inviável é marcada principalmente pela dinamicidade da localização da fonte de dados. Um sistema que não possui um ponto fixo de onde os dados são extraídos é completamente inviável.
Um sistema para ser bem integrado deve possuir uma interface fixa de integração, seja via API ou CSV, esta interface dever ser imutável. Caso contrário esta integração será marcada como inviável e não poderá ser executada.
Mas como a integração de dados pode beneficiar meu negócio?
A integração permite a centralização dos dados em um único ponto de contato, seja por uma interface web que fornece dashboards até uma interface web simples. Mas além da exibição de dados em seu estado bruto, a integração se caracteriza por centralizar e processar dados que auxiliem em processos decisórios.
Dados de venda e de estoque por exemplo podem ser processados juntos e trazer uma informação que signifique lucro ou prejuízo e isto estará explícito após as etapas de integração em uma interface de visualização de dados.
A integração é um processo fundamental na análise de dados da sua empresa e de fácil escalabilidade se implementado corretamente avaliando recursos como tempo, processamento e memória.
Através da integração de dados, é possível tomar decisões melhores, responder perguntas de forma clara e objetiva, além de permitir calcular, analisar e visualizar os principais KPI’s e métricas da sua empresa como CAC e ROI, em tempo real.
E você? Já consegue gerar informações relevantes e tomar decisões com a integração de dados? Se não, dê uma olhada neste artigo e entenda como a análise de dados pode te ajudar a tomar decisões mais lucrativas e rentáveis para sua empresa!
