BI e Big Data Management

De Ulrich Hambuch

A importância da Informação como um fator de produção aumentou significativamente nas últimas décadas. As empresas reconhecem cada vez mais que a análise das suas informações comerciais (Business Intelligence) podem gerar vantagens competitivas decisivas.

Nesse sentido, há uma busca crescente por estratégias e técnicas para as quais os dados valiosos nos processos de negócios possam se tornar visíveis, disponíveis e interpretáveis.

Além disso, os requisitos legais, no contexto dos Requisitos de Conformidade BCBS 239, Basileia II e III, SOX e Solvência II, exigem um nível mínimo de qualidade dos dados e processos na elaboração de relatórios e planejamentos. Por conseguinte, o desenvolvimento de uma gestão de dados a nível da empresa continua a ser um dos principais desafios que a TI e a gestão terão de enfrentar nos próximos anos.

A questão da qualidade dos dados é um fator chave de sucesso para estabelecer uma infraestrutura de informação ideal. Um estudo de 2002 realizado pelo" Data Warehousing Institute " (TDWI) estimou os custos da má qualidade dos dados nos EUA em cerca de 622 bilhões de dólares.

Em retrospecto, a crise financeira e econômica global de 2007 também pode ser considerada uma crise da qualidade dos dados. Apesar dos requisitos de conformidade abrangentes, muitas empresas do setor de serviços financeiros foram e ainda não conseguem em 2017 agregar e processar seus dados de risco em um tempo razoável, de modo que a controlar adequadamente seus riscos. Além de fatores como entendimento homogêneo dos termos, arquitetura modernizada de processos e sistemas e governança de dados; o gerenciamento adequado e abrangente da qualidade dos dados, assim como o gerenciamento mais integrado possível de metadados, também desempenham um papel decisivo no gerenciamento confiável e eficiente dos dados.

Na era do Big Data, em que os dados são entendidos como o novo petróleo e a quantidade de dados disponíveis em todo o mundo está se multiplicando a cada ano, os requisitos para a transparência e a qualidade dos fluxos de dados aumentarão ainda mais; pois constituirão a base para casos de uso completamente novos (não apenas de apoio à tomada de decisão).

• Idioma: Português
• Editora: BadPress
• Data de lançamento: 8 de dez. de 2022
• ISBN: 9781667446363

Pré-visualização do livro

BI e Big Data Management

Informações para arquitetos de TI, consultores e tomadores de decisão

Aviso legal

@ / Copyright: 2017 Ulrich Hambuch

E-Mail: info @ infogenesis.de

Web: http://www.infogenesis.de

Primeira edição

Desenho da capa, ilustração: Ulrich Hambuch,

Foto da capa: http://www .pixabay.suplemento

Exibir imagens: http://www.pixabay.com e http://freeimages .suplemento

Fig. 23 cortesia de: ORAYLIS GmbH

A obra em todas as suas partes é protegida por direitos autorais. Qualquer utilização sem o consentimento do editor e do autor é proibida. Isso aplicar-se-a em particular à duplicação, tradução, distribuição e acesso público por via eletrônica ou não.

Informação bibliográfica da Biblioteca Nacional Alemã:

A Biblioteca Nacional Alemã enumera esta publicação na bibliografia nacional alemã; dados bibliográficos detalhados estão disponíveis na Internet via http://dnb.d-nb.de disponível.

Aquele que contempla o fim, como contemplou o princípio, não deturpará nada.

Lao Tzu, século 6 a.C.

Índice

No table of contents entries found.

Introdução

A importância da Informação como um fator de produção aumentou significativamente nas últimas décadas. As empresas reconhecem cada vez mais que a análise das suas informações comerciais (Business Intelligence) podem gerar vantagens competitivas decisivas.

Nesse sentido, há uma busca crescente por estratégias e técnicas para as quais os dados valiosos nos processos de negócios possam se tornar visíveis, disponíveis e interpretáveis.

Além disso, os requisitos legais, no contexto dos Requisitos de Conformidade BCBS 239, Basileia II e III, SOX e Solvência II, exigem um nível mínimo de qualidade dos dados e processos na elaboração de relatórios e planejamentos. Por conseguinte, o desenvolvimento de uma gestão de dados a nível da empresa continua a ser um dos principais desafios que a TI e a gestão terão de enfrentar nos próximos anos.

A questão da qualidade dos dados é um fator chave de sucesso para estabelecer uma infraestrutura de informação ideal. Um estudo de 2002 realizado pelo Data Warehousing Institute (TDWI) estimou os custos da má qualidade dos dados nos EUA em cerca de 622 bilhões de dólares.

Os metadados desempenham um papel essencial na abordagem gradual de uma empresa à gestão padronizada e integrada de dados e informações, o que constitui um pré-requisito básico para uma qualidade adequada dos dados.

Os metadados são utilizados para descrever os dados. Abstraem - se da respectiva aplicação e conferem assim neutralidade aos dados. Consequentemente, os dados podem ser integrados e utilizados em outros contextos.

Um grande número de projetos executados no âmbito de Sistemas de Informação de Apoio à Decisão, ou sistemas de Business Intelligence (BI) ou iniciativas de Big Data, falham devido à falta de qualidade dos dados. Os efeitos dos defeitos de qualidade de dados variam de esforços subsequentes para limpeza de dados e aceitação reduzida do sistema de BI até decisões abaixo do ideal e suporte insuficiente para processos operacionais de negócios.

A empresa de pesquisa de mercado Gartner declarou em 2006 que: a baixa qualidade dos dados custa a uma organização típica 20% de seu faturamento .... Um estudo de 2011 da empresa de pesquisa de Würzburg, BARC, descobriu que a má qualidade dos dados tem um impacto negativo de diferentes maneiras. Isso deixa os funcionários insatisfeitos quando precisam gastar muito tempo na limpeza desnecessária dos mesmos. 61% dos entrevistados também relataram custos crescentes devido à baixa qualidade dos dados. 47% observaram uma diminuição na satisfação do cliente.

Em retrospecto, a crise financeira e econômica global de 2007 também pode ser considerada uma crise da qualidade dos dados. Apesar dos requisitos de conformidade abrangentes, muitas empresas do setor de serviços financeiros foram e ainda não conseguem em 2017 agregar e processar seus dados de risco em um tempo razoável, de modo que a controlar adequadamente seus riscos. Além de fatores como entendimento homogêneo dos termos, arquitetura modernizada de processos e sistemas e governança de dados; o gerenciamento adequado e abrangente da qualidade dos dados, assim como o gerenciamento mais integrado possível de metadados, também desempenham um papel decisivo no gerenciamento confiável e eficiente dos dados.

Na era do Big Data, em que os dados são entendidos como o novo petróleo e a quantidade de dados disponíveis em todo o mundo está se multiplicando a cada ano, os requisitos para a transparência e a qualidade dos fluxos de dados aumentarão ainda mais; pois constituirão a base para casos de uso completamente novos (não apenas de apoio à tomada de decisão).

Figura 1: Previsão do volume de dados digitais gerados anualmente em todo o mundo nos anos de 2005 a 2020 (em exabytes), Fonte: estudo Digital Universe.

Os metadados e gerenciamento de metadados são instrumentos importantes para garantir uma qualidade adequada dos dados. Os metadados podem ser divididos em duas categorias de metadados:

Quadro 1: categorias de metadados

A abstração de dados, ou seja, a criação e uso de metadados adequados, pode ser um meio adequado de dominar as crescentes montanhas de dados. No entanto, as empresas e instituições estatais evitam investir em projetos e infraestruturas correspondentes para uma gestão de dados bem sucedida, uma vez que o foco está principalmente na quantidade de dados e aplicações de negócio, em particular no potencial de racionalização e aumento de eficiência dos processos de negócio

Mas qual é a utilidade de montanhas de dados cada vez maiores se a sua qualidade e origem não forem garantidas e os custos de desenvolvimento e de exploração para o armazenamento, integração e avaliação de tais dados não se correlacionarem com a sua quantidade?

Figura 2: interesse mundial no termo de pesquisa Big Data de abril de 2007 a abril de 2017, Fonte: Google Trends

Talvez, após o primeiro hype de Big Data e a subsequente desilusão, a era da qualidade dos dados ou dados confiáveis virá a seguir.

Figura 2: interesse mundial no termo de pesquisa Big Data de abril de 2007 a abril de 2017, Fonte: Google Trends

No momento, no entanto, esta tendência ainda não é reconhecível. Talvez o mundo ainda não tenha percebido que novas tecnologias