Arquitetando Soluções De Iot No Azure

De Jideon F Marques

Como você pode entender o complexo cenário da IoT? Com dezenas de componentes que vão desde dispositivos até metadados sobre os dispositivos, é fácil se perder entre as possibilidades. Mas não é impossível se você tiver o guia certo para ajudá-lo a navegar por todas as complexidades. Este livro prático mostra aos desenvolvedores, arquitetos e gerentes de TI como criar soluções de IoT no Azure. O Livro apresenta uma visão abrangente do cenário da IoT. Você aprenderá sobre dispositivos, gerenciamento de dispositivos em escala e as ferramentas que o Azure fornece para a construção de sistemas distribuídos globalmente. Você também explorará maneiras de organizar dados escolhendo as tecnologias apropriadas de fluxo de dados e armazenamento de dados. Os capítulos finais examinam o consumo de dados e as soluções para fornecer dados aos consumidores com o Azure. Obtenha a orientação arquitetônica necessária para criar soluções holísticas com dispositivos, dados e tudo mais. Este livro ajuda você: Atenda às demandas de uma solução IoT com funcionalidades fornecidas pelo Azure Use o Azure para criar sistemas IoT completos, escalonáveis ​​e seguros Entenda como articular arquitetura e soluções de IoT Oriente conversas sobre problemas comuns que os aplicativos IoT resolvem Selecione as tecnologias apropriadas no espaço Azure para construir aplicações IoT

• Idioma: Português
• Editora: Clube de Autores
• Data de lançamento: 13 de jan. de 2024

Pré-visualização do livro

Arquitetando soluções de IoT no Azure

Arquitetando soluções de IoT no Azure

Conquistando a complexidade para dispositivos

escaláveis e gerenciamento de dados

Jideon Marques

Copyright © 2024 Jideon Marques

A obra, incluindo todo o conteúdo, é protegida por direitos autorais. Todos os direitos reservados. É proibida a reimpressão ou reprodução (incluindo extratos) sob qualquer forma (impressão, fotocópia ou outro processo), bem como o armazenamento, processamento, duplicação e distribuição por sistemas eletrônicos de qualquer espécie, no todo ou em extratos, sem autorização expressa. do autor.

Todos os direitos de tradução reservados.

Publicado de forma independente

Este conteúdo é fornecido com o único propósito de fornecer informações relevantes sobre um tópico específico para o qual todos os esforços razoáveis foram feitos para garantir que seja preciso e razoável. No entanto, ao adquirir este conteúdo, você concorda com o fato de que o autor, assim como o editor, não são de forma alguma especialistas nos tópicos aqui contidos, independentemente de quaisquer reivindicações como tal que possam ser feitas nele. Como tal, todas as sugestões ou recomendações feitas aqui são feitas exclusivamente para fins de entretenimento. É recomendável que você sempre consulte um profissional antes de realizar qualquer um dos conselhos ou técnicas discutidos aqui.

A reprodução, transmissão e duplicação de qualquer conteúdo aqui encontrado, incluindo qualquer informação específica ou extensa, será feita como um ato ilegal, independentemente da forma final que a informação assuma. Isso inclui versões copiadas da obra física, digital e de áudio, a menos que o consentimento expresso do Editor seja fornecido com antecedência. Quaisquer direitos adicionais reservados.

Prefácio

Em uma conferência do Gartner na ensolarada San Diego, por volta de 2012, encontrei pela primeira vez o termo Arquitetura IoT. À primeira vista, parecia uma ideia simples: o nexo de dispositivos conectados à Internet. No momento em que a onda móvel estava no auge e a computação em nuvem ganhava força, o desafio de gerenciar com eficiência as cargas de trabalho de IoT emergiu como um tema ressonante entre tecnólogos e fabricantes de dispositivos em todo o mundo. À medida que me aprofundei, esse reino aparentemente simples revelou inúmeras nuances. Acontece que a Internet das Coisas (IoT) não é apenas uma rede de gadgets que ganham vida com o toque de um botão. É uma rede sofisticada de dispositivos interconectados que coleta, transmite e recebe autonomamente grandes quantidades de dados. À medida que me aventurava neste domínio, surgiram questões ainda mais urgentes: como atualizar todos esses dispositivos de maneira transparente? Que medidas garantem a sua resistência à adulteração? E talvez o mais assustador é como alguém pode processar e analisar com eficácia o dilúvio de dados que eles produzem?

Em resposta a estas questões, a Microsoft revelou um vasto ecossistema IoT no Azure, abrangendo uma gama de serviços em nuvem geridos pela Microsoft, componentes de ponta e SDKs de última geração. Cada componente desempenha um papel fundamental no ciclo de vida de uma solução IoT. Navegar neste domínio expansivo requer organização metódica. Descobri que mapear domínios e criar uma taxonomia é uma estratégia inestimável para esclarecer o mundo esmagador da IoT. Cada domínio, embora independente, entrelaça-se com outros, formando uma imagem abrangente que descrevi como o cenário da IoT.

Neste livro, segmento esse tópico complexo em domínios menores. Meu objetivo é fornecer aos leitores uma visão panorâmica e um mergulho profundo em seus diversos aspectos. Meu objetivo vai além da mera disseminação de conhecimento; Eu me esforço para capacitar você, leitor, a navegar no ecossistema Azure IoT com facilidade e projetar soluções IoT adaptadas às suas necessidades e orçamento distintos.

Quem deveria ler esse livro

Se você está procurando um livro que fale sobre soluções holísticas de IoT no Azure, você está no lugar certo. Este livro tem algo para todos em TI, incluindo gerenciamento, arquitetos, engenheiros e administradores.

Para o pessoal da diretoria e gerentes de TI, este livro ajudará a informar suas decisões de negócios ao implementar uma solução de IoT no Azure. Você aprenderá por que algo é feito de uma maneira específica e por que o Azure é uma plataforma versátil para soluções. Definitivamente comece comCapítulo 1para desenvolver seu conhecimento básico sobre o que acontece em uma solução de IoT.

Para aqueles que ocupam cargos de arquiteto, haverá muito para você se deliciar neste livro. Apresentarei os detalhes essenciais de cada domínio para que você possa enriquecer sua compreensão das soluções de IoT no Azure. Quer você seja um arquiteto iniciante ou já experiente, encontrará algo interessante neste livro.

Para engenheiros que podem ser responsáveis pela implementação de muitas dessas soluções, os capítulos específicos do domínio em particular, como aqueles sobre engenharia de dados ou mensagens em nuvem, fornecerão o que você precisa saber para implementar uma solução baseada no Azure.

Finalmente, para administradores e aqueles que gerenciam infraestrutura em nuvem, você estará particularmente interessado nos capítulos dedicados ao monitoramento, segurança e governança.

Em essência, não importa sua função em TI e IoT, há algo aqui para você!

Navegando neste livro

Capítulo 1apresenta o cenário do Azure IoT e fornece uma visão geral de como todos os domínios discutidos neste livro se encaixam em uma solução de IoT.

Capítulo 2marca o início de sua jornada pelo cenário Azure IoT.

Capítulos2através6concentre-se em lidar com dispositivos em escala. Estas discussões fornecem teoria e prática em torno da construção de dispositivos que interagem com as ofertas do Azure IoT e da gestão desses dispositivos ao longo do ciclo de vida de um dispositivo. Embora o livro discuta alguns dispositivos da Microsoft orientados para o Azure, a principal conclusão é como pensar sobre esses dispositivos no contexto do Azure sob os princípios orientadores descritos na arquitetura.

Capítulos7através12mude o foco para o que se faz depois que os dispositivos realizam seu trabalho e enviam dados para a nuvem. Estes capítulos são orientados pela arquitetura e mostram como compreender as arquiteturas de dados e implementá-las na prática usando soluções Azure. Como antes, seria impossível cobrir todas as permutações e existem muitas soluções práticas diferentes para os problemas. Ainda assim, geralmente podem enquadrar-se numa arquitectura de referência típica que orienta a tomada de decisões e a integração desses serviços.

Capítulo 13destaca a necessidade de zelar não apenas pelas informações dos dispositivos IoT, mas também pelo bem-estar geral de todo o sistema IoT. Ele fala sobre como definir metas claras, medi-las com KPIs e usar ferramentas como Azure Monitor e Azure Security Center. Essas ferramentas ajudam a coletar registros, resolver problemas e aumentar a segurança, o queCapítulo 14se aprofunda.

Capítulo 14tem tudo a ver com garantir que os sistemas IoT sejam seguros. Ele dá dicas sobre como proteger software, impedir malware, manter dados seguros e muito, muito mais.

Por último,Capítulo 15oferece mais recursos para aprender sobre tópicos como criação de dispositivos, gerenciamento de dados e trabalho com soluções de ponta, assuntos abordados neste livro.

Ao longo deste livro, você encontrará exemplos práticos que mostrarão como toda a tecnologia funciona em conjunto. Alguns dos exemplos têm muitas partes e baseiam-se em exemplos de capítulos anteriores. Não tenho como dar exemplo para tudo, mas o que escolhi exemplifica os conceitos e padrões. Essa é a parte importante.

No final das contas, qualquer que seja a sua solução de IoT, espero que você use este livro como um recurso para ajudar a informar as decisões que tomar ao longo do caminho. Não há nada simples na IoT, mas investir tempo para ler e considerar a arquitetura antecipadamente pode economizar muito tempo e dinheiro no futuro.

Convenções utilizadas neste livro

As seguintes convenções tipográficas são usadas neste livro:

itálico

Indica novos termos, URLs, endereços de e-mail, nomes de arquivos e extensões de arquivos.

Largura constante

Usado para listagens de programas, bem como dentro de parágrafos para se referir a elementos de programas, como nomes de variáveis ou funções, bancos de dados, tipos de dados, variáveis de ambiente, instruções e palavras-chave.

Largura constante em negrito

Mostra comandos ou outros textos que devem ser digitados literalmente pelo usuário.

Largura constante em itálico

Mostra o texto que deve ser substituído por valores fornecidos pelo usuário ou por valores determinados pelo contexto.

Usando exemplos de código

Material suplementar (exemplos de código, exercícios, etc.) está disponível para download em https://oreil.ly/supp-AIoT.

Se você tiver alguma dúvida técnica ou problema ao usar os exemplos de código, envie um e-mail para [e-mail].

Este livro está aqui para ajudá-lo a realizar seu trabalho. Em geral, se um código de exemplo for oferecido com este livro, você poderá usá-lo em seus programas e documentação. Você não precisa entrar em contato conosco para obter permissão, a menos que esteja reproduzindo uma parte significativa do código. Por exemplo,

Capítulo 1. O cenário da IoT

Ao contemplar a Internet das Coisas (IoT), você pode inicialmente imaginar os inúmeros dispositivos perfeitamente entrelaçados em nosso cenário moderno. A IoT

permeou praticamente todas as partes de nossas vidas, desde a mais simples lâmpada até orquestrações em escala monumental nos contornos das cidades inteligentes.

Esses dispositivos são apropriadamente apelidados de coisas no domínio da IoT.

Para compreender a totalidade desta intrincada tapeçaria, não se deve simplesmente ascender à metafórica vista de 40.000 pés de um avião. Esta perspectiva revela os dispositivos e a elaborada sinfonia das partes, todas orquestradas em colaboração harmoniosa. É o cenário da IoT – uma visão panorâmica que captura a essência coletiva de cada elemento e orquestração que conspira para colocar esses dispositivos IoT em movimento notável. Fornece uma taxonomia para cada parte individual, atribuindo propósito e lugar dentro do grande projeto. Neste livro, apresentarei você pelo cenário de IoT específico do Azure, que oferece uma infinidade de serviços de nuvem gerenciados pela Microsoft, componentes de borda e kits de desenvolvimento de software (SDKs) para você escolher. Então, sem mais delongas, dê uma primeira olhada no Azure IoT Landscape mostrado emFigura 1-1.

Figura 1-1. O cenário IoT para Azure

Este livro explora cada faceta desse cenário, investigando a interação de cada parte dentro da estrutura de uma solução IoT abrangente. Visualize isso como uma viagem –

uma expedição começando do lado esquerdo (com dispositivos) que geralmente se move para a direita. Ao navegar nesta trajetória, você atravessará conjunturas significativas, incluindo computação de ponta, gerenciamento e mensagens de IoT, caminhos de dados, persistência de dados, serviço de dados e a esfera expansiva de consumidores de dados. Porém, para aclimatá-lo a esta viagem, vamos embarcar com uma visão geral de cada ponto da viagem. Este prelúdio estratégico traçará seu rumo, começando pelos dispositivos.

Fora do Azure

A primeira seção do cenário Azure IoT é, curiosamente, as coisas que existem fora do Azure: dispositivos e computação de ponta.

Dispositivos IoT

É difícil definir exatamente um dispositivo IoT porque não é tão simples quanto se imagina. Uma definição clássica para a Internet das Coisas seria uma rede de dispositivos interconectados que podem coletar, transmitir e receber dados sem intervenção humana direta. Claro, algumas coisas são bastante óbvias. Uma lâmpada inteligente ou aparelho conectado é um dispositivo IoT, mas essa linha fica um pouco confusa com coisas como televisões ou reprodutores de mídia. Muito pelo contrário pode ser verdade com alguns dispositivos. Eles podem ser construídos especificamente para funcionar com humanos, como uma escavadeira ou escovas de dente inteligentes. Observe o que eu disse: eles são feitos sob medida, como remover sujeira ou limpar os dentes. O dispositivo tem uma finalidade especializada, em vez de uma finalidade geral, como um laptop ou smartphone.

Os dispositivos IoT geralmente, porém, têm algumas características comuns. Com os dispositivos, você quase sempre tem conectividade para fazer com que o dispositivo se comunique com a Internet, sensores para coletar dados, processamento de dados no dispositivo para lidar com os dados coletados e atuadores para responder aos comandos. Combinar essas coisas pode criar um dispositivo complexo ou simples, dependendo do contexto.

Como há uma enorme variedade de dispositivos, desde lâmpadas a câmeras de trânsito, passando por escavadeiras e monitores cardíacos, é impossível abordar todos eles. É até assustador tentar generalizar porque, inevitavelmente, parece haver exceções. EmCapítulo 2, apresentarei as ofertas de hardware da Microsoft centradas no Azure e estudaremos como elas funcionam juntas para diferentes finalidades.

Também mostrarei as diferentes ofertas de software para dispositivos restritos (também conhecidos como dispositivos com recursos limitados ou de borda, dispositivos IoT com limitações em capacidade de computação, memória, energia e recursos de comunicação) e dispositivos irrestritos (dispositivos conectados à nuvem ou de gateway). , com maior poder computacional, memória e capacidades de comunicação em comparação com dispositivos restritos). Esses dispositivos são projetados para executar tarefas específicas com recursos mínimos e geralmente são implantados em ambientes remotos ou desafiadores, onde a manutenção frequente ou a reposição de recursos podem ser difíceis.

EmCapítulo 3, mostrarei como começar a explorar dispositivos IoT sem precisar investir em hardware imediatamente.

Em última análise, os dispositivos se conectam à Internet. Eles podem fazer isso diretamente em alguns casos, mas em outros, podem usar um proxy que auxilia os dispositivos em seu trabalho. Tal proxy faria parte da computação de ponta.

Computação de borda

Edge computing é uma abordagem descentralizada ao processamento de dados onde os cálculos ocorrem mais perto da fonte de dados, reduzindo a latência e melhorando a tomada de decisões em tempo real. Envolve o processamento de dados nos dispositivos ou servidores locais ou próximo a eles, em vez de enviar todos os dados para um servidor em nuvem centralizado.

A edge computing está ampliando a nuvem para um data center, em vez de pensar na nuvem como uma extensão do data center, que é mais um modelo híbrido. É

especialmente valioso para aplicações que exigem respostas rápidas, baixa latência, uso eficiente da largura de banda da rede e cenários de computação conectada off-line e intermitente. A edge computing é adequada para cenários onde o processamento imediato de dados é essencial, como automação industrial, monitoramento remoto e cidades inteligentes. A IoT, portanto, é um tema pertinente no âmbito da edge computing.

No momento em que este livro foi escrito, a computação de borda era um tema quente, com uma enxurrada de atividades no espaço da Microsoft tentando aproximar o Azure da borda. Neste contexto, a Microsoft tem duas grandes iniciativas que abrangem muitos recursos diferentes. Especificamente para a IoT, o Azure oferece o tempo de execução do Azure IoT Edge. É uma plataforma leve de orquestração de contêineres para a construção de dispositivos IoT modulares e dispositivos de borda.

Além disso, o Azure oferece o Azure Arc, uma ferramenta de uso geral para estender o plano de controle do Azure para ambientes fora do Azure. Uma de suas maiores habilidades é a capacidade de gerenciar clusters Kubernetes. Os usuários podem implantar serviços como processamento de fluxo, SQL Server, aprendizado de máquina e mensagens na borda por meio do Arc. Como o Arc aproveita o Kubernetes, o Azure Arc e o Azure IoT Edge usam contêineres Docker, então você não pode ignorar isso! Os contêineres, em qualquer caso, fazem parte dessas soluções.Capítulo 6entra em detalhes sobre as opções de borda para o Azure.

Essas diferentes tecnologias tornam a computação de ponta uma das partes mais interessantes das soluções de IoT. Mesmo que você não planeje usar edge, algumas coisas sobre edge computing podem ser incorporadas em seus dispositivos.

Independentemente de como você conecta seus dispositivos à Internet, eles precisarão de um local online para gerenciá-los. Essa é a próxima parte do cenário da IoT.

Azul

Agora chegamos ao cenário IoT que existe no Azure. Aqui, temos mensagens e gerenciamento de IoT, processamento de dados, persistência de dados e apresentação de dados.

Mensagens e gerenciamento de IoT

As mensagens e o gerenciamento da IoT abrangem um enorme conjunto de tópicos inter-relacionados. Uma solução em nuvem como o Azure IoT Hub combina-os numa oferta de plataforma como serviço (PaaS) que pode aproveitar como construtor de soluções. Veja o que o Azure IoT Hub e os seus serviços relacionados fornecem aos seus dispositivos em termos de mensagens e gestão IoT:

Registro e provisionamento de dispositivos

Os dispositivos devem ser registados no IoT Hub para estabelecer uma comunicação segura. Os Serviços de Provisionamento de Dispositivos do Azure (DPS) fornecem mecanismos para o provisionamento automático de dispositivos, permitindo que os dispositivos ingressem na rede com segurança.

Comunicação segura

Os dispositivos ligam-se ao Azure IoT Hub utilizando protocolos de comunicação seguros, como MQTT, AMQP ou HTTPS. A segurança ponta a ponta na Internet é mantida por meio de autenticação, autorização e criptografia de dispositivos por meio de um desses protocolos de comunicação.

Gêmeos de dispositivos e propriedades desejadas

A geminação é uma forma de rastrear as configurações dos dispositivos na nuvem sem precisar consultar cada dispositivo na nuvem. Um dispositivo gêmeo mantido pelo Azure IoT Hub representa o estado e os metadados do dispositivo. Os dispositivos gêmeos armazenam propriedades desejadas que podem ser definidas pelo aplicativo em nuvem e propriedades relatadas que os dispositivos atualizam.

Mensagens da nuvem para o dispositivo (C2D)

O Azure IoT Hub permite que aplicações em nuvem enviem comandos ou mensagens para indivíduos ou grupos de dispositivos. Ele fornece APIs e recursos de roteamento para essas mensagens. Os dispositivos recebem essas mensagens e podem agir de acordo.

Mensagens do dispositivo para a nuvem (D2C)

Os dispositivos podem enviar dados de telemetria, atualizações de status e outras informações para a nuvem. O Azure IoT Hub fornece muitas formas de mover estes dados para motores de processamento de dados a jusante para análise e monitorização, como bases de dados, Azure Functions, Logic Apps e Stream Analytics.

Gerenciamento e monitoramento de dispositivos

O Azure IoT Hub fornece ferramentas para monitorizar a saúde e o estado dos dispositivos conectados. Os dispositivos podem relatar seu estado e os aplicativos em nuvem podem consultar essas informações para solução de problemas e manutenção.

Gerenciamento de dispositivos de borda

Já discutimos o Azure IoT Edge, mas o Azure IoT Hub suporta a gestão de dispositivos IoT na borda, onde o processamento de dados ocorre mais próximo da fonte de dados.

O Azure IoT Edge amplia essa capacidade para implantar e gerenciar cargas de trabalho conteinerizadas em dispositivos de borda.

Escalabilidade e desempenho

O Azure IoT Hub foi projetado para lidar com um grande número de dispositivos e uma elevada taxa de transferência de mensagens. Com milhares de dispositivos conectados ao mesmo tempo, o potencial dilúvio de dados é assustador. Ele oferece opções em níveis de escalabilidade para acomodar diversos cenários de IoT.

Capítulo 4mergulha em todas as coisas relacionadas ao gerenciamento do ciclo de vida do dispositivo. Esse processo abrange tudo, desde o início de um dispositivo até o dia em que ele é descarregado e não é mais usado. Isso envolve projeto de dispositivos, provisionamento de dispositivos, manutenção de dispositivos e, finalmente, descomissionamento e descarte de dispositivos.

capítulo 5cobre o que acontece durante a sequência principal de um dispositivo, onde ele se comunica com a nuvem por meio de mensagens do dispositivo para a nuvem e de mensagens da nuvem para o dispositivo.

Como você pode ver, não há nada que o IoT Hub faça para gerenciar mensagens e dispositivos em escala. É o sistema nervoso central da sua solução IoT. Ele intermedia o relacionamento entre seus potencialmente milhares de dispositivos e os sistemas downstream que lidam com a telemetria e os dados provenientes desses dispositivos por meio do processamento de dados.

Processamento de dados

O processamento de dados é um componente crucial nas soluções IoT que envolve o gerenciamento, preparação e análise de grandes quantidades de dados gerados por dispositivos IoT. Os processos de dados garantem que os dados sejam coletados, transformados e utilizados de forma eficaz para extrair insights e impulsionar ações significativas.

O processamento de dados envolve a coleta de dados desses dispositivos, a integração de dados de diversas fontes em conjuntos de dados, a garantia de que os dados coletados sejam armazenados adequadamente em bancos de dados ou data lakes, a limpeza e a transformação para garantir sua qualidade e consistência e, por fim, a apresentação dos dados com dados bem projetados. esquemas para que os dados possam ser consultados e analisados.

No entanto, existem várias maneiras de fazer isso. Você pode pensar nisso como processamento em tempo real e processamento em lote. O processamento em tempo real envolve a análise imediata de dados de streaming de dispositivos IoT, permitindo respostas rápidas a anomalias e acionando alertas ou ações. O processamento em lote analisa dados históricos em lotes predefinidos para descobrir tendências, padrões e correlações que oferecem insights sobre eventos passados. Esta abordagem é particularmente valiosa para análises de longo prazo.

Em ambos os casos, os dados são resumidos e consolidados através da agregação, reduzindo o seu volume mas mantendo o seu conteúdo informativo. Técnicas mais avançadas, como aprendizado de máquina e inteligência artificial, são empregadas para realizar análises complexas, identificar padrões ocultos e prever resultados futuros. O resultado do processamento de dados são insights acionáveis que orientam a tomada de decisões, otimizam operações e melhoram a eficiência geral. Eles fazem parte da arquitetura de dados.

A arquitetura de dados fornece uma estrutura geral de como se pensa sobre o processamento de dados. Abrange desde a coleta de dados até resultados perspicazes.

Abrange metodologias, ferramentas e estratégias para lidar com eficiência com grandes volumes de dados de fontes como dispositivos IoT. Analisa as fontes de dados, como os dados são recebidos, como os dados são integrados, como os dados são transformados, como os dados são processados e como os dados são apresentados. Ao projetar a arquitetura de processamento de dados, fatores como processamento em tempo real versus processamento em lote, latência de dados, qualidade de dados, integração com sistemas existentes e escalabilidade precisam ser considerados.

Capítulo 7inicia a última metade do livro, mudando o foco para a criação de soluções de dados escalonáveis no Azure.Capítulo 8estende os conceitos de processamento examinando três arquiteturas diferentes comumente usadas em dados IoT.

Embora eu tenha mencionado apenas duas categorias amplas – processamento em tempo real e em lote – mais algumas nuances podem ser aplicadas a esse contexto com caminhos quentes, quentes e frios. Cada um deles adota uma abordagem diferente para o processamento de dados na arquitetura de dados.

Caminhos quentes

Os dados de caminho ativo referem-se à porção de dados dentro de um sistema que requer processamento imediato ou em tempo real para facilitar a tomada de decisão rápida, respostas rápidas e ações oportunas. (O hot path geralmente é considerado um processamento rápido, mas não deve ser confundido com velocidade porque a velocidade não é a única preocupação.) Os dados do hot path são processados em tempo real ou quase em tempo real, permitindo análises e tomadas de decisão rápidas. . Muitas vezes contém informações críticas que, quando implementadas rapidamente, podem prevenir ou mitigar problemas, otimizar processos ou melhorar a experiência do usuário. Essas ações podem ser respostas automatizadas, notificações do usuário ou ajustes de parâmetros do sistema. No contexto da IoT, os dados de hot path envolvem eventos de telemetria que alimentam sistemas que fornecem respostas aos dados em tempo real e quase em tempo real. Um exemplo canônico de evento de telemetria de caminho quente pode ser um detector de fumaça enviando um sinal para chamar a atenção do corpo de bombeiros.

O Azure fornece ferramentas para gerenciar isso por meio de opções como Stream Analytics, Azure Functions, Event Grids, Event Hubs, Service Buses e outros recursos de processamento em tempo real. Tudo isso funciona bem em conjunto para criar soluções completas para caminhos quentes de IoT. Falarei sobre caminhos quentes

com mais detalhes emCapítulo 9. Ainda assim, existem mais do que caminhos quentes.

Tem algo bem mais legal: caminhos quentes.

Caminhos quentes

Os dados do caminho quente representam uma categoria que ocupa uma posição entre os dados do caminho quente e do caminho frio em relação à sua urgência e frequência de processamento. É caracterizado por exigir um processamento mais rápido do que os dados do caminho frio, mas não tão imediato quanto os dados do caminho quente. Assim como um caminho quente, a velocidade é importante, mas não é o único fator. Os dados de caminho quente fornecem insights e apoiam decisões que podem tolerar um breve atraso no processamento.

Ao contrário dos dados de caminho quente que exigem ação imediata, os dados de caminho quente são processados com latência moderada, caindo em análises quase em tempo real ou ligeiramente atrasadas. Seu objetivo é contribuir com insights que auxiliem no monitoramento contínuo, nos esforços de otimização e nas decisões que exigem atenção oportuna, sem a necessidade de reações instantâneas. Os dados de caminho quente são utilizados em cenários onde a eficiência e a otimização são prioridades. Essas situações se beneficiam de insights que são rápidos o suficiente para impulsionar a ação, mas não exigem uma resposta imediata.

Em relação à arquitetura de processamento de dados, os dados de caminho quente são normalmente processados usando técnicas como processamento de fluxo, que equilibram insights em tempo real e um ligeiro atraso no processamento. Isso garante que os dados sejam transformados em insights acionáveis dentro de um prazo alinhado às necessidades de tomada de decisões operacionais e otimização contínua.

Em essência, os dados do caminho quente desempenham um papel crucial ao permitir que as organizações equilibrem a urgência dos dados do caminho quente e os insights de longo prazo derivados dos dados do caminho frio. Para IoT, um caminho quente ajuda você a obter insights sobre operações contínuas, monitoramento e otimizações dentro de um período que equilibra a análise imediata com um atraso aceitável. Um caminho quente fornece consciência situacional, fornecendo insights sobre mudanças ou tendências no comportamento, desempenho ou condições ambientais do dispositivo IoT. VerCapítulo 10para obter mais detalhes sobre caminhos quentes.

O Azure dá suporte a caminhos quentes por meio de dados de série temporal. O Azure Data Explorer e o Azure Stream Analytics são os principais serviços que conseguem isso. O Data Explorer é mais um serviço de banco de dados, mas possui capacidade computacional e serviços integrados para torná-lo útil para caminhos quentes. O

Stream Analytics também pode analisar dados históricos em janelas de tempo. Mas para grandes intervalos de tempo ou quando os dados não precisam de processamento imediato, você pode considerar o próximo tipo: caminhos frios.

Caminhos frios

Dados de caminho frio são uma categoria em processamento e análise de dados caracterizada por seu foco no armazenamento de longo prazo e na análise histórica.

Não é exatamente sinônimo de processamento em lote, mas geralmente é implementado como tal. Ao contrário dos dados no caminho quente ou quente, os dados do caminho frio são armazenados e processados com uma frequência de acesso mais baixa. Ele atende a propósitos como relatórios históricos, análise de tendências e obtenção de insights profundos que não exigem respostas rápidas. O processamento de dados de caminho frio não exige urgência imediata e está sujeito a intervalos mais longos, normalmente variando de horas a dias. A sua principal utilidade reside na análise retrospectiva, identificando tendências, padrões históricos e anomalias que ocorreram durante um período substancial. Também é útil como um padrão de integração para cargas de trabalho mais tradicionais que aproveitam estilos de integrações mais convencionais de extração, transformação e carregamento (ETL).

As organizações tendem a armazenar dados cold path usando soluções de armazenamento econômicas, já que o acesso frequente e rápido não é um requisito central. É utilizado quando a conformidade regulatória é essencial, pois as indústrias precisam reter dados históricos para fins de auditoria. Para as empresas, os dados do caminho frio contribuem para gerar relatórios históricos, acompanhar o desempenho ao longo do tempo e tomar decisões informadas com base em um contexto histórico abrangente.

Para a IoT, a contribuição dos dados do caminho frio se estende à análise preditiva, como quando os modelos de aprendizado de máquina são treinados em padrões históricos para previsão. Auxilia na análise de causa raiz, permitindo investigações detalhadas de incidentes ou anomalias anteriores. Além disso, as empresas utilizam dados de trajetória fria para planejar o futuro, compreendendo as consequências de decisões e eventos passados. Eu me concentro em caminhos frios emCapítulo 10.

Nas arquiteturas de processamento de dados, o Azure Data Factory, o Azure Synapse, o Azure Databricks e o HDInsights fornecem os recursos de computação para trabalhar com o armazenamento para fazer com que os caminhos frios funcionem. Os dados do caminho frio são armazenados em armazéns de dados como o Azure Synapse, o Azure Data Lake, sistemas de arquivo especializados ou algo tão simples como o armazenamento de objetos como o Azure Blob Storage. Tudo isso faz parte da persistência.

Persistência de dados

A menos que você lide apenas com dados transitórios, precisará armazená-los em algum lugar. Mesmo sistemas de dados transitórios, como filas de mensagens, persistirão os dados por um tempo.

A persistência de dados no contexto do processamento de dados refere-se aos métodos e mecanismos utilizados para armazenar e manter dados além do seu processamento ou entrada inicial. Ele garante que os dados permaneçam acessíveis, recuperáveis e utilizáveis para diversos fins, como análise, geração de relatórios e processamento futuro. Diferentes tipos de persistência de dados atendem a diversas necessidades em arquiteturas de processamento de dados:

Armazenamento temporário ou volátil

O armazenamento temporário envolve a retenção de dados na memória ou cache para processamento imediato. Esse tipo de persistência tem vida curta e é usado principalmente durante o estágio de processamento imediato. Assim que o processamento for concluído, os dados no armazenamento temporário serão descartados. É adequado para armazenar dados que precisam ser acessados com frequência e rapidez durante o processamento, mas não se destina à retenção de longo prazo. Você encontrará esse armazenamento para coisas como Azure Service Bus, Event Grids e tecnologias de processamento de fluxo como Azure Stream Analytics. O armazenamento de fluxo é usado para gerenciar fluxos de dados em tempo real gerados por dispositivos IoT, sensores ou outras fontes. Este tipo de persistência permite o armazenamento e processamento imediato de dados de streaming, permitindo análises e tomadas de decisão em tempo real.

Armazenamento bruto ou data lakes

Data lakes são repositórios que armazenam dados brutos e não processados em seu formato original. Essa forma de persistência é ideal para armazenar diversos tipos de dados, como dados estruturados, semiestruturados e não estruturados, sem estruturação ou transformação imediata. Os data lakes facilitam o processamento e a análise futuros, permitindo que as organizações obtenham insights dos dados conforme as necessidades surgem. O processamento em lote e as ferramentas ETL

usam data lakes e armazenamento bruto, como Blob Storage, como parte de seu processamento.

Armazenamento estruturado ou data warehouses

O armazenamento estruturado, comumente encontrado em data warehouses, envolve o armazenamento de dados em um formato estruturado otimizado para consulta e análise. Esse tipo de persistência é particularmente adequado para dados processados e transformados que estão prontos para relatórios, análises e inteligência de negócios.

Os data warehouses fornecem desempenho otimizado para consultar grandes conjuntos de dados e gerar insights. Os bancos de dados são úteis para consultar dados para cargas de trabalho transacionais. Para a IoT, não existe um banco de dados que faça tudo bem, mas o Azure Cosmos DB e o Azure Data Explorer fornecem algum nível de armazenamento transacional, enquanto o Azure Synapse fornece mais armazenamento analítico.

Embora nenhum capítulo seja dedicado à persistência de dados, este livro fala bastante sobre persistência, especialmente no contexto do processamento de dados.

Em uma solução IoT, é provável que você encontre muitos tipos diferentes de armazenamento de dados. Você os usará como parte da movimentação e processamento de dados.

Em arquiteturas de processamento de dados, especialmente IoT, a combinação desses métodos de persistência de dados cria diferentes estágios de processamento e análise.

O armazenamento temporário auxilia no processamento imediato, os data lakes armazenam dados brutos, o armazenamento estruturado permite consultas eficientes

e o armazenamento de arquivo garante a retenção de dados. Todos estes, em algum nível, contudo, apoiam uma apresentação de dados.

Camada de apresentação de dados

Na arquitetura de software e no design de sistemas, uma camada de apresentação, às vezes chamada de camada de serviço, refere-se a um componente ou conjunto de recursos que facilitam a interação entre diferentes partes de um sistema. É um intermediário que lida com diversas tarefas relacionadas à comunicação, processamento de dados e exposição à funcionalidade. O objetivo principal de uma camada de serviço é fornecer uma interface unificada e padronizada para diferentes clientes, permitindo-lhes acessar serviços e recursos de forma consistente. Essa camada ajuda a abstrair a complexidade subjacente dos componentes do sistema e fornece uma interface coesa para usuários e outros sistemas interagirem.

Ao atuar como uma ponte entre os clientes (consumidores) e as funcionalidades principais, a camada de serviço abstrai as complexidades técnicas, permitindo que os usuários interajam sem a necessidade de compreender o funcionamento interno. Gere a troca de dados entre estas entidades, garantindo uma comunicação tranquila através de diversos protocolos e transformações. Na verdade, é um padrão de fachada sobre um processamento complexo de dados. Uma camada de serviço fornece segurança para dados, APIs para servir dados, push para assinantes de dados, caches de dados para download e muitas outras coisas que os consumidores de dados usam.

Essa camada também aborda questões transversais, como registro em log, monitoramento e tratamento de erros, que são essenciais para manter um ambiente estável e bem monitorado. A camada de serviço pode ser projetada para escalabilidade, permitindo que o sistema lide com o aumento do tráfego e da demanda sem comprometer o desempenho. Seu papel é vital na criação de uma ponte simples, segura e eficiente entre os dados e os consumidores.Capítulo 11mergulha detalhadamente na camada de serviço, onde fala sobre todas as nuances de cada um desses estilos de exposição de dados.

Nenhum serviço no Azure fornece uma camada de apresentação de dados; no entanto, os serviços usados para isso são normalmente voltados para o futuro. Para entregas push, você pode usar alguns protocolos de baixo nível, como FTP. Ainda assim, o estilo push para aplicativos Web e integrações de dados pode ser realizado por meio de webhooks, Azure Web PubSub e integração do Azure SignalR. Outras integrações também podem usar APIs como aquelas expostas por meio do Azure Functions ou de um serviço de API ou com uma ferramenta como o Azure Data API Builder. Todas essas ferramentas e pontos de integração fornecem aos consumidores uma maneira de obter os dados de que precisam para seus propósitos.

Consumidores de dados

No cenário expansivo da IoT, os consumidores de dados abrangem um conjunto diversificado de entidades e sistemas que encontram valor nos dados gerados pelos

dispositivos IoT. Esses consumidores são fundamentais para traduzir dados em insights significativos e informações acionáveis. Várias categorias distintas de consumidores de dados emergem neste ecossistema:

•

Alguns consumidores exigem resultados imediatos a partir de dados em tempo real, agindo rapidamente com base nas informações recebidas para tomar decisões instantâneas e desencadear respostas. Esses sistemas analíticos e de decisão em tempo real são essenciais para manutenção preditiva, detecção de violações de segurança e operações orientadas por eventos. Esses sistemas consomem APIs e integrações de dados push.

•

Painéis operacionais e ferramentas de monitoramento, como o Power BI, apresentam dados e relatórios em tempo real. Essas ferramentas fornecem um instantâneo fácil de compreender das operações em andamento e das métricas de desempenho, apoiando as equipes operacionais no gerenciamento eficaz de recursos e na identificação de anomalias em tempo hábil. Eles facilitam escolhas informadas e formulação de estratégias, fornecendo insights de dados de IoT em tempo real, históricos e agregados.

•

Os consumidores de conjuntos de dados, como análises preditivas e modelos de aprendizado de máquina, aproveitam dados históricos e em tempo real da IoT, deduzindo padrões, tendências e insights que servem como base para previsões futuras. Esses consumidores são vitais para otimizar processos, antecipar requisitos de manutenção e orientar o planejamento estratégico.

•

Aplicativos e APIs externos utilizam dados de IoT para integração em outros sistemas de software, aplicativos ou serviços. Eles variam desde aplicativos de terceiros que melhoram a funcionalidade até mercados de dados que oferecem acesso a conjuntos de dados IoT específicos. É provável que consumam APIs e feeds de dados em tempo real. Aplicativos industriais e de consumo capacitam os usuários com insights sobre seus dados. Esses aplicativos permitem que os usuários façam escolhas informadas e gerenciem remotamente seus dispositivos IoT.

Cada tipo de consumidor de dados possui demandas e finalidades únicas. Uma arquitetura de dados robusta e uma camada de serviços bem elaborada devem estar implementadas para atender com eficácia esse conjunto diversificado. Isto garante que os dados gerados pelos dispositivos IoT sejam acessíveis, relevantes e disponíveis em formatos adaptados às necessidades de cada consumidor, permitindo-lhes extrair o máximo valor do ecossistema IoT.Capítulo 12mergulha neste tópico e dá alguns exemplos práticos de cada um.

Monitoramento, registro e segurança

O cenário IoT abrange diferentes domínios no contexto da IoT, mas o monitoramento, o registro em log e a segurança são preocupações transversais no cenário IoT do

Azure. Eles são como fertilizante, água e luz solar que fazem as plantações crescerem bem.

No contexto das implantações do Microsoft Azure e da IoT na plataforma Azure, o monitoramento, o registro em log e a segurança são três aspectos cruciais a serem considerados. Esses aspectos são fundamentais para garantir a confiabilidade, visibilidade e proteção dos sistemas e dados IoT. Você não apenas monitora seus dispositivos. Você precisa monitorar seus sistemas de software e o próprio Azure.

A monitorização numa solução Azure IoT refere-se à observação e medição contínuas de componentes do sistema, comportamento do dispositivo e fluxos de dados. Envolve o uso de ferramentas e serviços para monitorar o desempenho, a disponibilidade e a integridade dos recursos de IoT. O IoT Hub fornece os dados, mas ferramentas como o Azure Monitor fornecem várias capacidades de monitorização, incluindo visualização de dados de telemetria em tempo real. O Azure fornece o Defender para IoT, o Azure Security Center e o Azure Sentinel para obter informações sobre as atividades do dispositivo, detetar anomalias e garantir que a sua solução IoT funciona conforme esperado. Ao monitorar dispositivos e infraestrutura de IoT, você pode identificar problemas de forma proativa, otimizar o desempenho e fornecer uma experiência de usuário tranquila.

O monitoramento é baseado em registros, que registram sistematicamente eventos, atividades e interações dentro de uma solução IoT. As soluções Azure IoT podem gerar dados substanciais e o registo eficaz é essencial para a resolução de problemas, auditoria e compreensão do comportamento do sistema. O Azure fornece o Azure Log Analytics e o Azure Monitor, que lhe permitem capturar e armazenar registos centralmente. Esses logs podem oferecer informações valiosas sobre o comportamento do dispositivo, interações de aplicativos e eventos do sistema, ajudando a diagnosticar problemas e analisar dados históricos para melhorias.Capítulo 13fala sobre como monitorar sua propriedade do Azure e como as ferramentas disponíveis capturam e registram dados.

A segurança é uma preocupação transversal nas implantações de IoT, e o Azure oferece recursos robustos para proteger sua solução de IoT. O Azure IoT fornece provisionamento seguro de dispositivos,