IoT y Big Data (II)

(10 minutos)

Comenzamos la segunda entrega de la serie de artículos de IoT y Big Data, arquitecturas y casos de uso.

IoT y Big Data

En esta ocasión te presento un repaso sobre la actualidad de los métodos de análisis de datos, su clasificación y cómo aplican al IoT

Si prefieres leer sobre los campos de aplicación específicos, mejor vuelve a la primera parte del artículo.

Pero si lo que prefieres es ver qué infraestructuras son necesarias para la implementación del Big Data para IoT, quizás te venga mejor leer la tercera parte de la entrega

Tipos de analítica y su importancia

Si revisas la literatura sobre la analítica de datos verás que la división en tres categorías es bastante común: descriptiva, predictiva y prescriptiva. Sin embargo hay autores que añaden una categoría extra, la diagnóstica. Además, otras lecturas proponen una quinta categoría, la de descubrimiento.

Así que en este artículo vas a encontrar las cinco categorías, organizadas en una pirámide como la que sigue, que además nos muestra su correlación con el paradigma de la jerarquía del conocimiento:

Pirámide del conocimiento

Esta pirámide quizás a primera vista te pueda parecer algo compleja. Si la lees de abajo hacia arriba verás que la parte ancha de abajo son los datos crudos. Es más ancha que la de arriba del todo porque la cantidad de información necesaria para obtener conocimiento es muy grande respecto del número de conocimientos adquiridos. De ahí la forma de pirámide.

La línea pasado-futuro hace referencia a la afectación del proceso en cuestión. La adquisición de datos siempre hace referencia a hechos que ya han ocurrido (obviamente), pero el conocimiento adquirido permitirá tomar decisiones que influirán en las acciones futuras.

Igualmente crece de abajo a arriba en cuanto al contexto y entendimiento del hecho concreto, que va creciendo conforme se agregan los datos y se trabaja sobre los mismos.

De esta manera, si vas repasando cada uno de los niveles verás que todo sigue esta tónica. En este artículo verás que todo lo que indica esa pirámide subyace sobre lo que vas a leer a continuación.

También veremos ejemplos de cómo se aplican cada una de estas analíticas a las áreas donde el IoT se está implantando, las que vimos juntos en el artículo anterior:

Sin embargo destaca el IoT industrial (o IIoT) por ser el área donde se ha trabajado más profusamente en las categorías de predicción y prescripción, extrayendo así el máximo valor de los datos obtenidos.

De forma resumida podríamos repasar la pirámide anterior con estas observaciones:

  • Los datos son el conjunto de números, hechos y observaciones, como los datos “crudos” producidos por el IoT.
  • La información es la interpretación de los datos dentro de un contexto, como una gráfica de las temperaturas medias, o la categorización de los días en nublado o soleado a partir de las mediciones.
  • El conocimiento es la agregación de significado y comprensión sobre la información, como el motivo por el que un día concreto hizo más calor o por qué ha sido un invierno menos lluvioso.
  • Finalmente la sabiduría es el conocimiento acompañado de mayor percepción y capacidad de predicción. Por ejemplo, crear una tendencia de temperaturas a partir de los datos de varios años pasados y distintos acontecimientos ocurridos, y dar ciertos consejos de ahorro energético y uso o producción de la electricidad.

También podemos categorizar el grado de madurez de la analítica según el punto de adopción en que se encuentren dentro de una organización:

  • Aspiracional: el análisis de los datos pasados se utiliza como una justificación de las acciones que se han llevado a cabo, abarcando las categorías de información y conocimiento en el proceso.
  • Experimentada: se usa el conocimiento para realizar la toma de decisiones, influyendo por lo tanto en el futuro de la empresa.
  • Transformadas: son organizaciones que usan la explotación de datos para prescribir cuáles deben ser sus cambios internos, de tal manera que puedan amoldarse a las tendencias que se proyectan en el futuro.

Capacidades de la analítica

La clasificación que leías antes sobre los tipos de analítica hacen referencia a las capacidades de cada una, al tipo de ventaja o conocimiento que nos ofrecen.

  • Analítica descriptiva: responde a la pregunta de qué ha ocurrido. Es la representación más simple de los datos IoT recopilados, en forma de tabla, gráfico o informe, por ejemplo. En esta fase los datos han sufrido un tratamiento previo, como una decodificación, interpretación en el contexto o similar.
  • Analítica diagnóstica: es el proceso de entender por qué ha ocurrido algo. Se profundiza en los datos para averiguar la raíz de la causa y la explicación de los datos IoT. Con estas dos primeras categorías tenemos la información de qué ha ocurrido y por qué. No es poco, verdad?
  • Descubrimiento: Mediante la inferencia, el razonamiento y la detección de hechos no triviales a partir de los datos IoT podemos llegar a descubrir qué ha ocurrido que aún no sabíamos. Es decir, en vez de describir qué ha ocurrido o cómo, nos da un añadido, algún tipo de hecho que está en el conjunto de datos y que se nos había pasado por alto o desconocíamos.
  • Analítica predictiva: Aquí entramos en materia de lo más interesante, intentamos responde a qué podría ocurrir, siempre a partir de los datos que tenemos de hechos ya ocurridos.
  • Analítica prescriptiva: Añade a la categoría anterior la capacidad de aconsejar en la toma de decisiones sobre qué hacer para aprovechar una oportunidad que puede producirse o como evitar una situación que no deseamos que ocurra. Responde a preguntas del tipo qué ocurriría si hacemos … Este tipo de consejos o rutas de decisiones siempre van acompañadas de una medida de la incertidumbre o probabilidad.

Tipos de analítica

Si atendemos a cómo es el método usado por la analítica y a las técnicas que usa, verás que nos sale otra clasificación:

Analítica visual
  • Analítica visual: para trabajar con los conjuntos de datos muy grandes y complejos son muy habituales las herramientas que combinan los métodos numéricos con un entornos interactivos, donde el usuario trabaja con la información buscando comprender, razonar y facilitar la toma de decisiones. Con la analítica visual es relativamente sencillo hacer clasificaciones o encontrar correlación entre datos.
  • Minería de datos: El IoT es un caso de uso donde se producen gran cantidad y diversidad de datos, donde la minería de datos puede encontrar patrones y nuevos descubrimientos. Tenemos los siguientes tipos de hallazgos:
    • Análisis de datos multidimensional, normalmente relacionado con el procesamiento analítico online y usando los llamados cubos OLAP. Se trabaja con los datos de una manera multidimensional con la idea de hacer distintas agrupaciones y agregaciones y presentarlos de forma distinta cada vez.
    • Asociación y correlación: es la técnica de encontrar correlaciones entre dos variables cualesquiera, con un grado de confianza determinado. Cabe notar que el que dos variables correlen no significa que haya una relación causa efecto entre ellas.
    • Clasificación: se usan métodos matemáticos para especificar modelos o funciones que sirvan para dividir los datos en subconjuntos predefinidos.Es decir, dado una serie de clases o etiquetas, intentaremos colocar cada dato concreto en una de ellas.
    • Agrupamiento o clustering: Es una variación de la técnica anterior, solo que en este caso no existen clases predefinidas, sino que los propios algoritmos «descubren» los conjuntos en que se pueden dividir los datos.
    • Descubrimiento de patrones: un proceso interesante para encontrar ciertos subconjuntos repetitivos dentro de los datos, o series de datos que se repiten con ciertas características en común. La detección de anomalías se especializa en encontrar justo patrones que no se esperan en un conjunto de datos determinado.
  • Analítica de texto y contenidos: Es una de las técnicas más de moda, pues se usan datos no estructurados (textos, contenido digital, etc) para extraer información de valor.
  • Análisis de vídeo: Sin duda otro de los campos con casos más llamativos cada día. Es necesario de disponer de hardware y software especializado para el reconocimiento de imágenes en movimiento.
  • Análisis de tendencias: son análisis realizados en series temporales de datos, procurando dar un pronóstico de la variación de los datos en momentos futuros, pudiendo llegar a dar avisos tempranos sobre ciertos valores antes de que se alcancen.
  • Analítica de negocios: está dedicada al análisis de los datos y procesos internos de la empresa, tanto para mejorar la eficiencia interna como apoyar la toma de decisiones.

Aplicaciones de la analítica al IoT

A continuación, te presento una serie de artículos técnicos y científicos sobre el uso de análisis de datos en el Internet de las cosas. Los he organizado en cada una de las áreas que viste en la primera parte de este artículo. En cada una de las áreas verás los casos de usos clasificados según el tipo de analítica predominante, el título del artículo y un enlace al mismo. El resumen que pongo de cada uno es una parte del abstract de los mismos.
Espero que todos ellos te resulten interesantes y de utilidad

Salud

Analítica descriptiva

Data Analytics in Ubiquitous Sensor-Based Health Information Systems


https://ieeexplore.ieee.org/document/6327955

Revisión de las tendencias actuales en los Sistemas ubicuos de Información Sanitaria. Dado el tamaño de la población se abordan los distintos retos de plataforma para garantizar la disponibilidad y escalabilidad, así como el manejo del Big Data.

Análisis de video

Intelligent Video Systems and Analytics: A Survey


https://ieeexplore.ieee.org/document/6491471

Compendio de teorías y aplicaciones de la analítica aplicada al vídeo, incluyendo las arquitecturas, tareas y métodos analíticos. Remarca la importancia de los sistemas inteligentes de vídeo tienen en áreas como el transporte o la vigilancia.

Descubrimiento

The Mining Minds digital health and wellness framework


https://biomedical-engineering-online.biomedcentral.com/articles/10.1186/s12938-016-0179-9

El mundo de la sanidad y cuidado de la salud está sufriendo una gran transformación, poniendo el foco en la prevención y la proactividad, basadas en el estudio del comportamiento del grupo de población. Las tecnologías digitales van a jugar un papel fundamental en esta evolución. A pesar de que cada día hay más dispositivos en el mercado capaces de medir nuestra actividad física e incluso fisiológica, hay una falta importante de propuestas que aglutinen todos esos datos y dispositivos en un solo sistema o aplicación. En este artículo se presenta el sistema Mining Minds, un framework que abarca desde las soluciones de análisis de datos en la nube y llega hasta la integración de los dispositivos físicos biométricos.

Cloud-assisted Industrial Internet of Things (IIoT) – Enabled framework for health monitoring


https://www.sciencedirect.com/science/article/abs/pii/S1389128616300019?via%3Dihub

Este artículo presenta un sistema de recolección de ECG (electrocardiogramas) y otros datos biométricos para subirlos a una plataforma en la nube. Tras algunas técnicas de protección de identidad y control de errores, esta gran cantidad de información se pone a disposición de los profesionales de la salud para su estudio y aprovechamiento.

Transporte

Analítica descriptiva

Heavy Flow-Based Incident Detection Algorithm Using Information From Two Adjacent Detector Stations


https://www.tandfonline.com/doi/full/10.1080/15472450500455229

Cuando el tráfico rodado se vuelve muy denso y lento, los sistemas de detección de incidentes por el análisis de las cámaras de tráfico fallan de manera notable. En este artículo se presentan y comparan dos algoritmos capaces de analizar el tráfico en estas situaciones y notificar los incidentes que detectan. Los algoritmos se llaman INDE (INdividual Detection Evaluation) y CODE (Combined Detection Evaluation).

Descubrimiento

Rapid Precedent-Aware Pedestrian and Car Classification on Constrained IoT Platforms


https://dl.acm.org/citation.cfm?doid=2993452.2993562

En el documento se presenta un sistema pensado para la detección de personas y tráfico en ausencia de los componentes de aceleración de hardware que son tradicionalmente necesarios en este tipo de aplicaciones. Proponen unos algoritmos para realizar la detección en rutas muy transitadas y con dispositivos con capacidades de cómputo muy limitadas, consiguiendo mejorar la tasa de acierto y rapidez de los sistemas anteriores.

Analítica predictiva

Developing Vehicular Data Cloud Services in the IoT Environment


https://ieeexplore.ieee.org/document/6709775

Proponen un doble sistema de recolección y análisis de datos de vehículos: un sistema de aparcamiento inteligente basado en la nube y una arquitectura de explotación de datos de funcionamiento de los vehículos.

Analítica prescriptiva

Predictive trip planning – smart routing in smart cities


http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.429.2841

Predicción individual de rutas en la ciudad, incluyendo la predicción de incidentes y anomalías en la circulación.

Nivel de vida

Analítica descriptiva

An associative engines based approach supporting collaborative analytics in the Internet of cultural things


https://www.sciencedirect.com/science/article/pii/S0167739X16300929?via%3Dihub

Mediante la combinación de técnicas de inteligencia de negocios, Big Data e IoT, aplicado a datos geo espaciales, redes sociales, multimedia, vocabularios y clasificadores, se llega a un sistema de análisis del interés que despiertan los bienes del patrimonio cultural. Esta información es útil para la promoción tanto de exposiciones temporales como para la visita de ubicaciones de especial interés.

A Mobile Visual Analytics Approach for Law Enforcement Situation Awareness


https://ieeexplore.ieee.org/document/6787164

Curioso artículo técnico que propone un equipo móvil para los agentes y fuerzas de seguridad que les provea, mediante una herramienta interactiva, tendencias, patrones y anomalías en incidentes criminales, de tráfico y eventos cívicos. Además informa al usuario de zonas con mayor peligrosidad y mayor potencial de criminalidad.

Analítica diagnóstica

Adapting Semantic Sensor Networks for Smart Building Diagnosis


https://link.springer.com/chapter/10.1007%2F978-3-319-11915-1_20

Mediante el uso de redes de sensores semánticos (SSN) y la web semántica, el artículo propone un sistema de predicción de mantenimiento y detección de anomalías en edificios inteligentes. Estas acciones redundan en el menor consumo energético del edificio y en el mayor bienestar de sus ocupantes.

Analítica de descubrimiento

Living with Internet of Things: The Emergence of Embedded Intelligence


https://ieeexplore.ieee.org/document/6142270

En este artículo se nos habla sobre un nuevo área tecnológico emergente llamado Embedded Intelligence, donde los propios dispositivos electrónicos son “conscientes” de su propio funcionamiento, facilidad de uso, calidad del servicio, etc. Aprovechando esta funcionalidad es posible hacer una analítica de todos los datos recopilados para detectar comportamientos individuales, patrones sociales o la actividad urbana.

Medio ambiente

Analítica descriptiva

Building the Multi-Modal Storytelling of Urban Emergency Events Based on Crowdsensing of Social Media Analytics


https://link.springer.com/article/10.1007%2Fs11036-016-0789-2

En este artículo se propone usar la red social china Weibo como plataforma para recopilar información sobre eventos en las ciudades: emergencias, accidentes, atascos, etc. Mediante el estudio de todo tipo de información multimedia se puede reconstruir la historia de algún evento ocurrido, incluso ayudar a la preparación de la reacción a una situación de emergencia.

Analítica de descubrimiento

Heterogeneous stream processing for disaster detection and alarming


https://ieeexplore.ieee.org/document/7004323

Sistema de reconocimiento en tiempo real de incidentes urbanos mediante la recopilación de datos masivos provenientes de las múltiples estructuras con sensores que existen en las ciudades.

PLEMS: Plug Load Energy Management Solution for Enterprises


https://ieeexplore.ieee.org/document/6531734

PLEMS es un sistema que complementa a los existentes BMS (Building managemente systems) mediante el control de enchufes eléctricos gobernables, usando los datos de funcionamiento del edificio y las políticas de uso establecidas

Analítica predictiva

Applying Big Data analytics for energy efficiency.


https://aaltodoc.aalto.fi/handle/123456789/13899

Con el objetivo de ayudar a la toma de decisiones a las compañías que se interesan en la mejora de la eficiencia energética, este paper presenta un doble uso del Big Data con datos extraídos de las redes eléctricas smart-grids y directamente del consumo de los electrodomésticos de los hogares, presentando una clasificación de edificios eficientes e ineficientes y haciendo una predicción de la demanda de electricidad a futuro.

A Holistic Approach to Energy Efficiency Systems through Consumption


http://156.35.2.127/dspace/bitstream/10651/35765/1/soft_v6_n34_2013_4.pdf

El proyecto Smart Home Energy hace un uso muy provechoso de las tecnologías de Big Data e IoT que permiten al usuario monitorizar, controlar y planificar el uso de la energía doméstica, llevándole a tener importantes ahorros en la factura. Un paso más allá, el sistema analiza los datos masivos de muchos usuarios para realizar recomendaciones personalizadas de uso y ahorro.

Industria

Analítica de descubrimiento

Applying big data and linked data concepts in supply chains management


https://ieeexplore.ieee.org/document/6644169

El artículo presenta un caso aplicado a un 4PL (Fourth-Party logistics) y la integración datos de los distintos sistemas aislados de la cadena de suministro. Analizan las infraestructuras IT necesarias para realizar un procesamiento casi en tiempo real de los datos tanto estructurados como no estructurados.

IoT y la transformación digital de la cadena de suministros

Analítica predictiva

Big Data Analytics in Chemical Engineering


https://www.annualreviews.org/doi/10.1146/annurev-chembioeng-060816-101555

Conforme la industria en general captura mayor cantidad de datos de mayor número de fuentes más complicado es su análisis y más difícil la toma de decisiones en corto espacio de tiempo. En este artículo se analiza la aplicación de las técnicas de Big Data y análisis de datos en la industria química, farmacéutica, energética y alimentaria, incluyendo los retos culturales, técnicos y de infraestructuras.

Predictive analytics based on CEP for logistic of sensitive goods


https://ieeexplore.ieee.org/document/6850965

Uno de los grandes retos de la industria alimentaria y farmacéutica y la reducción de los productos perdidos durante el transporte y suministro por su mala manipulación o conservación. Usando técnicas de CEP (Complex event processing o procesamiento de eventos complejos) el artículo propone una infraestructura basada en IoT para el análisis de los datos extraídos durante el transporte de las mercancías. Incluye una propuesta de emulador donde poder simular situaciones reales.

Analítica prescriptiva

Agri-IoT: A semantic framework for Internet of Things-enabled smart farming applications


https://ieeexplore.ieee.org/document/7845467

El desarrollo del IoT actualmente está creciendo dando soluciones muy específicas a campos concretos de la industria, como las smart cities o la sanidad. Pero cuando se habla de la agricultura salta a la vista que abarca distintos tipos de tecnologías y procesos: la climatología, regulaciones específicas, cadena de suministros, etc. Este artículo propone Agri-IoT, un framework semántico basado en IoT y aplicaciones específicas de agricultura inteligente, que soporta la unificación de fuentes de datos heterogéneos y de diversa índole.

An IoT/IoE enabled architecture framework for precision on shelf availability: Enhancing proactive shopper experience


https://ieeexplore.ieee.org/document/7004418

En un mundo comercial centrado en el cliente, mejorar la experiencia de este durante el proceso de compra se vuelve un asunto de gran importancia, y la disponibilidad de la mercancía (OSA, on shelf availability) es una manera muy extendida de medirla. Tomando los datos de multitud de sensores se propone un sistema automático para detectar la falta de un producto en la tienda, con capacidad para realizar los pedidos a los almacenes pertinentes. Además, el sistemas aportará de forma natura la predicción a futuro de la demanda de estos productos.

Y con este último caso de uso de IoT terminamos esta segunda entrega de IoT y Big Data. Espero que te sirva de guía en el futuro para que vuelvas a visitarlo y leer todas las referencias que te he propuesto.

En la tercera y última entrega sobre IoT y Big Data podrás evaluar las infraestructuras que se proponen hoy en día para dar solución a todo lo que hemos comentado.

Como siempre, te animo a suscribirte al blog para que no se te pasen los nuevos artículos que se publican y que participes con tus comentarios, tanto en el pie de cada artículo, en twitter o por correo electrónico.

¡Hasta pronto !

Por favor, síguenos y comparte:
error

Deja un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.