IoT y Big Data (I)

(10 minutos)

¿Por qué un artículo sobre IoT y Big Data? ¿Es solo una forma de unir dos conceptos de moda?

Si has estado leyendo los artículos de este blog o de cualquiera de los otros que hay en Internet, ya tienes un concepto bastante claro de qué es IoT.

Puede que hasta ahora solo hayas visto IoT como una tecnología que permite tener cosas “inteligentes” conectadas e interactuando entre ellas. Este es el IoT en el que las cosas tienen un identificador digital, capaces de gestionar smart-contracts en un blockchain, hacer trabajos colaborativos o descubrir y anunciar servicios en un sistema de fog computing.

Sin embargo este tipo de uso no es el más habitual. Hoy en día es mucho más normal entender IoT como una red de captación de datos, sensores conectados a la red y todo tipo de dispositivos para capturar el estado del entorno y transmitirlo.

La Unión Europea y el Departamento de Ciencia del Gobierno de UK ven el IoT como: “a world in which everyday objects are connected to a network so that data can be shared”.

Y la Unión Internacional de Telecomunicaciones define IoT como: “a global infrastructure for the information society, enabling advanced services by interconnecting things based on existing and evolving interoperable information and communication technologies”.

Y aquí es cuando entra en juego el análisis de todos esos datos masivos y las técnicas para realizarlo.

Es el Big Data de las cosas.

Podemos entender que se trata de Big Data tanto por la cantidad de información que se genera, por la velocidad a la que lo hace o por la variedad de la misma.

Cómo crecen los datos del IoT

Si hacemos un breve ejercicio sobre la cantidad de datos que puede llegar a generar una ciudad, por ejemplo, pronto nos daremos cuenta que se producen varios TB de información al día, haciendo necesario un ancho de banda en el destino de almacenamiento de varios cientos de megabits por segundo.

Por ejemplo, supongamos que queremos recoger de una ciudad información de:

  • Farolas: consumo y estado (encendida o apagada). Hay varias farolas por calle
  • Contadores de vehículos: dos por cada calle.
  • Posición GPS de distintos objetos y personas: servicio público de transporte, localización del servicio de limpieza, fuerzas de seguridad, etc.
  • Estado de otros servicios: llenado de contenedores, botones de alerta para el ciudadano, semáforos, etc

El tamaño de la información que envía cada uno de estos elementos va a depender del esquema de datos que se use.

Por ejemplo, para enviar un dato de temperatura en principio solo necesitaríamos un byte, es decir, un número entre 0 y 255, para tener un rango entre -80 ºC y +80 ºC da de sobra. Realmente es muy poco, ya que estaríamos considerando solo un rango de 255 valores, por lo que no tendríamos decimales, pero para el ejemplo nos vale.

Si hay que recibir la información de 1024 sensores de temperatura se necesitará un almacenamiento de 1 Kbyte. Si además se recibe una lectura de cada sensor en cada segundo el cálculo es bastante directo:

  • 1Kbyte * 3600 seg/hora * 24 horas/dia = 86400 Kbytes al día, unos 84,3 MBytes diarios. Algo ridículo para los dispositivos de hoy en día.
  • Además se usará un ancho de banda en el dispositivo final de 8 kbps (1 Kbyte/seg). También bastante sencillo.

El problema es que un número no puede transmitirse tal cual, debe ir acompañado de cierta información que lo rodea y da cierto contexto. Así, si un sensor de temperatura en la calle debe enviar el dato tiene dos opciones:

  • Dato crudo: 27 (En este caso el destinatario debe estar preparado para entender que se trata de una temperatura, la unidades de medida, que no tiene decimales y que margen de error tiene la medida).
  • Dato con contexto en formato JSON:
    • {“device”:”AJ763-XLJF”, “temperature”:”27”,”units”:”Cent”,»error»:»5″,”timestamp”:”1530748800”}
    • En este caso el destinatario recibe el nombre del dispositivo, las unidades de medida, el dato, el error de la medida y el momento cuando se ha tomado la lectura.

Por lo tanto, aunque el dato resultado de la medición ocupe muy poco es necesario enviarlo usando algún tipo de estándar y proporcionando información adicional. Así, un dato que ocupa un solo byte puede llegar a crecer hasta casi los 100 caracteres, o incluso más dependiendo de la información adicional que necesitemos enviar.

Por lo tanto los cálculos anteriores hay que multiplicarlos por 100:

  • Pasamos a tener unos 8 GBytes al día y un ancho de banda de casi 800 kbps. No es para asustarse, pero el ritmo al que escala es llamativo, sobre todo teniendo en cuenta que solo estamos obteniendo la temperatura de 1024 sensores.

El otro factor que afecta a la cantidad de datos producidos por IoT es la frecuencia de envío de estos: No es lo mismo la cantidad de veces que una farola informa de su estado que el tiempo que un botón de emergencia público debe notificar que ha sido pulsado o que está funcionando correctamente esperando a ser utilizado. En este último caso el dispositivo debe estar enviando continuamente una señal indicando que está activo, puede que una vez por segundo o incluso más rápido.

Con estas consideraciones podrías pasar de un piloto de IoT que se implemente en un barrio con varias decenas de farolas, docenas de calles, algunos botones de pánico y sensores distribuidos a una ciudad completa donde todo estos elementos se multiplican por cientos.

Además de la frecuencia, el tamaño final de los datos también aumenta con la complejidad de los mismos: no es igual de complejo de medir el estado de una farola que el de un vehículo autónomo de reparto, que además de estar pendiente del tráfico, la ruta de reparto, estado del entorno, etc.

Si haces algunos cálculos verás que en seguida pasas a tener varios TeraBytes al día de almacenamiento y varios cientos de Mbps sostenidos en el sistema final. Ten en cuenta que un dato de temperatura necesitará alrededor de 100 bytes, pero un posicionamiento GPS es muy fácil que llegue a necesitar 1 KByte por cada envío.

Las técnicas que hoy en día se aglutinan bajo el paraguas del Big Data vienen precisamente a solucionar este tipo de situaciones.

IoT y Big Data

A pesar de que ya en 1996 se introdujo el término KDD (Knowledge Discovery in Databases) usando técnicas de data mining, no es hasta 2013 cuando se hace una clasificación de los tipos de analíticas, precisamente con la llegada del llamado Big Data:

  • Analítica 1.0: analítica tradicional
  • Analítica 2.0: desarrollo de las técnicas Big Data
  • Analítica 3.0: integración de técnicas Big Data con analítica para obtener de forma ágil nuevos descubrimientos e impactos para el negocio.

Precisamente IoT va a necesitar de todas estas técnicas para convertirse en una herramienta realmente útil.

Los datos de IoT sólo son útiles cuando se analizan.

Esta serie de entradas que te presento a continuación están fundamentadas en este artículo y de algunas de las múltiples referencias que en él se encuentran.


Analytics for the Internet of Things: A Survey


“Siow, E., Tiropanis, T., & Hall, W. (2018). Analytics for the Internet of Things: A Survey. Retrieved from http://arxiv.org/abs/1807.00971

En esta primera entrada podrás leer sobre estos puntos:

  • Áreas de aplicación del IoT, desde el punto de vista de la recolección de datos
  • Aplicaciones IoT con analítica de datos

En el siguiente post te presentaré información sobre los tipos de analíticas y su importancia, sin dejar de lado el enfoque IoT

Y por último, en la tercera entrega de la serie, haremos juntos un repaso sobre las infraestructuras IoT que permiten este flujo de tanta información y su posterior análisis.

¡ Espero que lo disfrutes !

Áreas de aplicación del IoT y servicios avanzados

Cuanto más se desarrolla el IoT más aplicaciones vemos que se le puede dar en distintas áreas, teniendo diferentes impactos en cada una de ellas.

El artículo que te presento clasifica estos dominios de impacto en tres categorías, que a su vez se subdividen en distintas áreas :

  1. Medio ambiente:
    • Monitorización
    • Edificios inteligentes
  2. Sociedad
    • Salud
      • Sanidad
      • Ejercicio físico
      • Seguridad alimenticia
      • Incendios
    • Transporte
      • Transporte inteligente
      • Ciudades inteligentes
    • Nivel de vida
      • Redes sociales
      • Entretenimiento
      • Participación
      • Edificios inteligentes
  3. Economía (Industria)
    • Agricultura
    • Minería
    • Cadenas de suministros
    • Transporte
    • Fábricas inteligentes

En esta clasificación aparece todo bien separado en áreas, pero lo que realmente nos propone el artículo es un gráfico donde cada aplicación del IoT afecta a varias áreas:

Áreas de aplicación del IoT y la relación entre ellas: Sociedad, Economía y Medio Ambiente
Áreas de aplicación del IoT

Aplicaciones IoT con Analítica

Por si aún te estás preguntando qué ventaja tiene la visión del IoT frente a dispositivos aislados piensa en este ejemplo: por qué hacer una inversión en un aparcamiento inteligente y qué ventajas tiene frente a un parking algo más tradicional con sensores en el suelo que encienden una luz con la plaza libre y que muestran un display a la entrada de cada calle con las plazas libres.

La principal ventaja del IoT en este ejemplo es que todos los datos de ocupación y circulación de vehículos pueden ser transmitidos y analizados tanto en tiempo real como a posteriori, ofreciendo una visión más amplia de la utilización del edificio. Además podrá ofrecer un mejor servicio, como la predicción de ocupación por hora o la reserva previa y guiado hasta la plaza asignada.

Vamos al grano, analicemos juntos cada área de aplicación del IoT.

SALUD: vida cotidiana asistida, cuidado de recién nacidos, pronósticos y monitorización

La mejora y el cuidado de la salud, sin duda uno de los campos más prometedores del IoT.

En una población cada vez más envejecida se hace casi imprescindible una ayuda en el domicilio lo más automatizada e inteligente posible, es el llamado Ambient Assisted Living (AAL), o vida cotidiana asistida. Básicamente persigue estos objetivos:

  • Mejorar la independencia y la seguridad de las personas mayores
  • Facilitarle la participación en actividades sociales
  • Aportar información de valor a los profesionales de la medicina, cuidadores, familiares, etc
Objetivos del AAL, ambient assisted living o vida cotidiana asistida
Vida cotidiana asistida o AAL

La empresa española Datahack_ tiene un interesante proyecto en este sentido llamado Dia4ra (mira el video en Youtube), un robot con inteligencia artificial cuyo apoyar al tratamiento de personas mayores con Alzheimer mediante la recopilación exhaustiva de todos los datos durante la conversación e interacción con el paciente.

La prevención y descubrimiento temprano de cualquier tipo de patología en recién nacidos es otra de las aplicaciones que se busca del Big Data y el IoT. El análisis de multitud de datos del bebé en busca de patrones y relaciones entre datos sirve para diagnosticar de forma precoz la posibilidad de cualquier tipo de anomalía, especialmente difícil en bebés que no son capaces de dar ningún tipo de información por sí mismos.

Quizás la monitorización de las constantes vitales y el comportamiento de un individuo sea el aspecto más conocido por el gran público, gracias sobre todo a las pulseras de actividad y relojes inteligentes deportivos. Existen también estudios que usan ropa inteligente para adquirir datos biométricos, incluso estudio del comportamiento mediante el análisis de grabaciones de vídeo. Los tipos de análisis que se apliquen pueden disparar la alerta por un comportamiento anormal o que se clasifique dentro de un tipo de patología.

Los datos de los individuos almacenados y analizados a medio y largo plazo pueden ser útiles para el diagnóstico precoz de numerosas patologías y anomalías, basándose en los estudios previos de individuos similares y de los cuáles se han extraído conclusiones previamente. Además este tipo de analítica a más largo plazo puede llegar a prescribir la modificación de ciertos hábitos poco saludables y cambiarlos por actividades que mejoran la condición física o de algún tipo de enfermedad.

TRANSPORTE: control del tráfico, detección de peatones y aparcamientos inteligentes

Todos conocemos ejemplos de uso del análisis del contenido en video con multitud de aplicaciones como el control del tráfico de una ciudad o carretera. Estos sistemas utilizan la analítica sobre el video para detectar el volumen de tráfico, detectar accidentes y comprobar el cumpliento de las normas de tráfico (cinturón de seguridad, velocidad del vehículo, estado de las placas de matrícula, etc).

Incluso los sistemas de análisis de vídeo pueden llegar a ayudar a predecir el estado del tráfico mediante la grabación de rutas ya usadas anteriormente para la detección de peatones y vehículos en sistemas con pocas capacidades de computación.

Análisis de las imágenes de vídeo en una smartcity
Análisis de vídeo en una SmartCity

Se ha realizado un piloto, en la ciudad de Santander (SmartSantander), usando como conjunto de datos el histórico del tráfico, la temperatura y la hora del día para hacer predicciones del comportamiento humano y la densidad del tráfico. Usando técnicas de tratamiento de datos se puede llegar a predecir el tráfico en zonas donde apenas hay sensores y de las que casi no se reciben datos. La predicción del tráfico es una componente fundamental para la recomendación y optimización de rutas e itinerarios.

El tratamiento de datos de un aparcamiento inteligente permite la localización geográfica de vehículos, la gestión de la reserva de plazas, predicción del tráfico y la disponibilidad del aparcamiento. Con el estudio de los datos espacio temporales del parking y la extracción de patrones, se puede llegar a detectar anomalías provenientes de sensores que no funcionan correctamente y usos indebidos de las instalaciones.

NIVEL DE VIDA: comportamiento cultural, seguridad pública, edificios inteligentes, memoria aumentada y monitorización del estilo de vida.

El comportamiento cultural hace referencia a la monitorización del uso de espacio culturales, museos, etc, clasificando el movimiento de los visitantes y cruzándolo con la semántica propia de la exposiciones.

De nuevo el análisis de grabaciones de video pueden mejorar la seguridad de las instalaciones, mediante la extracción de patrones y perfiles de personas, facilitando el disparo de alarmas o cierre de accesos. Incluso se puede usar para ver el comportamiento de una multitud, dirección del movimiento o reconocimiento de rostros.

La monitorización de la temperatura en edificios inteligentes, una vez se han analizados los datos, puede ayudar a detectar situaciones anómalas derivadas de un mal funcionamiento de los sistemas de clima, ventanas que se dejan abiertas, etc.

La analítica aplicada a grabaciones de vídeo, dispositivos personales, teléfonos móviles y otros electrodomésticos, pueden servir para dar memoria aumentada a las personas gracias a los datos almacenados: la localización de objetos perdidos, la ayuda a interactuar con otras personas o incluso mejorar la movilidad en la ciudad estudiando los comportamientos a gran escala de las personas.

MEDIO AMBIENTE: detección y respuesta ante desastres, predicción del viento y energía inteligente.

Hay una propuesta de un sistema de detección de desastres que analiza conjuntos de datos muy herogéneos de distintas fuentes: número anormal de conexiones móviles en una celda de telecomunicaciones, una bajada o aumento repentino del tráfico en twitter, cambio en los niveles de las aguas o el cambio brusco de objetos en movimiento en una ubicación concreta. Todas estas anomalías, a priori inconexas entre sí, son tratadas con distintas técnicas y mapeadas contra las características de un evento concreto mediante numerosos bucles de retroalimentación, con la idea de encontrar coincidencias. Una vez los datos han sido depurados sirven para reconstruir ciertas situaciones, simular una previsión de daños y preparar respuestas tempranas ante posibles desastres.

También se ha propuesto el estudio en tiempo real del contenido digital (videos, imagenes, blogs, etc) para ayudar a los equipos de emergencia a tener una visión de la situación más clara y así tomar las decisiones correctas a tiempo.

El análisis del uso de la electricidad y los dispositivos conectados se muy útil en la planificación del ahorro eléctrico: aconsejando nuevos momentos de ahorro energético durante el día o mejorando el ahorro en horas fuera de oficina. Estas técnicas, llevadas a los hogares inteligentes, pueden aportar consejos de ahorro basado en el estudio histórico del uso de los electrodomésticos. Es más, usando datos de multitud de hogares podrían descubrirse formas más eficientes del uso de la energía y proponerlo a los usuarios.

Esquema de la arquitectura de un sistema de control de energía inteligente

INDUSTRIA: cadenas de suministros, granjas inteligentes y procesos químicos

Una de las posibles aplicaciones del Big Data e IoT es la mejora de la disponibilidad de productos en las tiendas. Combinando el estudio del comportamiento de los clientes mediante cámaras de  video, los sensores infrarrojos y los RFID y enviando estos datos a sistemas de aprendizaje se pueden dar consejos y planes de acción, cruzándolos con la información de inventario y los puntos de venta. Además, añadiendo al cóctel la predicción meteorológica, los eventos locales cercanos y las promociones se puede tener un pronóstico de la demanda de productos.

El transporte de productos perecederos, que necesitan conservar la cadena de frío en condiciones especiales de temperatura y humedad, también son un caso de estudio para el IoT. Mediante la sensorización de las cabinas de transporte, midiendo las condiciones de cada paquete individual y controlando el sistema de frío, sería posible hacer una selección de ruta más óptima aunque fuera más larga, debido a que va a encontrar menos retenciones.

Existe un curioso ejemplo sobre la virtualización de una cadena de suministro de una empresa de floricultura, desde el corte de la flor hasta la distribución por parte de una 4PL (Fourth Party Logistics). En dicha cadena virtual, fiel reflejo de la realidad, es posible hacer técnicas de business intelligence, minería de datos y analítica predictiva para predecir posibles roturas de stock o desviaciones imprevistas, y pronósticos avanzados sobre las consecuencias de estos cambios cuando los productos llegan al destino.

Te habrás dado cuenta que todos estos ejemplos se basan en el análisis de datos del mundo real para hacer un pronóstico de comportamiento y así modificar los procesos de negocio. La ventaja del modelo IoT es que estos datos pueden conseguirse y analizarse en tiempo real, haciendo que la toma de decisiones y actuación sobre el entorno sea en un corto espacio de tiempo.

Técnicas parecidas se han aplicado en granjas inteligentes, para controlar las épocas de más fertilidad de los animales midiendo sus constantes vitales. También se ha utilizado para ver el mejor momento de cultivo midiendo las condiciones del suelo.

En la industria de procesos químicos se usa la inferencia sobre los datos de sensores para monitorizar la cadena de producción, midiendo con distintos dispositivos y analizando estos datos se predicen las variables que afectan a la calidad del producto. Esto permite optimizar los procesos para prevenir la bajada de calidad de la producción.

Y hasta aquí llegamos con esta primera parte de los tres artículos sobre IoT y Big Data, los otros dos los vas a poder leer en los próximos días.

Espero que lo hayas disfrutado y te aporte gran cantidad de información extra sobre este apasionante mundo.

Un tema complementario a las redes de sensonres son las arquitecturas que permiten que estos funcionen, siendo el fog computing de las más famosas y a las que más auge se le prevee, te invito a que leas el artículo de este mismo blog que habla sobre OpenFog.

Como siempre, te sugiero que escribas tus opiniones, sugerencias y correcciones en los comentarios.

Nos vemos en la próxima !

2 comentarios en «IoT y Big Data (I)»

Deja un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

RSS
Youtube
Youtube