Cours:LPTraitDonnee : Différence entre versions

De troyesGEII
Aller à : navigation, rechercher
(LP IoT - Traitement de données)
(Annexe : Indication sur compte-rendu global pour évaluation)
 
(34 révisions intermédiaires par le même utilisateur non affichées)
Ligne 1 : Ligne 1 :
== LP IoT - Traitement de données ==
+
<center>
 +
'''<big>LP IoT - Traitement de données</big>'''
 +
</center>
  
Pour la partie « échange de données », la progression se répartit sur trois étapes :
+
Nous traiterons ici la partie Traitement de données », c'est-à-dire comment acquérir des données distribuées (d'objets iot ou de serveurs), les traiter (détecter, modifier, ...) en temps réel, et redistribuer ces données.
# Apprentissage de MQTT, protocole d’échange d’information omniprésent dans les objets connectés
 
# Apprentissage de NodeRed, solution logicielle graphique open sourcée permettant la création rapide, en quelques clics, de chaînes de traitement
 
# Un mini-projet, que vous réaliserez pendant les séances et que vous remettrez à la fin de la période.
 
  
Fonctionnement général :
+
La progression se répartit sur les étapes suivantes :
 
# Mise à disposition de documents, sites et documentations à consulter avec objectifs de réalisation
 
# Séances d’échanges sur Discord pour résoudre les points problématiques, les questions, …
 
# Remise d’un mini dossier/rapport sur le sujet traité, reprenant les objectifs de réalisation.
 
  
= MQTT =
+
* Apprentissage de MQTT, protocole d’échange d’information omniprésent dans les objets connectés
 +
* Apprentissage de NodeRed, solution logicielle graphique open sourcée permettant la création rapide, en quelques clics, de chaînes de traitement
 +
* Traitements avec NodeRed :
 +
** Réception de données (météo OpenWeather, consommation électrique IUT, capteur)
 +
** Traitements élémentaires temps réel : formattage, affichage, détection d’anomalies simples (en valeur, en bruit, en déviation), correction anomalies simples (filtrage), …
 +
** Émission/Stockage de données et d’alertes
  
* Lecture (en autonomie)
+
Nous fonctionnerons en mode "projet", que vous réaliserez pendant les séances et que vous remettrez à la fin de la période aux échéances indiquées. Vous aurez deux "projet" à remettre, qui donneront deux notes dont la moyenne produira votre évaluation finale.
** Comprendre MQTT : https://www.lemagit.fr/conseil/Internet-des-Objets-bien-comprendre-MQTT
 
  
* Installation des outils (plusieurs windows 10 + 1 W7+ 1 linux)
+
== Progression ==
** Informations sur https://mosquitto.org pour tous les os
 
  
== Travail à faire ==
+
1. [[Cours:LPTraitDonnee1|Découverte de MQTT et de NodeRed]]
 +
* [[Cours:LPTraitDonnee1proj|Projet 1 : suivi de données météo]]
 +
2. [[Cours:LPTraitDonnee2|Traitement de données temps réel avec NodeRed]]
 +
* [[Cours:LPTraitDonnee2proj|Projet 2 : Détection d'anomalies en temps réel]]
  
Note pour les utilisateurs de Windows : il sera probablement plus commode d’utiliser PowerShell (intégré à Windows) en guise de terminal plutôt que la rustique invite de commande.
+
<!--
 +
* [[Cours:LPTraitDonnee3|Partie 3 : utilisation de NodeRed sur carte NanoPi Neo2]]
 +
* [[Cours:LPTraitDonneeProjet|Description du projet (au fil des séances)]]
 +
-->
  
* Installer un client MQTT
+
== Annexe : résumé des adresses IP à utiliser ==
* Lire ce document et faire les exercices : [[Fichier:tutorial_mqtt.pdf]] (source J.Y. Tigli : http://www.tigli.fr)
 
* Utiliser ce broker graphique : http://shiftr.io/geii-troyes/lp-iot : (visualisation des messages entrants et sortants).
 
** Il est nécessaire de fournir un numéro d’utilisateur et un mot de passe.
 
** Exemple <code>mosquitto_pub -u 1aa02488 -P 45ade33185a98624 -h broker.shiftr.io -t NomDuTopic -m ContenuDuMessage</code>
 
  
= NodeRed =
+
* Broker MQTT interne : 10.98.35.245 (les données de consommation électrique de l'IUT sont publiées sur ce broker)
 +
* Carte Nanopi : 10.98.35.XX avec XX = 176+numéro de la carte (donc de 10.98.35.177 à 10.98.34.200)
  
* Lecture de documentations
+
== Annexe : Indication sur compte-rendu global pour évaluation ==
** Node.js (moteur de Node-RED) :https://nodejs.org/fr/
 
** Node-RED : https://nodered.org
 
** node-red-dashboard (interface utilisateur) pour node-RED : https://flows.nodered.org/node/node-red-dashboard
 
* Node-RED Cookbook : https://cookbook.nodered.org
 
  
== Travail à faire==
+
* Deadline le 03.04.2023
 
+
* Contenu du document :
* Installer Node.js puis NodeRed
+
** Objectif
* Installer node-red-dashboard
+
** Description de la réalisation
** En ligne de commande : <code>npm install node-red-dashboard</code>
+
** Description du fonctionnement
* Tuto node-RED dashboard : https://projetsdiy.fr/node-red-dashboard-interface-partie1/
+
** Conclusion : que serait-il possible d'améliorer ? De faire différemment ?
* Exercices (tutoriels) sans MQTT :
 
** http://silanus.fr/sin/?p=984
 
** http://www.rgot.org/initiation-a-node-red/
 
 
 
* Exercices (tutoriels) avec MQTT
 
** https://cookbook.nodered.org/#mqtt
 
** https://projetsdiy.fr/routeur-mqtt-node-red-sonoff-tasmota-cloudmqtt/
 
 
 
= Projet à rendre =
 
 
 
* Travail en binôme :
 
** une partie "collecte de donnée" qui doit envoyer des données sur un broker
 
** une partie "affichage" qui doit lire des données du broket et réaliser un affichage graphique
 
* Cahier des charges :
 
** exploiter les données météorologiques de [https://openweathermap.org OpenWeather]
 
*** Depuis Node-Red : <code>node-red-node-openweathermap</code>, https://flows.nodered.org/node/node-red-node-openweathermap (bien lire la doc !)
 
** Les données doivent être enregistrées progressivement dans un fichier texte pour archive
 
* À rendre :
 
** Document décrivant votre projet (quelques pages aux maximum)
 
 
** Le code du projet Node-Red (cf. ''export nodes'' dans Node-Red)
 
** Le code du projet Node-Red (cf. ''export nodes'' dans Node-Red)
** par mail à frederic.nicolier@univ-reims.fr en indiquant clairement le nom des deux étudiants du binôme
+
* par mail à frederic.nicolier(at)univ-reims.fr en indiquant clairement votre Nom-Prénom

Version actuelle datée du 14 mars 2023 à 17:39

LP IoT - Traitement de données

Nous traiterons ici la partie Traitement de données », c'est-à-dire comment acquérir des données distribuées (d'objets iot ou de serveurs), les traiter (détecter, modifier, ...) en temps réel, et redistribuer ces données.

La progression se répartit sur les étapes suivantes :

  • Apprentissage de MQTT, protocole d’échange d’information omniprésent dans les objets connectés
  • Apprentissage de NodeRed, solution logicielle graphique open sourcée permettant la création rapide, en quelques clics, de chaînes de traitement
  • Traitements avec NodeRed :
    • Réception de données (météo OpenWeather, consommation électrique IUT, capteur)
    • Traitements élémentaires temps réel : formattage, affichage, détection d’anomalies simples (en valeur, en bruit, en déviation), correction anomalies simples (filtrage), …
    • Émission/Stockage de données et d’alertes

Nous fonctionnerons en mode "projet", que vous réaliserez pendant les séances et que vous remettrez à la fin de la période aux échéances indiquées. Vous aurez deux "projet" à remettre, qui donneront deux notes dont la moyenne produira votre évaluation finale.

Progression

1. Découverte de MQTT et de NodeRed

2. Traitement de données temps réel avec NodeRed


Annexe : résumé des adresses IP à utiliser

  • Broker MQTT interne : 10.98.35.245 (les données de consommation électrique de l'IUT sont publiées sur ce broker)
  • Carte Nanopi : 10.98.35.XX avec XX = 176+numéro de la carte (donc de 10.98.35.177 à 10.98.34.200)

Annexe : Indication sur compte-rendu global pour évaluation

  • Deadline le 03.04.2023
  • Contenu du document :
    • Objectif
    • Description de la réalisation
    • Description du fonctionnement
    • Conclusion : que serait-il possible d'améliorer ? De faire différemment ?
    • Le code du projet Node-Red (cf. export nodes dans Node-Red)
  • par mail à frederic.nicolier(at)univ-reims.fr en indiquant clairement votre Nom-Prénom