Cours:LPTraitDonnee : Différence entre versions

De troyesGEII
Aller à : navigation, rechercher
(Annexe : Indication sur compte-rendu global pour évaluation)
 
(17 révisions intermédiaires par le même utilisateur non affichées)
Ligne 1 : Ligne 1 :
== LP IoT - Traitement de données ==
+
<center>
 +
'''<big>LP IoT - Traitement de données</big>'''
 +
</center>
 +
 
 +
Nous traiterons ici la partie Traitement de données », c'est-à-dire comment acquérir des données distribuées (d'objets iot ou de serveurs), les traiter (détecter, modifier, ...) en temps réel, et redistribuer ces données.
  
Nous traiterons ici la partie « échange de données », c'est-à-dire comment connecter un objet connecté.
 
 
La progression se répartit sur les étapes suivantes :
 
La progression se répartit sur les étapes suivantes :
  
# Apprentissage de MQTT, protocole d’échange d’information omniprésent dans les objets connectés
+
* Apprentissage de MQTT, protocole d’échange d’information omniprésent dans les objets connectés
# Apprentissage de NodeRed, solution logicielle graphique open sourcée permettant la création rapide, en quelques clics, de chaînes de traitement
+
* Apprentissage de NodeRed, solution logicielle graphique open sourcée permettant la création rapide, en quelques clics, de chaînes de traitement
# Utilisation de MQTT et NodeRed dans sur Nanopi
+
* Traitements avec NodeRed :
# Un mini-projet, que vous réaliserez pendant les séances et que vous remettrez à la fin de la période :
+
** Réception de données (météo OpenWeather, consommation électrique IUT, capteur)
* une partie MQTT / NodeRed : purement logicielle
+
** Traitements élémentaires temps réel : formattage, affichage, détection d’anomalies simples (en valeur, en bruit, en déviation), correction anomalies simples (filtrage), …
* une partie complémentaire avec NanoPi : acquisition de données locale et envoi sur NodeRed pour gestion
+
** Émission/Stockage de données et d’alertes
 
 
= MQTT =
 
 
 
* Lecture
 
** Comprendre MQTT : https://www.lemagit.fr/conseil/Internet-des-Objets-bien-comprendre-MQTT
 
  
* (Si besoin) Installation des outils (plusieurs windows 10 + 1 W7+ 1 linux)
+
Nous fonctionnerons en mode "projet", que vous réaliserez pendant les séances et que vous remettrez à la fin de la période aux échéances indiquées. Vous aurez deux "projet" à remettre, qui donneront deux notes dont la moyenne produira votre évaluation finale.
** Informations sur https://mosquitto.org pour tous les os
 
  
* Un tuto MQTT : https://hackmd.io/@pmanzoni/BJ9hwSfhG
+
== Progression ==
  
== Travail à faire ==
+
1. [[Cours:LPTraitDonnee1|Découverte de MQTT et de NodeRed]]
 +
* [[Cours:LPTraitDonnee1proj|Projet 1 : suivi de données météo]]
 +
2. [[Cours:LPTraitDonnee2|Traitement de données temps réel avec NodeRed]]
 +
* [[Cours:LPTraitDonnee2proj|Projet 2 : Détection d'anomalies en temps réel]]
  
Note pour les utilisateurs de Windows : il sera probablement plus commode d’utiliser PowerShell (intégré à Windows) en guise de terminal plutôt que la rustique invite de commande.
+
<!--
 +
* [[Cours:LPTraitDonnee3|Partie 3 : utilisation de NodeRed sur carte NanoPi Neo2]]
 +
* [[Cours:LPTraitDonneeProjet|Description du projet (au fil des séances)]]
 +
-->
  
* Lire ce document et faire les exercices : [[Fichier:tutorial_mqtt.pdf]] (source J.Y. Tigli : http://www.tigli.fr)
+
== Annexe : résumé des adresses IP à utiliser ==
  
* Utiliser ce broker graphique : https://lp-iot.cloud.shiftr.io : (visualisation des messages entrants et sortants).
+
* Broker MQTT interne : 10.98.35.245 (les données de consommation électrique de l'IUT sont publiées sur ce broker)
** Il est nécessaire de fournir un numéro d’utilisateur et un mot de passe.
+
* Carte Nanopi : 10.98.35.XX avec XX = 176+numéro de la carte (donc de 10.98.35.177 à 10.98.34.200)
** Exemple <code>mosquitto_pub -u lp-iot -P vHm5YuMEPJcpNfss -h lp-iot.cloud.shiftr.io -t NomDuTopic -m ContenuDuMessage</code>
 
* ou le broker lancé par défaut sur chaque machine : échanger des infos entre deux machines (par binôme).
 
  
= NodeRed =
+
== Annexe : Indication sur compte-rendu global pour évaluation ==
  
* Lecture de documentations
+
* Deadline le 03.04.2023
** Node.js (moteur de Node-RED) :https://nodejs.org/fr/
+
* Contenu du document :
** Node-RED : https://nodered.org
+
** Objectif
** node-red-dashboard (interface utilisateur) pour node-RED : https://flows.nodered.org/node/node-red-dashboard
+
** Description de la réalisation
* Node-RED Cookbook : https://cookbook.nodered.org
+
** Description du fonctionnement
 
+
** Conclusion : que serait-il possible d'améliorer ? De faire différemment ?  
== Installer Node-Red sur Android ==
 
 
 
Suivre les indications données ici : https://nodered.org/docs/getting-started/android
 
* Installer Termux : https://termux.com
 
* Ouvrir Termux et taper
 
<syntaxhighlight>
 
apt update
 
apt upgrade
 
apt install coreutils nano nodejs</syntaxhighlight>
 
* Ensuite
 
<syntaxhighlight>
 
npm i -g --unsafe-perm node-red
 
</syntaxhighlight>
 
Si cette commande ne passe pas (certains Android apparement), taper
 
<syntaxhighlight>
 
pkg install yarn
 
yarn global add npm
 
npm i -g --unsafe-perm node-red
 
</syntaxhighlight>
 
* Lancer ensuite node-red
 
<syntaxhighlight>node-red</syntaxhighlight>
 
* Ouvrir ensuite un navigateur sur <code>http://localhost:1880</code> depuis l'appareil Android. Vous pouvez également accéder à ce node-red depuis un PC par exemple) en remplaçant localhost par l'adresse IP de l'appareil Android. Pour connaitre celle-ci, taper dans Termux :
 
<syntaxhighlight>ifconfig</syntaxhighlight>
 
 
 
== Travail à faire==
 
 
 
* (si besoin) Installer Node.js puis NodeRed
 
* (si besoin) Installer node-red-dashboard
 
** En ligne de commande : <code>npm install node-red-dashboard</code>
 
 
 
* Exercices (tutoriels) sans MQTT :
 
** http://silanus.fr/sin/?p=984
 
** http://www.rgot.org/initiation-a-node-red/
 
 
 
* Exercices (tutoriels) avec MQTT
 
** https://cookbook.nodered.org/#mqtt
 
** https://projetsdiy.fr/routeur-mqtt-node-red-sonoff-tasmota-cloudmqtt/
 
 
 
* Tuto node-RED dashboard : https://projetsdiy.fr/node-red-dashboard-interface-partie1/
 
 
 
= Projet à rendre =
 
 
 
* Travail en binôme :
 
** une partie "collecte de donnée" qui doit envoyer des données sur un broker
 
** une partie "affichage" qui doit lire des données du broket et réaliser un affichage graphique
 
* Cahier des charges :
 
** Exploiter les données météorologiques de [https://openweathermap.org OpenWeather]
 
*** Depuis Node-Red : <code>node-red-node-openweathermap</code>, https://flows.nodered.org/node/node-red-node-openweathermap (bien lire la doc !)
 
** Les données doivent être enregistrées progressivement dans un fichier texte pour archivage
 
** En respectant un contexte « objet connecté», vous pourrez ajouter les fonctionnalités que vous souhaitez. Dans la logique de réaliser un "objet connecté" rapidememnt, vous pourrez évidemment utiliser tout code ou flow trouvé sur le net, à condition de le mentionner.
 
* À rendre (pour évaluation) :
 
** Document décrivant votre projet en quelques pages au maximum :  
 
*** Objectif
 
*** Description de la réalisation
 
*** Description du fonctionnement
 
*** Conclusion : que serait-il possible d'améliorer ? De faire différemment ?  
 
 
** Le code du projet Node-Red (cf. ''export nodes'' dans Node-Red)
 
** Le code du projet Node-Red (cf. ''export nodes'' dans Node-Red)
** par mail à frederic.nicolier(at)univ-reims.fr en indiquant clairement le nom des deux étudiants du binôme
+
* par mail à frederic.nicolier(at)univ-reims.fr en indiquant clairement votre Nom-Prénom
 
 
[[Cours:LPTraitDonnee1|Partie 1 : découverte de MQTT et de NodeRed]]
 
[[Cours:LPTraitDonnee2|Partie 2 : traitement de données temps réel avec NodeRed]]
 

Version actuelle datée du 14 mars 2023 à 17:39

LP IoT - Traitement de données

Nous traiterons ici la partie Traitement de données », c'est-à-dire comment acquérir des données distribuées (d'objets iot ou de serveurs), les traiter (détecter, modifier, ...) en temps réel, et redistribuer ces données.

La progression se répartit sur les étapes suivantes :

  • Apprentissage de MQTT, protocole d’échange d’information omniprésent dans les objets connectés
  • Apprentissage de NodeRed, solution logicielle graphique open sourcée permettant la création rapide, en quelques clics, de chaînes de traitement
  • Traitements avec NodeRed :
    • Réception de données (météo OpenWeather, consommation électrique IUT, capteur)
    • Traitements élémentaires temps réel : formattage, affichage, détection d’anomalies simples (en valeur, en bruit, en déviation), correction anomalies simples (filtrage), …
    • Émission/Stockage de données et d’alertes

Nous fonctionnerons en mode "projet", que vous réaliserez pendant les séances et que vous remettrez à la fin de la période aux échéances indiquées. Vous aurez deux "projet" à remettre, qui donneront deux notes dont la moyenne produira votre évaluation finale.

Progression

1. Découverte de MQTT et de NodeRed

2. Traitement de données temps réel avec NodeRed


Annexe : résumé des adresses IP à utiliser

  • Broker MQTT interne : 10.98.35.245 (les données de consommation électrique de l'IUT sont publiées sur ce broker)
  • Carte Nanopi : 10.98.35.XX avec XX = 176+numéro de la carte (donc de 10.98.35.177 à 10.98.34.200)

Annexe : Indication sur compte-rendu global pour évaluation

  • Deadline le 03.04.2023
  • Contenu du document :
    • Objectif
    • Description de la réalisation
    • Description du fonctionnement
    • Conclusion : que serait-il possible d'améliorer ? De faire différemment ?
    • Le code du projet Node-Red (cf. export nodes dans Node-Red)
  • par mail à frederic.nicolier(at)univ-reims.fr en indiquant clairement votre Nom-Prénom