(Un)fold blocks

Objectifs d'apprentissage de ce TD

À la fin de ce TD, tu seras en mesure :

• de calculer des indices spectraux avec une calculatrice raster à l'aide d'une formule ;
• de classifier de manière supervisée une image de télédétection multi-bande à l'aide de l'OTB et d'estimer sa qualité à l'aide d'une matrice de confusion et d'indices qui en sont dérivés. Plus spécifiquement tu seras en mesure de :
  • produire une carte d’occupation des sols par classification supervisée :
    • comprendre le principe de la classification supervisée ;
    • citer les deux étapes d’une classification ;
    • entrainer un modèle ;
    • appliquer un modèle ;
  • choisir une stratégie d’entrainement et de validation de modèle sans biais en séparant le jeux de référence en un jeu d'entrainement/validation ;
  • évaluer la qualité d'une carte et :
    • produire une matrice de confusion ;
    • produire des indices de qualité de la classification ;
    • savoir lire une matrice de confusion ;
    • citer la définition des indices de qualité ;
    • identifier les confusions principales .

Les données

Tu peux télécharger les données nécessaires à ce TD 👉 ici. 👈 Attention ce lien expire le 18 octobre

Ma première carte

Production de la carte

Allons y let's go, attelons nous sans transition à faire ta première carte. Lis quand même ces quelques conseils de Jean-Michel Télédétection avec de commencer, ils pourront te faire gagner du temps et économiser ta patience.

Mais qu'a-t-on fait au juste ?

Bravo, munis d'un jeu d'échantillons tout prêt et d'une image toute prête, tu sais faire une carte 💪. Comment ? Tu ne sais pas encore mais bientôt.

Validation de la carte

Dans cette partie tu vas produire une estimation de la qualité de ta carte à partir d'une matrice de confusion.

Quelques rappels si tu ne te souviens pas de ces indices :

RAPPEL : qualité d'une carte

Matrice de confusion

Accord Globale

C'est le pourcentage de pixels bien classés, ce qui correspond à la somme de la diagonale de la matrice de confusion:

$$OA = \frac{\sum_i n_{ii}}{n}$$

Au dessus de ce conseil, il y a une formule qui est censée s'afficher comme ça :

si au contraire tu vois quelque chose comme çà :

OA = \frac{\sum_i n_{ii}}{n}\\

Sois sérieux.se et ferme ton navigateur Edge et ouvre cette page web dans Mozilla voire Chrome. Ça devrait mieux s'afficher. Si toujours pas, parles-en à ton prof, il n'a qu'à mieux configurer sa page web !

Rappel (aka précision réalisateur)

C'est le pourcentage des pixels de référence d'une classe $i$ effectivement classés dans la classe $i$ par le modèle. Cela correspond aux pixels bien classées de la classe $i$ divisé (dans la digonale) par la somme des pixels de la ligne correspondante :

$$Recall_i = \frac{n_{ii}}{\sum_j n_{ij}} = 1 - Erreur\ Omission$$

Cette métrique permet de répondre à la question : "Le modèle permet-il de bien détecter la classe $i$ ?" ou "Des pixels de la classe $i$ ont-ils été oubliés par le modèle ?". Un score faible vous indiquera que non (ou oui pour la deuxième question) et que la classe i est probablement sous détectée dans la carte finale (d'où le lien avec l'erreur d'omission).

Précision (aka précision utilisateur)

C'est le pourcentage de pixels classés comme une classe $i$ par le modèle qui correspondent effectivement à cette classe d'après la référence. Cela correspond aux pixels bien classées de la classe $i$ (dans la diagonale) divisé par la somme des pixels de la colonne correspondante :

$$Precision_i = \frac{n_{ii}}{\sum_i n_{ij}} = 1 - Erreur\ Commission$$

Cette métrique permet de répondre à la question : "Les pixels de la classe $i$ dans ma carte finale appartiennent-ils vraiment à la classe $i$?". Un score faible vous indiquera que non et que la classe $i$ est probablement sur détectée dans la carte finale (d'où le lien avec l'erreur de commission).

Lien entre Rappel et Précision

Une classe $i$ peut avoir un très bon rappel et une très mauvaise précision : dans ce cas là, le modèle détecte très bien la classe $i$ (= bon rappel) mais probablement parce qu'il a tendance à classer beaucoup trop de pixels dans cette classe (mauvaise précision et beaucoup d'erreurs de commission).

Inversement, une classe $i$ peut avoir un très mauvais rappel et une très bonne précision : dans ce cas là, le modèle détecte mal la classe $i$ (= mauvais rappel et beaucoup d'erreurs d'omission) mais par contre, on est sûr que les pixels classés $i$ sont bien de la classe $i$ (bonne précision).

Enfin, on peut avoir une mauvaise précision et un mauvais rappel pour une classe $i$: certains pixels $i$ ne sont pas détectés comme tels par le modèle et tous les pixels détectés comme étant de la classe $i$ n'appartiennent pas à cette classe.

Il est donc important de considérer ces deux métriques pour estimer la qualité d'une classe.

F1-score (ou F-measure ou F-score)

Le F score peut s'interpréter comme étant la moyenne harmonique de la précision et du rappel. La meilleure valeur possible est 1 tandis que la moins bonne possible est 0. Cette métrique est un résumé intéressant de la qualité d'une classe car elle prend en compte les erreurs d'omission et de commision, bien qu'il ne soit pas possible d'analyser en détails ces types d'erreurs.

$$F_1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}$$

: Estimation de la qualité d'une carte.

Attention, cliqueur fou, aux paramètres que tu choisis ! Pour rappel, on veut bien une matrice de confusion établie d'après des échantillons de références. Or, quel est le format des échantillons dont tu disposes ?

1. Produis la matrice de confusion et enregistre là à l'aide de l'application ComputeConfusionMatrix. Le format de sortie attendu est le format csv (.csv).

INFO : Si tu ne sais pas ce qu'est un fichier CSV.

C'est un fichier texte. Pour t'en convaincre ouvre le avec n'importe quel éditeur de texte (notepad++, word, gedit etc.).

C'est plus précisément un fichier texte qui contient des données sous forme de "tableau". Les lignes sont représentées par des retours à la ligne tandis que les colonnes sont représentées par un caractère spécifique. La plupart du temps c'est une virgule , (d'où le nom csv : comma separated value), mais ce peut être n'importe quel symbole : des tabulations, des espaces, des antislash \ ou, plus courramment en france, un point-virgule ;.

Comme c'est un tableau, il est possible de l'ouvrir avec un tableur. Il faut alors spécifier au tableur quel est le caractère qui sert de séparateur de colonne.

2. Ouvre la matrice de confusion dans un tableur (Excel/ Tableur libre office) et produis les indices de qualité suivants (à l'aide du rappel au besoin):

• l'accord global ;
• la précision de chaque classe (ou précision utilisateur ou erreur de commision) ;
• le rappel de chaque classe (ou précision réalisateur ou erreur d'omission).

Quelques précisions :

• oui, il faut entrer les formules à la main dans les cellules ;
• quand tu ouvres la matrice, elle n'est pas tout a fait prête à l'emploi : le label des classes est sous forme numérique et est stocké dans une entête (les deux premières lignes du fichier);
• voici un exemple de formattage d'une matrice de confusion :

3. Reporte tes résultats sur cette feuille de calcul collaborative :

https://lite.framacalc.org/tuusbh1ix6-9st1

Ne porte pas attention aux colonnes Train/Valid et Option.

4. Interprète tes résultats et propose une analyse de la qualité de la carte produite. Il y a beaucoup d'information, je te propose de toujours aller du plus général au plus détaillé :

• la qualité globale de la classification est-elle bonne ?
• quelles classes sont mal classées ?
• quelles sont les plus grosses confusions ?

5 Marque dans l'exercice comme terminé dans Moodle.

Tu peux remarquer à ce stade là qu'il est possible, en théorie, d'analyser la qualité d'une image de classification sans même l'ouvrir. C'est par contre une très mauvaise pratique. Il est toujours recommandé de compléter l'analyse statistique de la qualité par une analyse visuelle.

Un peu de théorie

Classification supervisée

Tu viens donc d'effectuer une classification d'images de télédétection de manière supervisée. Il s'agissait d'attribuer un label aux pixels d'une image en fonction de leur comportement radiométrique (bien que ce fut transparent pour toi).

Avec les algorithmes de classification supervisée, les règles de décision permettant d'attribuer un label à une classe sont calculées automatiquement à partir d'échantillons de référence. Pour entraîner un algorithme de classification supervisée, il faut donc disposer d'échantillons d'apprentissage, c'est à dire des pixels dont on connait a priori la nature, des pixels déjà labelisés.

De manière analogue, des échantillons de référence sont également nécessaires pour valider la qualité d'une carte ou du modèle dont elle est issue, on les appelera aussi échantillons de validation.

Tu trouveras ci dessous une figure synthétisant les étapes à réaliser lors d'une classification. La première partie est un schéma théorique tandis que les deux suivantes correspondent à l'implémentation de la première avec l'OTB, selon deux options différentes.

Les échantillons de référence

Réflechissons maitnenant aux échantillons.

Le premier point qui a du t'interpeller plus tôt, c'est le fait que le fichier d'échantillons utilisé pour l'entrainement et pour la validation était le même. Il faut qu'ils soient différents si on ne veut pas que l'estimation de la qualité de la classification soit trop biaisée. Il va donc falloir séparer le jeu initial en deux jeux distincts.

Le deuxième point qui a pu t'interpeller est la position des échantillons. Avais-tu remarqué qu'ils étaient centrés sur les pixels de l'image fabas_decembre_2013.tif ? Les échantillons ont en fait été préparés pour que tu pusses les utiliser directement et faire ta carte. Ce dont avait besoin l'outil TrainVectorClassification était une table contenant un label de classe et des valeurs de primitives associées pour chaque échantillon (voir Figure ci dessous). L'obtention de cette table a nécessité quelques traitements que nous allons aborder maintenant.

Premièrement, les données de références peuvent être contenu dans des fichiers vecteur de polygones plutôt que de points. C'est particulièrement vrai lorsque les références proviennent de données exogènes comme la BD TOPO, le RPG ou encore CLC. Il est donc nécessaire de convertir des échantillons-polygones en échantillons-points (étape 1 dans la figure ci-dessous).

Deuxièmement, il est nécessaire d'extraire pour chaque échantillon-point, les valeurs spectrales à utiliser pour la classification, en fonction de leur position par rapport à l'image à utiliser (étape 2 dans la figure ci-dessous).

Tu as donc maintenant compris qu'avant de pouvoir utiliser des échantillons pour entrainer un modèle de classification, il faut d'abord les préparer et séparer le jeu initial en un jeu d'apprentissage et de validation. Voici ci-dessous l'enchainement des outils à utiliser pour obtenir un fichier d'échantillons prêt pour l'entrainement d'un modèle.

Pour ce TD, les échantillons de référence sont fournis sous forme de polygones ou de points, dépendemment du niveau de nomenclature considéré.

Un premier fichier de polygone sample.shp correspond à deux premiers niveaux de nomenclature :

Un deuxième fichier de point  tree_species.shp correspond à un troisième niveau de nomenclature :

Deuxième carte : validation avec de bons échantillons

Production des jeux d'échantillons

Ré-estimation de la qualité

Maintenant que tu disposes d'échantillons de validation et d'entrainement distincts, tu vas pouvoir estimer avec moins de biais la qualité de ta carte.

Post classification

Filtre majoritaire

Il est possible de réaliser des traitements post-classification sur une image déjà classifiée. Il est par exemple possible d'appliquer des filtres sur une image pour supprimer un effet poivre et sel.

Tu peux appliquer un filtre à l'aide de l'application ClassificationMapRegularization

Regrouper des classes

Une possibilité pour améliorer ta classification est de regrouper des classes qui ont beaucoup de confusion entre elles a posteriori. Dans notre cas, la classe "Sol nu" (classe 3) et "Bâti" ont beaucoup de confusion (classe 2).

Pour observer le résultats sur la carte, tu peux utiliser la calculatrice raster pour changer la valeur d'une classe vers une autre classe (cf TD précédent).

Pour observer le changement sur la matrice de confusion :

• recalculer la matrice de confusion à partir de la nouvelle classification avec les classes regroupées et à partir d'échantillons avec les labels actualisées (c.a.d. avec un label numérique commun pour les classes bati et sol nu).
• soit actualiser directement à la main la matrice de confusion :
  • en additionnant les lignes des classes concernées ;
  • puis en additionnant les colonnes des classes concernées.

Facteurs influençant les résultats

Bilan des étapes précédentes

Finalement, l'ensemble des traitements que tu as faits peut se résumer dans la figure ci-dessous. Dans ce schéma figure l'option A de la classification de l'image et l'option A de la préparation des échantillons, mais les deux options sont aussi valables.

Nous avons déjà évoqué ensemble l'influence la péparation des échantillons, mais d'autres facteurs peuvent inlfuencer le résulats de la classification. L'information contenu dans l'image peut être déterminente (aka sa résolution spatiale, son nombre de bandes et sa date d'acquisition) et la manière dont elle est traitée !

Influence des dates et des primitives

Dans cette partie tu vas cartographier l'occupation du sol selon d'autres niveaux de nomenclature en plus du niveau 1 : le niveau 2 en utilisant le même jeux que précédemment mais pas le même champs de la table attributaire quand il s'agira de renseigner le label numérique des classes; et le niveau 3 en utilisant le jeux d'échantillons tree_species.shp.

Comme tu peux t'en douter, le problème de classification est autrement plus dur que celui abordé pour le niveau de nomenclature 1 : les signatures spectrales de différentes espèces d'arbre sont plus similaires que celles d'occupation du sol aussi variées que de l'eau et du sol nu.

Par ailleurs, tu vas également tester l'influence de la résolution spatiale, spectrale et temporelle sur les résultats de classification pour les différents niveaux de nomenclature. Ainsi, voici les questions auxquelles tu vas essayer de répondre :

1. Diminuer la résolution spatiale de l'image permet-elle d'améliorer les résultats de classification ? L'hypothèse derrière cette question est que la présence de détails plus nombreux permet une meilleure discrimination des objets qu'on cherche à caractériser.
2. Une information spectrale plus riche permet-elle d'améliorer les résultats de classification ? Tu fais l'hypothèse qu'avoir une résolution spectrale plus fine permettra de discriminer différentes essences forestières.
3. Quelle est la meilleure période pour cartographier l'occupation du sol ? Tu fais l'hypothèse que la séparabilité des classes évolue en fonction du temps.
4. a. L'utilisation de plusieurs dates d'acquisitions permet-elle d'augmenter les résultats de classification ? Tu fais l'hypothèse qu'avoir une série temporelle (aka une évolution du comportement spectrale) permettra de discriminer différentes essences forestières par rapport à leur décallage phénologique.
4. c. Utiliser toutes les dates disponibles est-il nécessaire, la sélection de dates clefs ne serait-elle pas pertinente ?

Pour répondre a ces questions, tu disposes des données suivantes :

• d'images Pléaides que tu as utilisées tout au long des séances :
  • Pleaides_octobre_2013.tif
  • Pleaides_décembre_2013.tif
• d'une image pléaides fusionnée :
  • fabas_octobre_pms_cropped.tif. (cf exercice sur le pansharpenning du TD de prétraitements)
• d'images Sentinel-2 :
  • déjà pré-traitées pour neuf dates (cf tableau ci dessous). Chaque image est composée des bandes 2, 3, 4, 5, 6, 7, 8a, 8 et 11 (voir Figure ci dessous pour pour savoir à quel domaine spectral correspond chaque bande). Les images ont été reprojetés en RGF93 (ESPG:2154), découpé sur le site de la forêt de FABAS et toutes les bandes ont été ré-échantillonnées à 10m.
  • sous forme de séries temporelles de NDVI avec différentes sélections de dates (voir le deuxième tableau ci-dessous). Le NDVI a été calculé à partir des bandes 8 et 4.

Dans le tableau ci dessous figure l'ensemble des comparaisons auxquelles j'ai pensé. Comme tu peux le voir, pour une même question, plusieurs comparaisons sont possibles. Peut être y a-t-il même des comparaisons auxquelles je n'aurais pas pensé. Si c'est le cas je t'invite à m'en parler lors de la prochaine séance, en attendant, on fera comme si j'avais raison 😉.

Par ailleurs, je te propose dans ce tableau des comparaisons pour différents niveaux de nomenclature (cf partie sur les échantillons de références), j'ai éliminé les niveaux de nomenclature qui ne me paraissaient pas intéressants, mais encore une fois, signale le moi lors de la séance prochaine si tu voyais des choses intéressantes à comparer qui ne figureraient pas dans ce tableau.

: Comparer différentes sources de données.

Répondre à ces questions va nécessiter la production de nombreuses classifications. Vous allez donc travailler collectivement pour répondre à toutes les questions pour différents niveaux de nomenclature.

L'objectif pour la prochaine fois est de faire une présentation synthétique des résultats permettant de répondre au maximum de questions/comparaisons présentées dans le tableau ci-dessus. Si vous ne pouvez pas tout faire, tant pis. Faites au mieux.

Au-delà des matrices de confusion pour chaque modalité j'attends que vous produisiez des figures de synthèse comme sur les exemples ci dessous :

Plusieurs représentations sont possibles et vous allez devoir faire des choix : est-ce qu'il faut montrer les rappels et précisions de toutes les classes à chaque fois ? À vous de voir ! Choississez les résultats qui vous semblent les plus pertinents.

Quelques remarques cependant :

Organisation

Je vous propose de travailler tous ensemble sur une présentation unique mais vous pouvez par exemple vous répartir par petit groupe pour une traiter une ou plusieurs questions (ou pas, à vous de voir). Mais si c'est trop compliquer de vous organiser à autant, libre à vous de faire des groupes tout à fait séparer et de faire dans ce cas plusieurs présentations.

Si vous ne consituez qu'un seul groupe la présentation peut durer jusque 20 min (pas plus sinon ce n'est plus une synthèse), si deux groupes 10 min max, si quatre groupes 5 min max etc.

Méthode de travail

Pour que vos résultats soit comparables : assurez vous que vous travaillez bien avec les mêmes jeux d'entrainement et de validation ! Sinon comment savoir si les différences que vous observez résultent bien d'une différence de l'image utilisée en entrée et non pas de la séparation aléatoire des échantillons 😎.

Utilisez l'option B de préparations des échantillons pour les nomenclatures de niveau 1 et 2 et A pour la nomenclature de niveau 3.