Linformation dun point de vue mathmatique et informatique
Robert Cabane, inspecteur gnral (IGEN)
 Quest-ce que linformation?
Linformation est un mot courant aujourdhui mais il nen a pas toujours t ainsi (il y a un demi-sicle on ncoutait pas les infos mais les nouvelles).
Lusage actuel, au singulier, remonte aux annes trente-quarante, avec les premires recherches sur la transmission dinformations par voie lectrique ou hertzienne. 
Pour situer notre questionnement, voici un court extrait des actes de la confrence cultures numriques et ducation  linformation (mai 2013  Lyon, [1] ).
Linformation peut tre vue comme un objet que lon analyse, traite, transforme, modlise et transmet, mais aussi que lon interprte ou change, et que lon peut acheter ou vendre.
[et plus loin:]
Apprendre  filtrer linformation est un premier pas, mais il faut aller plus loin dans la comprhension de ce flux et la participation  ce flux: apprendre  crer une information de qualit tout en dveloppant une vue critique sur l'ensemble des mcanismes informationnels envahissant notre quotidien.
Je me limiterai  certains aspects scientifiques du concept dinformation, en lien avec les sciences du numrique qui senseignent au niveau du lyce.
 Un peu dhistoire
En octobre 1948, le mathmaticien Claude Shannon a publi un article fondateur sous le titre A Mathematical Theory of Communication [2], o il esquisse une science de linformation qui nous permet aujourdhui (par exemple) dcouter de la musique ou de regarder des vidos sur un tlphone portable. Claude Shannon a eu lide gniale de dmatrialiser tout contenu de communication en suite de symboles 0 et 1, sans se soucier de la nature de ce contenu.
On savait dj quun message, tlgraphique par exemple, pouvait tre cod, transport, et dcod pour tre restitu  lhumain, mais lapport de Shannon a t de cristalliser des courants de pense, et de les formaliser dans ce texte essentiel.
 Linformation et le monde du binaire
Shannon dfinit la notion dinformation comme une mesure physique observable, sans lien avec la signification en tant que telle dun message qui peut tre un texte mais aussi de la musique, de la parole, une image fixe ou anime.
Linformation est essentiellement une mesure mathmatique de la libert de choix dont on dispose quand on slectionne un message particulier parmi une diversit de messages possibles, valuant loriginalit de la situation cre auprs du rcepteur par larrive de ce message particulier. Larrive du message rduit donc lincertitude auprs du rcepteur. A titre dexemple, recevoir une nouvelle parfaitement prvisible (le soleil se lve demain matin) ne confre que trs peu dinformation.
Shannon connaissait bien la communication tlgraphique base sur le code Morse, form par une succession de signaux courts (les points) ou longs (les traits) spars par des silences. Le code Morse est un code binaire au sens o il nutilise que deux symboles de base, que nous noterions aujourdhui 0 et 1. Cest ce choix simplissime qui a t fait pour coder linformation dans les systmes lectroniques, lunit minimale dinformation tant appele le bit (abrviation de binary digit).
Considrons donc une transmission dinformations base sur du binaire. Chaque bit pouvant prendre deux valeurs, avec deux bits on a 4 messages possibles et de mme avec trois bits on en a 8 cest--dire 2 fois 2 fois 2 ou 2 puissance 3. Plus gnralement, avec n bits ou choix binaires on a 2 puissance n messages possibles. Si les messages ont tous la mme chance dtre produits, le choix dun message particulier se fait avec une probabilit gale  linverse de 2 puissance n, et linformation vhicule par ce message est de n bits. Shannon met ainsi en avant la nature logarithmique1 de la quantit dinformation par rapport  linverse de la probabilit de production de chaque message particulier.
Avec huit choix binaires on a 256 alternatives (2 puissance 8) on obtient un octet, et cela permet de couvrir  peu prs correctement les caractres des langues europennes (mais de loin pas pour toutes les langues). Loctet est lunit de base du calcul des quantits dinformation, do dcoulent le kilo-octet (1024 octets, soit 2 puissance 10 octets), le mga-octet etc.
 Entropie et probabilits dinformation
En pratique, les messages transmis nont pas tous la mme probabilit dtre produits et, au contraire, sont partiellement prdictibles. Plus une situation est hautement organise ou probable (un point  la fin dun texte, par exemple), le hasard ou le choix tant limits, plus linformation quon en tire est faible; inversement, plus on a le choix dans la slection des messages, plus grande est linformation.
Shannon dfinit donc une mesure de la quantit dincertitude dans une production et transmission dinformation. Pour un choix binaire, le 1 tant produit avec une probabilit p et le 0 avec une probabilit q=1-p, Shannon nomme entropie la moyenne pondre de linformation produite par le symbole 0 (soit le logarithme de 1/p) et de celle produite par le symbole 1 (logarithme de 1/q); cette entropie est proche de 0 si p est proche de 0 ou de 1 et vaut 1 (son maximum) si p vaut 1/2. On gnralise sans peine le concept dentropie pour des messages dune taille suprieure, permettant de cerner la quantit dinformation moyenne par message produit.
 Redondance et compression
La plupart des signaux que nous mettons et recevons sont passablement redondants: la langue est redondante car contrainte par des rgles de syntaxe et dorthographe;  titre dexemple, en franais aprs un q il y a presque toujours un u, et avant un  il y a toujours un o. Certains caractres sont aussi plus frquents que d'autres (k et w sont rares en franais alors que e et s sont trs frquents). On a donc intrt  coder les lettres dun texte de manire courte lorsque ce sont des lettres frquentes et plus longues pour les plus rares.
De mme, les sons et images sont le plus souvent redondants, ce qui en fait lattrait ou la singularit: un signal sonore ou visuel sans la moindre redondance ni contrainte serait une succession dinformations totalement indpendantes les unes des autres, cest--dire un bruit sans intrt particulier.
Il est ainsi possible de compresser linformation. Vous le faites couramment sur les fichiers de votre ordinateur, quand vous crez des fichiers zip mais aussi quand vous manipulez de la musique au format mp3.
 Quelques expriences
Vous pouvez aisment (et lgalement) tlcharger un texte classique comme les uvres compltes de Racine. Une fois tlcharge, luvre peut tre range dans un fichier texte brut (Racine.txt) sans le moindre enrichissement typographique; la taille du fichier, mesure en octets, sera ainsi approximativement gale au nombre de signes dans le texte. On compresse alors le fichier-texte avec un bon compresseur (7zip par exemple), obtenant Racine.7z. 
Le rsultat est frappant: ds que le fichier-texte initial a une taille suffisante, le fichier compress a une taille comprise entre 30% et 40% du fichier initial. Cette rduction est la traduction directe de la redondance de la langue.
En revanche, nous sommes loin de loptimum rsultant des recherches de Shannon sur lentropie, suggrant quun texte en anglais vhicule en moyenne 1 bit dinformation par caractre: on devrait donc pouvoir compresser  12,5% de la taille initiale!
Quoi quil en soit, la taille du fichier compress est un bon indicateur de la quantit dinformation contenue dans le fichier initial. On peut sen convaincre par une autre exprience: on cre un nouveau fichier-texte Racine2.txt en concatnant le fichier prcdent avec lui-mme, puis on compresse le rsultat: le fichier ainsi obtenu (Racine2.7z) nest pas du tout deux fois plus gros que Racine.7z! Selon le compresseur utilis, sa taille peut varier mais on peut ainsi descendre  17% de la taille initiale. Cet effet est videmment d  la redondance accrue.
Cest le mme phnomne qui permet de faire tenir autant de morceaux de musique dans un tlphone, la musique non compresse tant  la fois trs redondante mais aussi en partie inaudible!
 Rflexions sur larchivage
Revenons  la premire page de larticle de Shannon. Je lai tire dun fichier contenant le texte de larticle, cest un fichier PDF qui pse 19 kilo-octets. Quand jen extraits un fichier-texte brut, on nest plus qu 3,8 kilo-octet: que sest-il pass?
Cest que le fichier PDF contient, outre le texte lui-mme, les informations relatives aux polices de caractres employes ainsi que le positionnement exact de chaque caractre sur la page. La diffrence entre 19 et 3,8 tient  cela: il y a de linformation en plus!
En compressant le fichier texte, la taille tombe  1,9 kilo-octet; cest  peu prs la quantit dinformation textuelle contenue dans cette page.
En sens inverse, nous pouvons imprimer le fichier PDF et scanner ensuite la page; il va en rsulter un fichier dimage qui ne contient plus du tout de texte. Ce fichier est usuellement beaucoup plus gros (300  500 kilo-octets selon les rglages). En un sens, on a beaucoup plus dinformation mais linformation surajoute na aucun intrt: cest  nouveau la forme et le positionnement de chaque caractre, mais aussi du bruit d au fait que limprimante, le scanner et le papier sont des dispositifs physiques et partiellement analogiques (par opposition aux objets digitaux ou numriques). 
En somme, pour la mme information perue par le lecteur humain, on a un facteur 200 entre le fichier le mieux compress et celui qui est le plus mal adapt (le scan). En-dehors de consommer une place de stockage pour pas grand-chose, le passage au scanner fait perdre toutes sortes dinformations additionnelles sur le texte initial. 
Scanner est cependant ncessaire faute de mieux, si on veut sauvegarder des textes anciens dont la conservation nest pas assure; nous avons dans nos bibliothques quantit de telles informations dont la sauvegarde simpose (pages de livres anciens, disques en cire ou en vinyle, photos anciennes, etc.). Le stockage est ainsi incontournable mais ncessairement inflationniste (cf. Gallica, Google Books, etc.). Malheureusement,  lissue de la numrisation (scan) on na plus aucune information traitable de manire automatise; cest pourquoi il est ncessaire de remettre une couche informationnelle aprs la numrisation, ce dont nous allons nous occuper maintenant.
 Les mta-donnes
Le scan systmatique des livres anciens ne saurait donc avoir dutilit sil nest assorti dinformations sur louvrage: titre, date, auteurs, pagination, table des matires voire index et ventuellement le texte originel; ces informations sur linformation sappellent des mtadonnes et sont indispensables pour toute activit de recherche en prcisant le sens et la fonction des informations cibles. 
Les mtadonnes sont utiles non seulement pour chercher des donnes appropries par rapport  une requte (portant sur le titre, lauteur, etc.) mais aussi pour transfrer des donnes cres par une application vers une autre grce  la spcification du format employ pour ces donnes ainsi que de la signification de celles-ci. 
Un petit exemple: 07-02-05
* mtadonne descriptive: il s'agit de la date d'une vente.
* mtadonne technique: lment cod sous la forme #annes  partir de 2000-#mois-#jour
Il n'est pas possible d'interprter correctement cette date (le 5 fvrier 2007 et pas le 2 mai 2007) si on ne dispose pas des mtadonnes techniques.
Voyez ce que publie la BnF  ce sujet ([4]).
Une autre exprience pour finir: examinez dans votre ordinateur quelle fraction des fichiers de traitement de texte, de tableur ou de document pdf possde des mtadonnes. On sattend  trouver au moins la date de cration, le titre et le nom de lauteur. Avez-vous pens  personnaliser votre traitement de texte et  y mettre votre nom?
En pratique:
* Pour les textes, on attend au minimum les auteurs, le titre, le nom de lditeur, un rsum ou accroche, la langue, la date de publication de loriginal.
* Pour les fichiers musicaux, on attend au minimum la liste de tous les auteurs avec nom et prnom, le compositeur, lanne de publication de la musique, lalbum dont est extrait le titre, le numro de piste sur cet album, une illustration (jaquette), la langue des paroles et le genre de musique.
* Pour les images, on attend au minimum les auteurs, le lieu de la prise de vue, la date de la prise de vue, lidentification de lappareil photo numrique, louverture, le temps de pose, la prsence du flash, la taille de limage en pixels, etc.
Dans tous les cas, la licence de diffusion doit tre prcise (sous copyright ou sous licence Creative Commons).
Et un peu de lecture pour finir  [5]