Karl Pearson et la distribution de probabilité : le fait que les événements observables ne sont que des reflets aléatoires

Charles Darwin a reconnu la diversité biologique comme un élément fondamental de la vie et en a fait la base de sa théorie de la « survie du plus apte ». Cependant, c'est Karl Pearson (1857-1936), citoyen britannique, qui a été le premier à saisir la nature fondamentale des modèles statistiques et à comprendre en quoi ils différaient de la conception déterministe de la science au XIXe siècle. Dans les années 1870, alors qu'il était jeune, il a quitté l'Angleterre pour poursuivre ses études supérieures en sciences politiques en Allemagne. Là-bas, il a été influencé par les travaux de Karl Marx et, pour montrer son admiration, il a changé l'orthographe de son prénom en Karl. Il est retourné à Londres avec un doctorat en sciences politiques et a écrit deux ouvrages respectés dans ce domaine. En plein cœur de l'Angleterre victorienne, il a eu l'audace d'organiser un club de débat pour les jeunes, où hommes et femmes se réunissaient (sans surveillance) et où l'égalité des sexes s'inspirait des salons de la haute société allemande et française. Là, de jeunes hommes et femmes débattaient des grands problèmes politiques et philosophiques mondiaux. J'ai également observé cette égalité entre les sexes lors de mon récent voyage en Scandinavie. Le fait que Pearson ait rencontré sa femme dans ce cadre suggère que les motivations derrière la création de ce club pouvaient être multiples. Cette petite initiative sociale peut servir d'exemple pour comprendre l'esprit original de Karl Pearson et son indifférence absolue envers les traditions établies.

Bien que son doctorat portait sur les sciences politiques, les principaux centres d'intérêt de Pearson étaient la philosophie des sciences et la nature de la modélisation mathématique. Dans les années 1880, il a publié son livre « La Grammaire de la science », qui a connu plusieurs éditions. Avant la Première Guerre mondiale, ce livre était considéré comme l'une des œuvres majeures écrites sur la nature de la science et des mathématiques. Le livre était rempli d'idées brillantes et originales et était perçu comme une étude importante dans le domaine de la philosophie des sciences. Il était écrit dans un style simple et fluide, accessible à tous. Il n'est pas nécessaire de connaître les mathématiques pour lire et comprendre « La Grammaire de la science ». Bien que le livre existe depuis plus d'un siècle, les idées et les concepts qu'il contient restent valables pour la plupart des recherches mathématiques du XXIe siècle et conservent leur exactitude pour comprendre la nature de la science jusqu'à ce jour.

Avec la formule de corrélation que j'ai mentionnée dans mon article de la semaine dernière, Galton s'était approché de très près d'une nouvelle idée révolutionnaire qui allait changer presque toutes les sciences du XXe siècle. Cependant, c'est son élève, Karl Pearson, qui a formulé cette idée de la manière la plus complète pour la première fois. Pour comprendre cette idée révolutionnaire, nous devons mettre de côté tous nos préjugés sur la science. Comme on nous l'enseigne souvent, la science est une question de mesure. 

Nous effectuons des mesures minutieuses pour trouver des formules mathématiques décrivant la nature. Au lycée, on nous apprend que la distance parcourue par un objet en chute libre en fonction du temps se calcule avec une formule contenant un symbole appelé g. Ce g est la constante d'accélération. On nous enseigne que la valeur de g peut être déterminée par des expériences. Mais que se passe-t-il lorsqu'un lycéen réalise une série d'expériences pour déterminer la valeur de g, en faisant rouler de petits poids sur un plan incliné et en mesurant le temps qu'ils mettent à atteindre différents points de la rampe ? Les résultats ne sont généralement pas exacts. Plus l'élève répète l'expérience, plus il est confus, car les valeurs de g obtenues diffèrent d'une expérience à l'autre. L'enseignant explique que si les élèves n'ont pas atteint le résultat correct, c'est à cause de l'inattention, de la négligence ou d'une mauvaise transcription des chiffres. 

Cependant, ce que l'enseignant ne dit pas aux élèves, c'est que toutes les expériences peuvent être imparfaites et que même le scientifique le plus méticuleux obtient rarement le chiffre exact. Dans chaque expérience, de petites erreurs imprévisibles et inobservables se produisent. L'air dans la pièce peut être trop chaud et le poids glissant peut marquer une pause d'une microseconde avant de commencer à glisser. Même la légère brise causée par le passage d'un papillon peut avoir un effet. En réalité, ce que l'on obtient d'une expérience est une distribution de chiffres qui ne sont pas exacts. Cependant, ces chiffres peuvent être utilisés pour obtenir une estimation proche de la valeur réelle. Cette explication est très importante. 

Selon la pensée révolutionnaire de Pearson, nous ne considérons pas les résultats des expériences comme des chiffres mesurés avec précision en soi. Au lieu de cela, nous disons qu'il s'agit d'un échantillon d'une distribution de chiffres ; pour utiliser un terme accepté, ces résultats sont des exemples d'une distribution. Cette distribution de chiffres peut être écrite sous la forme d'une formule mathématique qui indique la probabilité qu'un chiffre observé ait une valeur donnée. « On ne peut pas prédire à l'avance quelle valeur un chiffre prendra dans une expérience donnée. Nous ne pouvons parler que des probabilités des valeurs, pas de leurs certitudes. Les résultats des expériences individuelles sont aléatoires, en ce sens qu'ils sont imprévisibles. Cependant, les modèles statistiques des distributions nous permettent de définir la nature mathématique de ce caractère aléatoire ».

Pearson pensait que les mesures elles-mêmes, plutôt que les erreurs de mesure, possédaient une distribution de probabilité. Quoi que nous mesurions, cela fait en réalité partie d'une distribution de caractère aléatoire, et ces probabilités sont définies par une fonction de distribution, qui est une fonction mathématique. Pearson a découvert une série de fonctions de distribution qu'il a appelées « distributions asymétriques » et dont il a affirmé qu'elles décriraient tout type de dispersion qu'un scientifique pourrait observer dans les données. Chaque distribution de cette famille est définie par quatre chiffres. Les chiffres définissant la fonction de distribution ne sont pas des « chiffres » issus du type de mesure. Ces chiffres sont inobservables mais peuvent être déduits de la manière dont les mesures sont distribuées. Ces chiffres ont ensuite été appelés « paramètres », d'origine grecque, signifiant « presque mesure ». Les quatre paramètres qui définissent complètement une distribution du système de Pearson sont :

1. La moyenne - la valeur centrale autour de laquelle les mesures sont distribuées,

2. L'écart-type - la mesure de la dispersion des mesures autour de la moyenne,

3. La symétrie - la mesure de la concentration des mesures d'un seul côté de la moyenne,

4. L'aplatissement (kurtosis) - la mesure de l'éloignement des mesures rares par rapport à la moyenne.

Un changement subtil s'est produit dans la pensée avec le système de distributions asymétriques de Pearson. Avant Pearson, les « choses » traitées par la science étaient réelles et concrètes. Kepler a cherché à découvrir les lois mathématiques décrivant le mouvement des planètes dans l'espace. Les expériences de William Harvey ont cherché à déterminer comment le sang circule dans les veines et les artères d'un animal. La chimie s'intéressait aux éléments et aux composés formés par ces éléments. Cependant, les « planètes » que Kepler essayait de comprendre étaient en réalité une série de chiffres déterminant les positions dans le ciel des lumières scintillantes que les observateurs voyaient sur Terre. Le chemin exact du sang circulant dans les veines d'un cheval unique était différent de celui que l'on pourrait observer chez un autre cheval ou chez un humain. Personne n'a pu produire un échantillon de fer pur, mais on savait qu'il s'agissait d'un élément.

Pearson a suggéré que ces événements observables n'étaient que des reflets aléatoires. Ce qui était réel, c'était la distribution de probabilité. Les vraies « choses » de la science ne sont pas ce que nous pouvons observer et tenir, mais les fonctions mathématiques qui décrivent le caractère aléatoire de ce que nous pouvons observer. 

Par conséquent, les quatre paramètres d'une distribution sont ce que nous voulons réellement déterminer dans une recherche scientifique. En fait, nous ne pouvons pas vraiment déterminer ces quatre paramètres. Nous ne pouvons que les estimer à partir des données. Pearson n'a pas remarqué cette dernière distinction. Il croyait que si nous collections suffisamment de données, les estimations des paramètres nous donneraient les vraies valeurs des paramètres. Alors que nous ne pouvons que nous en approcher. Nous ne pouvons pas savoir avec certitude. Son jeune rival, Ronald Alymer Fisher, est apparu pour démontrer que bon nombre des méthodes d'estimation de Pearson n'étaient pas optimales. J'en parlerai dans un autre article. À la fin des années 1930, alors que Karl Pearson approchait de la fin de sa longue vie, Jerzy Neyman, un jeune mathématicien polonais, a également montré que le système de distributions asymétriques de Pearson ne couvrait pas l'univers des distributions possibles et que de nombreux problèmes importants ne pouvaient pas être résolus en utilisant le système de Pearson. C'est ainsi que progresse la science. Elle avance toujours en s'appuyant sur les connaissances acquises.