petites (?) revolucions en el pensament estad stic · petites (?) revolucions en el pensament estad...

63
Petites (?) revolucions en el pensament estad´ ıstic Guadalupe G´ omez Melis 18` e Dia de l’Estad´ ıstica a SORT IEC, Barcelona, 5 d’Octubre de 2018

Upload: others

Post on 07-Jun-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Petites (?) revolucions en elpensament estadıstic

Guadalupe Gomez Melis

18e Dia de l’Estadıstica a SORT

IEC, Barcelona, 5 d’Octubre de 2018

Page 2: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

OUTLINE

OUTLINE

1 Dies de l’Estadıstica a Catalunya2 Els 7 pilars de la saviesa estadıstica

PILAR 1. AGREGACIOPILAR 2. MESURA DE LA INFORMACIOPILAR 3. PROBABILITATPILAR 4. COMPARACIONSPILAR 5. REGRESSIOPILAR 6. DISSENYPILAR 7. RESIDUS

3 Dones en Estadıstica

Page 3: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dies de l’Estadıstica a Catalunya

PRIMER DIA DE L’ESTADISTICA: UB, 21 de Juny 2001

Organitza: Departament d’Estadıstica de la Universitat de BarcelonaLloc: Aulari de la Facultat de Biologia

PROGRAMA11:00 Inauguracio

11:30 Recepcio

12:00 Xerrada Dr. M. Greenacre: Biplot of compositional data

13:15 Xerrada Dr. C.M. Cuadras: Les dades de l’enfosament delTitanic

14:00 Dinar de germanor

16:00 Entrega de diplomes

17:00 Petit concert Canco per al dia de l’Estadıstica 2001

Page 4: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dies de l’Estadıstica a Catalunya

NAUTIGRAMA. Autor: Carles Cuadras

Page 5: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dies de l’Estadıstica a Catalunya

Canco per al dia de l’Estadıstica 2001

Diu el Michael Greenacre: It was, as I remember correctly, more of a songwritten about Carles than about Statistics.

Tune: Hello Dolly (en una versio cantada per Louis Armstrong) it wassomething like

My version (Original version)Hola, Carles, (Hello, Dolly,)Soc en Michael, Carles, ( This is Louis, Dolly,)Esta be d’estar tots junts a la UB... ( It’s so nice to have you backwhere you belong...)

MG: That’s about all I can remember!

Page 6: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dies de l’Estadıstica a Catalunya

EREM 38 JOVENETS, US TROBEU?

Page 7: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dies de l’Estadıstica a Catalunya

TOTS ELS DIES DE L’ESTADISTICA1 UB - 21 de Juny 20012 UAB - 4 d’Octubre 20023 UPF - 30 de Juny 20034 UPC - 17 de Juny 20045 UGIRONA - 30 de Juny 20056 IDESCAT - 22 de Juny 20067 ULleida - 15 de Juny 20078 UVIC - 23 de Juny de 20089 URV - 18 de Juny 2009

10 IDESCAT/UB - 20 d’Octubre 201011 UAB -30 de Setembre de 201112 UPC - 5 d’Octubre de 201213 SCE. Al IEC - 4 d’Octubre de 201314 UGIRONA - 3 d’Octubre de 201415 UB - 2 d’Octubre de 201516 CREAL - 7 d’Octubre de 201617 UAB - 6 d’Octubre de 2017

Page 8: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica

Que es l’estadıstica?

A la Royal Statistical Society ja s’ho preguntaven al 1838.Tenim una resposta unica? Parlem d’una unica disciplina o professio?

Que fem els estadıstics?Recollir dadesAnalitzar-lesCol·laborar amb els cientıfics en tots els estatges de la investigacioDesenvolupar noves teories i metodes

Quines formes pren l’estadıstica?Pot acceptar un model cientıfic derivat d’una teoria matematicaPot construir un model i prendre aquest per bo i ferm

Quin rol juguen els estadıstics?:Rol actiu/passiu en la planificacioRol actiu en l’analisiCom a personal de suport

Amb qui treballen els estadıstics?Salut publica, polıtica, economia, psicologia, etc.

No es estrany que ens costi de veure l’estadıstica com una disciplinaunica i unificada

Page 9: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica

Podem trobar moltes respostes a la web de l’ASA

Page 10: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica

Que es l’estadıstica es pregunta Stephen Stigler

VEUREM:

Que diuen aquests 7 principis opilars

Que han aportat

Perque varen ser, i potser encarason, idees revolucionaries?

Page 11: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 1. AGREGACIO

Pilar 1. AGREGACIO

La importanciade la reduccio ocompressio de lesdades

Page 12: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 1. AGREGACIO

Pilar 1. AGREGACIO

Fer servir resums de les dades ⇔ Estadıstics, per exemple, fer servir lamitjana. L’us de la mitjana es remonta a l’antiga Mesopotamia

Perque aquesta idea va ser REVOLUCIONARIA? :Pel fet que podem guanyar informacio llencant informacio.

Al fer una mitjana prenem un pas radical, ens concentrem en un resum

Descartem informacio de les dades

Es perd la individualitat de cada observacio

Es perd l’ordre i circumstancies en que s’han pres les dades

S’esborren els detalls de les observacions individuals per a revelar unaindicacio millor que la que una simple observacio ens pot donar

El resum pot ser mes que la col·leccio de les seves parts.

Page 13: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 1. AGREGACIO

Funes el memorioso (1942). Jorge L. Borges (1899-1986)

Si volem que les tendencies es revelin, les observacions s’han de tractarcombinadament

Ireneo Funes despres d’un accidentpot recordar i reconstruirabsolutament tot, tots els detalls,pero es incapac d’entendre-ho.Li molestava que el gos de les 3:14vist de perfil tingues el mateix nomque el de les 3:15 vist de frontPodriem dir que pensar es oblidar elsdetalls (les individualitats), pensar esser capac de generalitzar, de ferabstraccions

Page 14: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 1. AGREGACIO

The Average Man. Adolphe Quetelet (1796-1874)

The Average man: eina que permet comparar poblacions, per exemplel’alcada mitjana de la poblacio d’Anglaterra es podria comparar a la deFranca.

El concepte d’Average Man el vaconduir a tota mena de critiques: aquesthome seria un monstre, la probabilitatd’existir una persona amb aquestescaracterıstiques es extremadament baixa,· · ·Quetelet seguı insistint que The AverageMan serviria com un especimen tıpicd’un grup i representatiu per analisiscomparatius.

Page 15: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 1. AGREGACIO

The Average Man segons Francis Galton (1822-1911)

Galton dedica part del seu temps aconstruir imatges generiques superim-posant diversos membres d’un grupamb l’objectiu de fer sortint els seustrets caracterıstics

Page 16: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 1. AGREGACIO

12 matematics a la National Academy of Sciences (1884)fotografiats per Raphael Pumpelly

Page 17: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 1. AGREGACIO

Pilar 1 de l’Estadıstica: AGREGACIO.La importancia de la reduccio o compressio de les dades

Fer servir estadıstics resum: mitjanes, mitjanesponderades, estimadors kernel, etc. en comptes del’enumeracio completa de les observacions individuals ambl’objectiu de guanyar informacio resumeix el primer pilarde l’estadıstica.

Page 18: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 2. MESURA DE LA INFORMACIO

Pilar 2. MESURA DE LA INFORMACIO

La importanciadecreixent d’unaugment en laquantitat dedades

Page 19: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 2. MESURA DE LA INFORMACIO

Pilar 2. MESURA DE LA INFORMACIO

Quan tenim prou evidencia per estar convencuts que un tractamentfunciona?

Regla de√n (s XVIII) ⇔ la quantitat d’informacio en un conjunt de

dades es nomes proporcional a√n, no al numero absolut n

Perque aquesta idea va ser REVOLUCIONARIA?No es facil convencer a un cientıfic que si vol duplicar la precisio d’unainvestigacio li cal quadruplicar el nombre d’observacions malgrat totessiguin igual d’acurades.

La informacio en les dades es pot mesurar i la precisio estarelacionada amb la quantitat de dades

Page 20: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 2. MESURA DE LA INFORMACIO

La prova del Pyx πνξις

Procediment al Regne Unit per assegurar que les monedes recentmentencunyades s’adapten als estandards requerits.Aquesta cerimonia es fa una vegada a l’any des del 1282.Es un judici en ple sentit judicial, presidits per un jutge amb un juratexpert en assajos metal·lurgics.

Figure: 25.000 monedes produıdes per la Royal Mint el 2017 van ser examinadesel 30 gener 2018 per un jurat al Goldsmiths’ Hall a Londres

Page 21: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 2. MESURA DE LA INFORMACIO

Quina rellevancia te el Pyx amb la Regla de√n?

pyx (πνξις): cofre de boix enque les monedes es lliuren aljurat

Monitoritzacio pel manteniment de laqualitat en un proces de produccio

Contracte entre el Rei i el Cap de laCasa de la Moneda: T = pes objectiu,R = tolerancia, X = pes moneda

Si X < T −R ⇒ retencio al Cap

Variabilitat: Els pesaven en lots de 100⇒ Pes objectiu = 100T . Quan hauriade ser la tolerancia? 100R?

si 100X < 100T − 100R el cap teniaretencio. Aquest criteri beneficiava alcap de la casa de la moneda. Perque?

Regla de√n: la tolerancia apropiada

per un lot de 100 es 10R i no 100R

Page 22: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 2. MESURA DE LA INFORMACIO

Implicacions de la regla de√n

Si vols duplicar la precisio d’una investigacio es insuficient doblar elsesforcos, et caldra quadruplicar el nombre d’observacions. Les segones20 observacions no son tant informatives com les primeres 20 malgrattotes elles, les 40, siguin igual d’acurades.

Aprendre mes es molt mes car que el que es pensa.

La regla de√n no es SEMPRE valida. Per exemple, en series

temporals a on a la correlacio serial redueix la grandaria mostralefectiva.

Page 23: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 2. MESURA DE LA INFORMACIO

Pilar 2 de l’Estadıstica: MESURA DE LA INFORMACIOLa importancia decreixent d’un augment en la quantitat dedades

El segon pilar de l’Estadıstica enfatitza que:

la informacio en les dades es pot mesurar

la precisio esta relacionada amb la quantitat de dades

la informacio no augmenta linealment amb el nombred’observacions

Page 24: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 3. PROBABILITAT

Pilar 3. PROBABILITAT

Com posar unmarc probabilıstical que fem

Page 25: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 3. PROBABILITAT

Pilar 3. PROBABILITAT

Calibrem les inferencies usant la probabilitat.La probabilitat per ella mateixa es una mesura i necessita d’una base per afer comparacions.

Perque aquesta idea va ser REVOLUCIONARIA?

Una mesura sense context es nomes un nombre. Un nombre sense sentit.El context dona l’escala, ajuda a calibrar i permet comparacions.

Page 26: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 3. PROBABILITAT

Proves d’hipotesis: Es recolzen les dades o es contradiuenamb una teoria o hipotesi?

Nocio de probabilitat: clau per respondre a aquesta pregunta ⇒implicada inextricablement amb la construccio de proves estadıstiques.

Com es respon a la pregunta: Comparant la probabilitat de les dades sotadiferents hipotesis.

Resposta Bernoulli i Fisher: Plantegen una simple disjuncio logica: Sila probabilitat sota una certa hipotesi es molt petita, o s’ha produıt unapossibilitat excepcionalment rara o la teoria de la distribucio aleatoria noes certa.

Page 27: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 3. PROBABILITAT

John Arbuthnott (1667-1735): El primer test d’hipotesis

Physitians and the Royal SocietyMajesty, and Fellow of the College of Arbuthnott, Physitian in Ordinary to Herin the births of both sexes. By Dr. John

observ'dtaken from the constant regularity II. An argument for divine providence,

Dr. John Arbuthnott

, 186-190, published 1 January 1710271710 Phil. Trans. 

Email alerting service

herecorner of the article or click this article - sign up in the box at the top right-hand Receive free email alerts when new articles cite

http://rstl.royalsocietypublishing.org/subscriptions, go to: Phil. Trans.To subscribe to

on September 27, 2018http://rstl.royalsocietypublishing.org/Downloaded from on September 27, 2018http://rstl.royalsocietypublishing.org/Downloaded from

HA: Divina Providencia: assignarames nois que noies al neixer perquedespres estan exposats a mes acci-dents

Arbuthnott: Matematic,Escriptor provocatiu, metgede Queen Anne d’Anglaterrra

H0: P (HOME)=P(DONA)HA: P (HOME)>P(DONA)Observa mes nois que noiescada any durant 82 anys.La probabilitat sota H0 es1/282.Si les dades no son el resultatd’una distribucio aleatoria,cal pensar que son governadesper una altra regla

Page 28: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 3. PROBABILITAT

Fisher, Neyman i Pearson (s. XX)

Comencen el tractament sistematic de les proves d’hipotesis i tenen unainfluencia extraordinaria.

Ronald Fisher: nomes formalitza la hipotesi nul·laJerzy Neymann i Egon Pearson: fan explicita l’hipotesi alternativa

Page 29: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 3. PROBABILITAT

Maxima versemblanca: Lagrange (1736-1813), Laplace(1749-1827) i Gauss (1777-1855)

Cercant un resum de las dades (un estadıstic dirıem ara) que fos el mesprobable si les dades provenen d’una densitat simetrica i unimodal, es a dircom la normal, la teoria de la maxima versemblanca agafa forma de la made Lagrange, Laplace i Gauss.

La teoria la consolida Fisher (s XX): Si θ representa l’objectiu cientıfic i Xles dades, la funcio de versemblanca es

L(θ) = L(θ|X)

S’aposta pel maxim de versemblanca (MV)

θ(X) = argmaxθ∈Θ

L(θ|X)

i s’estableix (tambe Fisher) que el MV conte tota la informacio rellevant enles dades i no es pot millorar mitjancant qualsevol altra metode consistent.

Page 30: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 3. PROBABILITAT

Pilar 3 de l’Estadıstica: PROBABILITATCom posar un marc probabilıstic al que fem

La idea associada de probabilitat com a forma de:

calibrar les nostres inferencies

situar en un context estadıstic la variabilitat en lesnostres dades

posar confianca en les diferencies observades

s’ha convertit en un pilar per a gran part de l’edifici del’estadıstica moderna i es el tercer pilar segons Stigler.

Page 31: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 4. COMPARACIONS

Pilar 4. COMPARACIONS ESTADISTIQUES

Fent servir lavariaciocontinguda en lesdades sensereferenciaexterna

Page 32: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 4. COMPARACIONS

Pilar 4. COMPARACIONS ESTADISTIQUES

Comparacions estadıstiques fent-se en termes de les dades disponibles

Perque aquesta idea va ser REVOLUCIONARIA?

Pel fet de que es puguin fer comparacions estadıstiques sense recorrer a unestandard extern, unicament fent-se en termes de les dades disponibles.

Aquesta idea es forca radical. Lapossibilitat d’ignorar estandardscientıfics externs pot conduir a unabus en mans inapropiades, tal compassa amb les eines potent

Page 33: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 4. COMPARACIONS

La cervesa Guinness, Gosset i Student

La primera llavor d’un us mesmatematic de les comparacions el vafer William Sealy Gosset(1876-1937), per tots Student, al1908.Treballava a la fabrica de la cervesaGuinness a Dublın i amb el seusconeixements de matematiques iquımica i havent llegit alguns treballsde Karl Pearson es va adonar quel’estadıstica li podria ser molt util.

Page 34: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 4. COMPARACIONS

Gosset i Pearson

I wish I had a P-value

We have been met with the difficultythat none of our books mentions theodds, which are convenientlyaccepted as being sufficient toestablish any conclusions.It might be of assistance to us toconsult some mathematical physiciston the matter.

Page 35: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 4. COMPARACIONS

The Probable Error of a Mean

Un punt realment important es que

X − µS/√n∼ tn−1

no involucra a σ i per tant totes les conclusions probabilıstiques, com elsP-valors o els intervals de confianca, es poden fer ”interior to the data”.

Page 36: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 4. COMPARACIONS

Statistical Methods for Research Workers (1925)

Fisher prova rigorosament elsresultats de Student veient elproblema en termes geometrics i hopublica a Biometrika. A mes Fisher

va trobar la distribucio delcoeficient de correlacio

va construir el test de la t perdues mostres (el de Student eraper una sola)

va derivar bona part del’artilleria de l’analisi de lavariancia

Page 37: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 4. COMPARACIONS

Pilar 4 de l’Estadıstica: COMPARACIONSESTADıSTIQUESFent servir la variacio continguda en les dades sensereferenca externa

Fer comparacions estadıstiques sense recorrer a unestandard extern es el quart pilar de l’estadıstica.

L’us del p-valor es controvertit: la significacioestadıstica no te perque reflectir la significaciocientıfica (1919)

VEGEM-HO

Page 38: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 4. COMPARACIONS

The P-VALUE SONG

Lırics: MICHAEL GREENACRE

Musica: IRVING BERLIN (Canco “There’s nobusiness like show business” del musical “Annie Get Your Gun”)

Veu: GURDEEP STEPHENS

PIANO: LISA OLIVEEl podeu trobar a:https://www.youtube.com/watch?v=yy4nsEvKh2E

Page 39: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 5. REGRESSIO

Pilar 5. REGRESSIO

Com formularpreguntes des dediferents puntsde vista potportar a trobarrespostesdiferents

Page 40: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 5. REGRESSIO

Pilar 5. REGRESSIO

I have no faith in anything short of actualmeasurements and the Rule of Three (carta deCharles Darwin a William Darwin Fox al 1855).Teoria Darwiniana de la seleccio natural:

cal que la diversitat augmenti

cal estabilitat poblacional

Francis Galton(1822-1911): Marcmatematic per superarla contradicciointrınseca en la teoria

Perque aquesta idea va ser REVOLUCIONARIA?

1 Dificultat per convencer que els resultats basats en la regla de 3serien sistematicament esbiaixats i amb errors forca grans

2 La probabilitat condicional pot donar respostes radicalment diferentsdepenen de com es plantegi

Page 41: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 5. REGRESSIO

L’antropoleg i les alcades dels esquelets

Deduir alcada H a partir d’un os d’allargada L:

L’antropoleg disposa d’esquelets complets i per tant de (Li, Hi)

Calcula les mitjanes mL i mH .

Si Li/Hi es constant i apliquem la regla de 3: mL/mH = L/H idedueix correctament H = L ·mH/mL

Que passa quan hi ha variabilitat?

corr{L,H} = 0⇒ H = mH , ignorant L

corr{L,H} = 1⇒ H = L ·mH/mL, la regla de 3 funciona

corr{L,H} 6= 0, 1⇒ que es fa en aquest cas?

Galton veu que

predir H a partir de L es diferent de

predir L des d’H

cap prediccio esta d’acord amb la regla de 3.

Page 42: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 5. REGRESSIO

Consequencies dels treballs de Galton sobre els problemesde Darwin

Introdueix el coeficient de correlacio

Previ al treball de Galton en 1885 no hi havia maquinaria per a feranalisis multivariants.

Les implicacions en inferencia son fonamentals: El metode de laprobabilitat inversa ( inferencia Bayesiana) era l’aproximacio dominant

Correlation does not imply causation es un altra dels subproductes dela feina de Galton, tot i que ja abans en 1710 el filosof GeorgeBerkeley va escriure The connexion of ideas does not imply therelation of cause and effect but only a Mark or Sign of the Thingsignified

Page 43: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 5. REGRESSIO

Pilar 5 de l’Estadıstica: REGRESSIOCom formular preguntes des de diferents punts de vista potportar a trobar respostes diferents

Aquest cinque pilar, la regressio, es de fet el pilar de laprobabilitat condicionada i es important perque

incorpora la idea que fer una pregunta des de diferentspunts de vista no nomes condueix a una intuicioinesperada, sino tambe a una nova manera d’elaborarl’analisiha donat a l’analisi multivariant les eines necessariesper qualsevol teoria d’inferenciaes central per a tota la inferencia bayesiana i causal.

Page 44: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 6. DISSENY

Pilar 6. DISSENY

El paperfonamental de laplanificacio de lesobservacions

Page 45: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 6. DISSENY

Pilar 6. DISSENY

El disseny d’experiments concebut com una idea que pot disciplinar elnostre pensament fins i tot en entorns observacionals.

Charles Peirce i Fisher (s. XIX)descobreixen el valor extraordinarique l’aleatoritzacio pot jugar enla inferencia.

Perque aquesta idea va ser REVOLUCIONARIA?

La combinacio d’analisi i logica era radicalment nova. Per unaexperimentacio cost-efectiva, el sol fet de pensar en la variabilitatcondueix a la solucio.Introdueix canvis radicals: experiments multifactorials que permetenla separacio dels efectes i l’estimacio de les interaccions, quecontradeien segles d’experimentacio.

Page 46: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 6. DISSENY

Planificacio d’observacions i implicacions per prendredecisions i fer intervencions

El disseny s’aplica en assajos clınics, en experiments d’agricultura, enmonitoritzacio de la qualitat d’un proces, en la avaluacio de les polıtiques iestrategies en ciencies experimental i inclou:

1 la planificacio dels experiments

2 la determinacio de la grandaria d’un estudi

3 el posar les questions en context

4 la forma d’assignar els tractaments

i en tots aquests casos la planificacio anticipa les analisis.

El disseny hauria de jugar un rol crucial en estudis observacionals a on lamera pregunta: Si tinguessim l’habilitat de generar dades per adrecar laprincipal questio sota estudi, quines dades buscaries?

Page 47: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 6. DISSENY

Sir David Cox (1924-) i els tres rols de l’aleatoritzacio

1 Com a instrument per eliminarbiaixos

2 Com a base per l’estimaciod’errors estandards

3 Com a fonament pels testsexactes de significacio.

Page 48: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 6. DISSENY

A on mes es crucial l’aleatoritzacio?

A les loteries, of course!!!

La Loteria a Franca es va establir al 1757,inicialment per contribuir al sosteniment del’Escola Militar.Aquests tipus de bingo es feien 15 cops al mes. Elsnumeros guanyadors es publicaven, permetencomprovar que eren aleatoris.

Millor consequencia de la loteria: augment del nivell d’educaciomatematica en la poblacio

Els jugadors varen aprende analisi combinatori per a calcular apostes

Els administradors varen escriure textes per educar als operadorslocals a fer correctament els caculs dels premis

Page 49: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 6. DISSENY

Pilar 6 de l’Estadıstica: DISSENYEl paper fonamental de la planificacio de les observacions

El disseny que Stigler planteja com a sise pilar implicala capacitat d’estructurar models per a l’exploracio dedades multidimensionals, permeten tractar alhoramultiples factorsla creacio mitjancant l’aleatoritzacio d’una based’inferencia basada mınimament en una modelitzacio.

Page 50: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 7. RESIDUS

Pilar 7. RESIDUS

Com usar-se totsaquests principisper a explorar icomparardiferentsexplicacions enciencia

Page 51: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 7. RESIDUS

Pilar 7. RESIDUS

Inicialment lligat a l’Analisi dels Residus i els Diagnostics del model,Stigler li dona una Interpretacio mes amplia.

Si es poden estimar els efectes de les causes conegudes i es poden eliminardel fenomen conjunt, el resultat residual apareix com un fenomen nou quepot conduir a conclusions importants.

Perque aquesta idea va ser REVOLUCIONARIA?El seu us va servir per millorar i disciplinar el metode estadıstic mitjancant:

la incorporacio de famılies estructurades de models

emprant el calcul de probabilitat i la logica estadıstica per decidirentre ells.

Page 52: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 7. RESIDUS

John F.W. Herschel (1792-1871)

A preliminary Discourse on the study ofNatural Philosophy by John F.W. Herschel

Complicated phenomena may be simplified bysubducting the effect of known causes, leavinga residual phenomena to be explained. It isby this process that science is chiefly promoted

Aproximacio estadıstica:Descriure el proces que ha generat les dades mitjancant un modelhipoteticExaminar la desviacio de les dades a aquest model de forma graficaEstablir prova d’hipotesis per a comparar dos models aniuatsEspecificar conjunt de variables explicatives, afegir de noves i veure siaquestes contribueixen significativament.

Page 53: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 7. RESIDUS

Els models parametrics i el test de la rao de versemblanca

Avenc important: introduccio dels model parametrics

Fisher reemplaca les distribucionsgenerals i no especificades de Pearsonf(x) per families de distribucions f(x;φ)suaus en φ.

doi: 10.1098/rsta.1922.0009, 309-368222 1922 Phil. Trans. R. Soc. Lond. A

 R. A. Fisher On the Mathematical Foundations of Theoretical Statistics 

Email alerting service herecorner of the article or click

Receive free email alerts when new articles cite this article - sign up in the box at the top right-hand

http://rsta.royalsocietypublishing.org/subscriptions go to: Phil. Trans. R. Soc. Lond. ATo subscribe to

This journal is © 1922 The Royal Society

on 29 March 2009rsta.royalsocietypublishing.orgDownloaded from

Test de la rao de versemblanca

Famos Lemma de Neyman i Pearson: permet la comparacio de dos modelsno aniuats si estan completament especificats.La seva generalitzacio permet comparar families parametriques ambfamilies mes amplies que contenen la primera.

Page 54: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 7. RESIDUS

Sir David Cox (1924-) i la Versemblanca parcial

Gran impacte en analisi de la supervivencia i en moltes aplicacions enmedicina.

Per fer proves residuals no cal limitar-se als models parametrics,nomes cal parametritzar la porcio addicional.

El model subjacent no te perque ser simple, pot ser molt flexible, nopertanyer a una famılia parametrica i fins i tot no estar especificat.

Page 55: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 7. RESIDUS

Diagnostics de model i Plots de residus

Practica estadıstica usual

Ajustar un model de regressio

plot dels residus per avaluarl’ajust

observar el patro que apareix

suggerir el seguent pas en lamodelitzacio

Diagrama de l’Area Polar. FlorenceNightingale (1820-1910)

Page 56: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 7. RESIDUS

Pilar 7 de l’Estadıstica: RESIDUSCom usar-se tots aquests principis per a explorar icomparar diferents explicacions en ciencia

El sete pilar tracta de la logica de la comparacio demodels complexos com a ruta per a l’exploracio de dadesd’alt contingut dimensional i l’us de la mateixa logicacientıfica en l’analisi grafica.

Page 57: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Els 7 pilars de la saviesa estadıstica PILAR 7. RESIDUS

Els 7 pilars de la saviesa estadıstica d’Stephen Stigler

Altres idees revolucionaries?

8e pilar?

Potser pels 25 anys deSORT !!!

Page 58: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dones en Estadıstica

QUIZ: De quins d’aquests autors no he posat fotografia?

1 Michael Greenacre

2 Carles Cuadras

3 Stephen M. Stigler

4 Jorge Luis Borges

5 Adolphe Quetelet

6 Francis Galton

7 John Arbuthnott

8 Ronald Fisher

9 Jerzy Neyman

1 Egon Pearson

2 William Gosset

3 Karl Pearson

4 Charles Darwin

5 Charles Peirce

6 Sir David Cox

7 John Herschel

8 Florence Nightingale

Page 59: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dones en Estadıstica

SI NO

1 Sir David Cox

2 Carles Cuadras

3 Ronald Fisher

4 Francis Galton

5 John Herschel

6 Jerzy Neyman

7 Florence Nightingale

8 Egon Pearson

9 Karl Pearson

10 Charles Peirce

11 Adolphe Quetelet

1 John Arbuthnott

2 Jorge Luis Borges

3 Charles Darwin

4 William Gosset

5 Michael Greenacre

6 Stephen M. Stigler

QUANTES DONES VEIEU?

Page 60: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dones en Estadıstica

SI NO

1 Sir David Cox

2 Carles Cuadras

3 Ronald Fisher

4 Francis Galton

5 John Herschel

6 Jerzy Neyman

7 Florence Nightingale

8 Egon Pearson

9 Karl Pearson

10 Charles Peirce

11 Adolphe Quetelet

1 John Arbuthnott

2 Jorge Luis Borges

3 Charles Darwin

4 William Gosset

5 Michael Greenacre

6 Stephen M. Stigler

QUANTES DONES VEIEU?

Page 61: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dones en Estadıstica

SI NO

1 Sir David Cox

2 Carles Cuadras

3 Ronald Fisher

4 Francis Galton

5 John Herschel

6 Jerzy Neyman

7 Florence Nightingale8 Egon Pearson

9 Karl Pearson

10 Charles Peirce

11 Adolphe Quetelet

1 John Arbuthnott

2 Jorge Luis Borges

3 Charles Darwin

4 William Gosset

5 Michael Greenacre

6 Stephen M. Stigler

HO HAURIEM DE MILLORAR, NO US SEMBLA?

Page 62: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dones en Estadıstica

SI NO

1 Sir David Cox

2 Carles Cuadras

3 Ronald Fisher

4 Francis Galton

5 John Herschel

6 Jerzy Neyman

7 Florence Nightingale8 Egon Pearson

9 Karl Pearson

10 Charles Peirce

11 Adolphe Quetelet

1 John Arbuthnott

2 Jorge Luis Borges

3 Charles Darwin

4 William Gosset

5 Michael Greenacre

6 Stephen M. Stigler

HO HAURIEM DE MILLORAR, NO US SEMBLA?

Page 63: Petites (?) revolucions en el pensament estad stic · Petites (?) revolucions en el pensament estad stic Guadalupe G omez Melis 18 e Dia de l’Estad stica a SORT IEC, Barcelona,

Dones en Estadıstica

If I have seen further it is by standing on the shoulders ofGiants Newton’s letter to Robert Hooke (15 February 1676)

HELENNEWTONTURNER

ALEYAMMAGEORGE

FLORENCENITHINGALE

SUSIEBAYARRI

GERTRUDECOX

LAURAPLA

Pioneer women in statistics and biometry