Til stede: Helmuth Nyborg, Jens Mammen, Tom Latrup-Pedersen og Per Henriksen (referent).
Tom Latrup-Pedersen oplyste, at han havde indkaldt mødet, da Jens Mammen havde meddelt, at han ikke kunne afslutte sin ordinære indberetning vedr. Helmuth Nyborgs forskning på grundlag af referatet af mødet den 18. marts. Jens Mammen havde behov for at stille nogle supplerende spørgsmål. Dekanen fandt det hensigtsmæssigt, at disse spørgsmål blev stillet og besvaret på et møde, hvori han deltog. Helmuth Nyborg og Jens Mammen tilsluttede sig fremgangsmåden.
Jens Mammen bemærkede, at han havde fået forskellige, forvirrende informationer om forskningsprojektet: Early sex differences in general and specific intelligence (Skoleprojektet). Informationer som ikke gav en konsistent viden om grundlaget for Skoleprojektet.
Jens Mammen indledte med at spørge til Skoleprojektets kronologi. Ifølge referatet fra mødet den 18. marts var den longitudinelle undersøgelse gennemført i perioden 1980-86 (fase 1-7) og tværsnitsundersøgelsen i 1990 (fase 8). Jens Mammen undrede sig over, at den longitudinelle undersøgelse af børn født i 1968 ifølge referatet løb over 1980-86 og ikke som tidligere oplyst (i oversigten over "Skanderborg-undersøgelsen" (indleveret i januar 2002)) over perioden 1976-86.
Helmuth Nyborg var ikke i stand til på stående fod at rekonstruere fuldt ud. Men i 1976 undersøgte han 149 børn. Han genoptog undersøgelsen i 1980, nu som en longitudinel undersøgelse og med andre børn. Børnene blev undersøgt første gang som 8-årige i 1980 (+/- 6 mdr.). Nye børn måske i 1982 (10-årige) og så fremdeles.
Jens Mammen bemærkede, at i følge Helmuth Nyborgs brev om personidentifikation (brev af 14. marts 2005) er børn i undergruppe I undersøgt som 8 årige og som 16 årige. Dette kan ikke lade sig gøre inden for et tidsinterval på 6 år.
Helmuth Nyborg svarede, at nogle af børnene måske kun var undersøgt 2 gange.
Jens Mammen bemærkede, at beskrivelsen af opfyldningen ikke stemmer overens med personidentifikationsnøglen. Hvis børn i samme undergruppe kan identificeres ved deres løbenumre (de to sidste cifre i deres personidentifikation) var samme børn undersøgt som 8 årige og som 16 årige indenfor et tidsinterval på 6 år.
Helmuth Nyborg oplyste, at det ville han undersøge nærmere. Det ville i givet fald stride mod undersøgelsens design.
Helmuth Nyborg fortalte, at fase 8 ikke var helt færdig endnu. Undersøgelsen af de 8 årige strakte sig over mange år. Parallelt med undersøgeIsen af 10 - 12 - 14 - 16 årige. Undersøgelsen var påbegyndt de anførte tidspunkter men ikke afsluttet. Der blev foretaget løbende indsamling for alle aldersgrupper.
Jens Mammen spurgte, hvorledes de netop givne oplysninger om forskningsprojektets kronologi stemmer med oplysningen på side 6 i Helmuth Nyborgs artikel indsendt til PAIS, januar 2004, om to tværsnitsundersøgelser, nemlig en fra 1976 og en fra 1996-2000+.
Helmuth Nyborg oplyste, at det var han ikke i stand til at huske.
Jens Mammen bemærkede, at ifølge referatet strakte den longitudinelle undersøgelse sig fra 1980- 86, medens den ifølge artiklen indsendt til PAIS strakte sig fra 1981-2000+.
Helmuth Nyborg svarede, at referatet i givet fald var forkert.
Jens Mammen spurgte, om der i undersøgelsen blev anvendt et mekanisk, dvs. objektivt og neutralt, selektionskriterium.
Dette bekræftede Helmuth Nyborg.
Jens Mammen ønskede herefter at drøfte antallet af forsøgspersoner.
I Helmuth Nyborgs bog fra 2003 siges det på side 208, at "Data on children participating in the crosssectionel parts of the study were included in the present analysis, as were data on children participating in tbe longitudinal part ofthe study, but who had been examined only once" (referentens fremhævninger). Dette måtte betyde, at både den første (fase 0) og den anden tværsnitsundersøgelse (fase 8) var inkluderet i undersøgelsen.
Helmuth Nyborg mente, at henvisningen til tværsnitsundersøgelser kunne skyldes en tryk- eller skrivefejl. Der var kun medtaget personer fra den anden tværsnitsundersøgelse.
Jens Mammen spurgte, om der var børn og voksne i longitudinalundersøgelsen, der kun var undersøgt en gang. Dette svarede ikke til de til instituttet indleverede datafiler, hvorefter alle registrerede fra longitudinalundersøgelsen var undersøgt flere gange ud fra deres personidentifikationsnummer at dømme.
Dette kunne Helmuth Nyborg ikke huske. Han måtte undersøge nærmere. Måske var de undersøgt flere gange men indgik kun med en undersøgelse.
Jens Mammen bemærkede, at i longitudinalundersøgelsen indgik cirka 3x30 forsøgspersoner og i tværsnitsundersøgelsen cirka 150 personer, det vil sige i alt cirka 240 personer.
I 2003-bogen side 208 oplyses, at "The particu1ar selection procedure resulted in a total of 376 children and adults, with an identical number of girls and boys in each category. All subjects were exposed to a large and varied battery of 20 or 21 ability tests" (referentens fremhævninger).
Jens Mammen spurgte, hvordan Helmuth Nyborg var kommet frem til 376 forsøgspersoner.
Helmuth Nyborg svarede, at måske var antallet af forsøgspersoner i fase 0 medtaget. De 376 personer var udtryk for alle de personer, som var undersøgt i Skoleprojektet. Men der var foretaget en selektion herfra og til bogen.
Jens Mammen henviste til, at data for personerne fra fase 0 ifølge Helmuth Nyborgs egne oplysninger intet havde med kønsundersøgelsen i bogen at gøre.
Helmuth Nyborg fastholdt, at det totale antal forsøgspersoner var medtaget, men at det fremgik af tabellerne i bogen, hvilke tal der var analyseret på.
Jens Mammen mente, at en læser måtte forvente, at "All subjects" henviste til de 376 forsøgspersoner.
Helmuth Nyborg svarede, at sådan forholdt det sig ikke nødvendigvis. Læseren måtte kigge i tabellerne for at se, hvor mange der var analyseret på. Han bemærkede endvidere, at tallene var uinteressante for resultatet, da regnefejlen medførte, at der ikke var signifikans.
Jens Mammen spurgte, om læserne i tabellerne kunne finde oplysning om antallet af forsøgspersoner. Det håbede Helmuth Nyborg. Jens Mammen udtrykte tvivl om, hvorvidt der i bogen optræder oplysninger om antal forsøgspersoner ud over de nævnte 376 og de på side 209 nævnte 52 "voksne".
Jens Mammen bemærkede, at hvis alle børn havde deltaget i alle tests, måtte dette fremgå af protokollerne. Det fremgik ikke af de datasæt, der var indleveret til Psykologisk Institut.
Helmuth Nyborg svarede, at der var anvendt mean substitution. Han turde ikke sige, om alle børn havde gennemgået alle tests.
Jens Mammen bemærkede, at Helmuth Nyborg i referatet fra mødet den 18. marts oplyste, at når der i datasæt l tales om 325, skal det forstås som 325 observationer fra 119 personer. Han spurgte, om det ikke var misvisende, når Helmuth Nyborg alle andre steder omtaler de 325 som 325 personer.
Helmuth Nyborg svarede, at han for så vidt var enig. Men gjorde det nogen forskel?
Det mente Jens Mammen. Hvis de 325 observationer omfattede personer, der indgik med flere resultater (koblede data) skulle der tages højde herfor i beregningen af signifikans. Jens Mammen formodede, at Helmuth Nyborg havde opdaget fejlen, og at denne fejl sammen med regnefejlen var årsagen til, at dele af 2003-bogen og beregningsgrundlaget for artiklen blev trukket tilbage.
Helmuth Nyborg svarede, at det var korrekt.
Jens Mammen spurgte, om de 119 børn var fra tværsnitsundersøgelsen 1990.
Det kunne Helmuth Nyborg ikke huske.
Jens Mammen oplyste, at ud fra personidentifikationerne kom alle de 119 børn fra tværsnitsundersøge1sen 1990. Han spurgte, hvordan dette var foreneligt med, at datafilen med de 325 registreringer består af 198 registreringer fra børn i longitudinalundersøgelsen og 127 registreringer fra tværsnitsundersøgelsen 1990.
Det kunne Helmuth Nyborg ikke umiddelbart svare på, men han ville undersøge spørgsmålet nærmere.
Jens Mammen fremviste en matrix over Skoleprojektet udarbejdet på grundlag af en konvertering af den af Helmuth Nyborg indleverede statistica-datafil til excel og videre til pdf. Han gennemgik matricen (løbenumre, undergrupper og antallet af børn) og konstaterede, at de 325 observationer ikke alle stammede fra 1990-undersøgelsen, men derimod kun de 127 som netop nævnt. De 119 børn i det andet datasæt er et subsample fra disse 127.
Jens Mammen spurgte herefter til dataene for de voksne forsøgspersoner.
Helmuth Nyborg oplyste, at når der nu var komplette datasæt for 62 voksne, skyldtes det, at datahuller løbende blev fyldt ud.
Jens Mammen bemærkede, at flere end de oprindelige 52 voksne var undersøgt. Hvorledes var de 52 valgt ud?
Helmuth Nyborg svarede, at udvælgelseskriteriet var komplette data.
Jens Mammen undrede sig over, at det kunne være et objektivt og neutralt kriterium at udvælge på grundlag af, hvor langt en assistent var kommet med inddateringen.
Helmuth Nyborg svarede, at der stadig lå data, som endnu ikke var tilføjet hovedfilen - så tallet 62 ville stige.
Jens Mammen fandt, at Helmuth Nyborg burde have sikret sig muligheden for at fiksere de 52, så kravet om dokumentation for fremlagte resultater kunne opfyldes.
Helmuth Nyborg fastholdt at han altid ville bruge de bedste, det vil sige de komplette data.
Jens Mammen spurgte, om der ikke fandtes tidligere beregninger, udskrifter, filer m.v., der muliggjorde en rekonstruktion af de oprindelige 52 voksne forsøgspersoner eller i det mindste blot muliggjorde en angivelse af, hvilke af de senere udvalgte 62 personer, der udgjorde de oprindelige 52.
Helmuth Nyborg svarede, at det gjorde der ikke.
Jens Mammen bemærkede, at grunddatafilerne var behandlet i SPSS og Statistika. Man måtte derfor formode, at der forelå filer in duplo.
Helmuth Nyborg oplyste, at grunddatafilerne ikke kunne gendannes. Der forelå beregninger men ikke grunddata.
Jens Mammen spurgte, om der forelå beregninger, hvori kun de 52 indgik.
Helmuth Nyborg svarede, at han havde ledt efter de oprindelige 1976-filer men endnu ikke havde fundet dem. På grund af flytningen til Nobelparken var der ikke styr på alle flyttekasserne. Men de var der et eller andet sted.
Jens Mammen spurgte, om der forelå oplysninger i Excel.
Helmuth Nyborg svarede benægtende, men bekræftede at han også havde udført beregninger med Excel. Da han havde opdaget, at assistenten tastede direkte ind i hovedfilen, havde han standset ham og sikret, at han fremover tastede ind i et regneark.
Jens Mammen spurgte, hvorledes Helmuth Nyborg vurderede assistentens indsats.
Helmuth Nyborg svarede, at assistenten var glimrende.
Jens Mammen spurgte til algoritmen, der var anvendt i undersøgelsen. Ville sagkyndige på grundlag af datasættene og algoritmen være i stand til at rekonstruere tabellerne?
Helmuth Nyborg svarede, at det ville man, hvis anvendte de korrekte filer, det vil sige de to datafiler, som Helmuth Nyborg senest havde sendt til Jens Mammen.
Jens Mammen spurgte, om Helmuth Nyborg kunne levere algoritmen.
Helmuth Nyborg bekræftede dette.
Jens Mammen bemærkede, at Helmuth Nyborg havde givet en meget præcis beskrivelse af regnefejlen. Sagkyndige skulle således også kunne gendanne de gamle tabeller, hvis man gentog regnefejlen og tog højde for, at der var anvendt mean substitution.
Helmuth Nyborg bekræftede under forudsætning af, at konverteringen var OK. Ved mean substitution var anvendt en standardprocedure.
Jens Mammen bemærkede, at det metodemæssigt kunne være problematisk, da N=325 og nogle data var koblede. I det omfang der var anvendt mean substitution, påvirkede dette resultatemes signifikans. Han spurgte, om der var taget høje for dette.
Helmuth Nyborg bekræftede.
Jens Mammen bemærkede, at Helmuth Nyborg den 2. april 2004 sendte det oprindelige materiale til Praksisudvalget. Det fremgik af fremsendelsesbrevet, at paperet og de fem vedlagte datablade var dem, som blev præsenteret på konferencen i 2001 og som senere dannede grundlag for artiklen.
Jens Mammen undrede sig derfor over, at det i referatet af Helmuth Nyborgs møde med Rektor fremgik, at Helmuth Nyborg på rektors forespørgsel havde oplyst, at der ikke var tale om det samme materiale.
Helmuth Nyborg kunne ikke huske episoden. Der havde været en grund til, at han svarede nej. Men Helmuth Nyborg kunne ikke på stående fod huske hvorfor.
Tom Latrup-Pedersen bemærkede, at der var en række spørgsmål, som Helmuth Nyborg ikke umiddelbart kunne huske svarene på. Spørgsmålene ville fremgå af referatet. Han bad Helmuth Nyborg om, at han efterfølgende besvarede spørgsmålene. Han gik ud fra, at det ikke var tale om noget stort arbejde, og at Helmuth Nyborg kun behøvede kort tid hertil.
Helmuth Nyborg bekræftede.
Tom Latrup-Pedersen spurgte Jens Mammen, om Jens Mammen allerede nu bad Helmuth Nyborg udlevere den anvendte algoritme.
Dette bekræftede Jens Mammen.
Helmuth Nyborg oplyste, at algoritmen allerede fremgik af hjemmesiden, og at en præcis beskrivelse heraf kunne findes i Arthur Jensens bog fra 1998.
Jens Mammen bemærkede, at den foreliggende beskrivelse af algoritmen næppe var tilstrækkelig detaljeret for en rekonstruktion. Men det ville han vende tilbage til.
Tom Latrup-Pedersen afsluttede mødet med at bemærke, at han snarest ville udsende et udkast til referat. Han ville herefter bede Jens Mammen om hurtigt at overveje, om han på grundlag af referatet og Helmuth Nyborgs supplerende svar kunne afslutte den ordinære indberetning af Helmuth Nyborgs forskning eller om han eventuelt havde supplerende spørgsmål.
Tom Latrup-Pedersen takkede for mødet.
Det Samfundsvidenskabelige Fakultet
Den 28. april 2005
Per Henriksen