Crowdsourcing - ny vej til bedre eksperimenter
more_vert
close
close

Vores nyhedsbreve

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og at Mediehuset Ingeniøren og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, tilbud mm via telefon, SMS og email. I nyhedsbreve og mails fra Mediehuset Ingeniøren kan findes markedsføring fra samarbejdspartnere.

Crowdsourcing - ny vej til bedre eksperimenter

Efter at virksomheder i 1990'erne opdagede 'outsourcing' som en vigtig konkurrenceparameter i den globale kamp om spidskompetencer, har man i de seneste par år fået øjnene op for en langt mere radikal og potentielt mere effektiv måde at få arbejdskraft på: Det hedder 'crowdsourcing'.

Crowdsourcing er blevet kaldt internetæraens svar på 1800-tallets guldfeber. Det går ud på, at du og jeg og alle andre mennesker i denne verden med adgang til en internetforbindelse kan arbejde for en virksomhed eller organisation, der måtte have brug for store grupper af udefinerede, tilfældigt distribuerede og forskelligt uddannede mennesker til at udføre specifikke opgaver for dem.

Det gælder ikke kun, når arbejdsmængden er stor, f.eks. når amazon.com har brug for hjælp fra folk til at skrive produktbeskrivelser af deres bøger via deres 'Mechanical Turk'-interface. Det gælder også, når opgaven kræver specialiserede kompetencer, f.eks. via kaggle.com, hvor statistikere boltrer sig med at forudsige alverdens ting, eller når selve den iterative proces med at have mange øjne på et bestemt problem, f.eks. at oversætte et digt, eller at finde ruiner via Google Earth, er i stand til at overgå selv de bedste eksperter.

Også blandt videnskabsfolk er brugerinddragelse i dataopsamling og analyse blevet et stort hit. Her er frivilligheden i højsædet, og det kaldes derfor for 'citizen science'. Man kan f.eks. hjælpe astronomer med at udforske billeder fra Hubble-rumteleskopet via Galaxy Zoo, finde ny medicin ved at folde proteiner via foldit.com, eller indsamle klimadata til at hjælpe forskere med deres simulationer på climateprediction.net.

Hvad skal vi undersøge?

En ting, crowdsourcing endnu ikke er god til, er selv at formulere en problemstilling og afgøre, hvilke parametre det er værd at undersøge, når man vil finde det bedste svar på et problem. Men en gruppe af dataloger under ledelse af Josh C. Bongard og Paul Hines fra College of Engineering and Mathematical Sciences, University of Vermont, Burlington, USA, har nu vist, at crowdsourcede lægmænd sagtens ville kunne bruges til at designe et eksperiment, så længe det handler om adfærdsmæssige problemstillinger og ikke om partikelfysik.

Helt konkret har Bongard lavet en hjemmeside, hvor han lavede to eksperimenter. I ét eksperiment forsøgte han ved hjælp af et spørgeskema at estimere de besøgendes Body Mass Index (BMI) og i et andet deres energiforbrug i hjemmet. Folk kunne så komme ind på siden, svare på et par spørgsmål, og på baggrund af det få en computers estimat af deres BMI og elregning. Desuden skulle de angive deres rigtige BMI og kilowattforbrug, hvilket gjorde det muligt for Bongard at beregne spørgsmålenes kvalitet, dvs. deres evne til at forudsige korrekt.

Men nu kommer det sjove: I stedet for selv at udtænke spørgeskemaerne, havde Bongard blot initieret processen med et simpelt og halvdårligt spørgsmål ('Hvor mange gange om ugen spiser du fast food?' i forbindelse med BMI-eksperimentet), og så ladet brugerne selv indtaste nye spørgsmål, hvis de følte, at de var bedre til at forudsige eget og andres BMI.

Løbende udvikling

Spørgeskemaerne udviklede sig løbende, og spørgsmålene blev bedre og bedre. Ved hjælp af lineær regression kunne Bongard løbende beregne spørgsmålenes forudsigelseskraft, og de bedste spørgsmål forblev på spørgeskemaet. Efter en periode var der 58 spørgsmål, og nye brugere kunne sammenligne deres faktiske BMI (som de selv havde angivet) med det beregnede BMI, baseret på spørgsmålene.

Eksperimentet med energiforbruget viste, at der kom ganske fornuftige spørgsmål ud af det, f.eks. 'Hvor mange husdyr har du?' eller 'Hvor mange af dine vinduer vender mod syd?'. Også spørgsmål som 'Har du en elektrisk vandvarmer' og 'Har du naturgasvarme' viste sig at være gode spørgsmål til at forudsige kilowattforbruget, idet de fungerede som en proxy for, hvorvidt man lever i et hus eller en lejlighed. Selvfølgelig var spørgsmål som 'Hvad er dit faktiske energiforbrug?' ikke tilladt, da det jo handlede om at forudsige dette.

Endnu mere varierede spørgsmål kom der ud af BMI-forsøget. 'I hvor stor en procentdel af dit job sidder du ned?' var det tredjebedste spørgsmål, og 'Hvor mange nætter om ugen spiser du efter midnat?' var det fjerde bedste. Det spørgsmål, som viste sig at være klart bedst til at forudsige folks faktiske BMI var: 'Ser du dig selv som overvægtigt?', hvilket måske grænser til diskvalifikation, fordi det ligger så tæt op ad selve referencespørgsmålet om folks faktiske BMI.

Det overraskende spørgsmål

Det afgjort mest overraskende spørgsmål, der kom ind på andenpladsen, var: 'Hvor mange gange om måneden masturberer du?'

Josh Bongard indrømmer, at masturbationsspørgsmålet var en øjenåbner: 'Det er nok ikke det første spørgsmål, en ernæringsekspert ville stille sine kunder,' siger han i en kommentar.

Men det har vist sig at være det næstbedste spørgsmål til at forudsige forsøgspersonernes selvrapporterede vægt - selv bedre end 'Hvor mange gange spiser du om dagen?'. Kigger man i forskningslitteraturen er der ganske få artikler, som gør opmærksom på en relation mellem fedme og masturbation. Det viser sig, at det handler om en positiv relation: Jo større BMI, jo mere onani - noget som Bongard og kolleger glemmer at informere læseren om i deres artikel, som er lagt ud på arxiv.org.

En overfladisk scanning via Google viser, at enkelte sexrådgivere er klar over relationen, men emnet synes ikke at være helt så prominent et samtaleemne, som Bongards og Hines' crowdsourcingeksperiment lægger op til.

Den interessante konklusion på Bongards og Hines' arbejde er, at det som sociolog og adfærdsforsker kan være en god idé at 'gå meta' ved at lade folk lave deres spørgeskemaer selv. Forskerne behøver så blot løbende at udvælge de bedste indsendte spørgsmål, fjerne de dårlige og sørge for, at der er nok brugere, der besøger siden, og at de holdes fast med de rette incitamenter.

Brugerne vil gerne

Så længe forskningen handler om dem selv, vil brugerne gerne medvirke i udviklingen af hypoteser. De behøver ingen anden motivation end et ordentligt web-interface og et for dem interessant udgangspunkt. Spørgsmålene kan også vise sig at afsløre helt ukendte sammenhænge, som de traditionelle eksperter aldrig ville have fået øje på, og de vil også kunne pege på eventuelle tabuer, som den med fedme og masturbation.

Statistikken viser i øvrigt, at de fleste besøgende forsøger at svare ærligt. Når de finder ud af, at de ligger langt over gennemsnittet for BMI (eller energiforbrug) i forhold til de andre brugere, giver det som regel en impuls til at gøre noget ved det.

Omvendt, når en bruger ligger langt under gennemsnittet, har han eller hun som regel et ønske om at dele sin hemmelighed ved at forbedre eller introducere nye spørgsmål, der kan give et klarere billede af de faktorer, der ligger til grund for en given situation.

Det er kun fantasien, der sætter grænser for, hvad crowdsourcingmetoden kan bruges til. I fremtiden vil socialforskere, psykologer og didaktikere måske kunne lave brugergenererede spørgeskemaer, som bedre vil kunne belyse de mange ukendte forhold, der styrer indlæringen, børns og voksnes adfærdsmønstre mht. til problematiske ting, som f.eks. stoffer, depressioner osv.

Man vil kunne udvikle bedre jobinterviewspørgsmål og i det hele taget revolutionere spørgeskemametoden til at være noget mere end en sociologisk metode med problematiske antagelser. Brugergenererede spørgeskemaer kan blive det første og bedste valg i mange sammenhænge.

Nogle gange sidder der nogle gamle mænd med ekspertice i et eller andet tåbeligt, og så er der nogle tåber der beder dem om at lave et spørgeskema. Det kunne fx være indfødsretsprøven.

Jeg syntes det er fint nok med nogle spørgsmål, men spørgsmålene der bliver stillet er under al kritik, bortset fra dem der handler om demokrati og rettigheder.

Altså danske borger må må max sidde 24 timer i varetægtsfængsel uden at komme for en dommer, og udlænidinge må sidde 72 timer. Sådan praktiske færdigheder må være rimelige at forvente, for dem der tager prøven.

Jeg fandt denne liste. Den er ikke særligt offciel, men spørgsmålene ligner meget godt de oprindelige:
http://www.indfodsretsprove.com/

Er det gode spørgsmål som vi gerne så at fremtidige borgere kan besvare korrekt allesammen? Jeg mener nej. Mit svar til nogle af spørgsmålene er således:

  1. Danmarks statsoverhoved.
    S: Posten er for tiden todelt imellem Schmidt Nielsen og Vestager.

  2. Nationalflag?
    S. FCK

  3. Nationalsang?
    S: Nogen har besluttet at vi skal have sådan en. Hvorfor? Er det væsentligt hvordan den lyder? Vores nationalfugl er en burhøne, og det er vel heller ikke væsentligt?

  4. Hvad kaldes fælleskabet DK+FO+GL?
    S: De to andre prøver at slippe ud af det, så det er vel reelt ikke noget fællesskab?

  5. GL+FO's hjemmestyre?
    S: Hvis man kommer fra Kurdistan er det måske interessant hvor DK ser på minoriteter, ellers er det næppe værd at have med.

  6. GL+FO's MF'er?
    S: Tænk sig at der er nogen der fået løn for at fomulere det spørgsmål.

7: Islands medlemskab?
S: Det er bare ikke væsentligt. Norge smuttede også og årstallet er evigt ligegyldigt.

8: Myndighedsalder?
S: Godt spørgsmål. Det bør alle vide.

9: Censur?
S: Godt spørgsmål. Ja det har vi masser af, til trods for at det står i Grundloven at vi ikke har.

10: Forskelsbehandling?
S: Loven siger nej. Praksis er noget andet. Velkommen til, der er masser af uretfærdighed at tage sig af.

Jeg finder det nærmest pinligt at måtte indrømme at jeg finder 2 af spørgsmålene gode, men ret skal være ret. De andre spørgsmål er helt ligegyldige og bære præg af at være udfærdiget af nogle gamle nisser der ikke helt forstår hvad de egentlig spørger folk om.

Bedre spørgsmål ønskes.

  • 0
  • 0