Logo DBNL
Methodologie (1961)

Methodologie

(1961)–A.D. de Groot–rechtenstatus Auteursrechtelijk beschermd

Vorige Volgende

7. Verzamelen en bewerken van materiaal

7;1 Objectieve vragen en antwoorden

7;1;1 De kunst van het vragen stellen: precodering.

Wij wenden ons nu tot een speciaal vraagstuk, opnieuw van objectiviteit (en relevantie), namelijk dat van de objectieve (7;1 en 7;2), of althans ‘zo intersubjectief mogelijke’ (7;3) technieken van materiaal-verzameling en -bewerking. Wij hebben in 6; 1 ;3 gezien, dat dit probleem kan worden opgevat als een onderdeel van dat van de objectieve instrumentele realisering van begrippen. Wanneer men waarneemt, materiaal verzamelt en bewerkt, zo was de overweging, dan doet men dit in het kader van een toetsingsonderzoek, om ‘iets’ te bepalen, namelijk de waarde van een variabele - die correspondeert met een begrip. Dit onderdeel is echter zo belangrijk, dat het een eigen hoofdstuk verdient; zij het, dat dit hoofdstuk direct aansluit op het in 6;2 behandelde.

Een terminologische opmerking vooraf: wij zullen in het vervolg bij voorkeur van ‘materiaal verzamelen’ spreken en termen als ‘waarneming’, ‘bewerking van waarnemingsuitkomsten’ en ‘observatie’ zo veel mogelijk vermijden. De laatste term met name blijve gereserveerd voor directe gedrags- en situatie-observatie; en; in dit boek, vooral ook voor de ‘vrije’, creatieve en niet noodzakelijkerwijze objectieve vorm van observatie, die karakteristiek is of althans kan zijn voor de hypothesevorming in de eerste fase (vgl. 1;4;2 en hoofdstuk 2). Van een normatieve behandeling van objectieve materiaal-verzamelings-technieken onder een titel als ‘objectieve observatie’ zou gemakkelijk de suggestie kunnen uitgaan - en gaat in Amerikaanse publikaties maar al te vaak, al dan niet

bedoeld, de suggestie uit1 - dat alle observatie per se objectief moet zijn in de technische zin. Dit zou corresponderen met de aanbeveling om, óók voor de theorie- en hypothesevorming, uitsluitend te letten op ‘respectabele’, objectieve experimentele uitkomsten en de ogen te sluiten voor alles wat observatie daarbuiten kan opleveren - een aanbeveling, die sommigen helaas schijnen op te volgen, maar die niet met de strekking van dit boek correspondeert.

 

Ons eerste onderwerp is dus: de methodiek van de objectieve materiaalverzameling, of de kunst van het stellen van, objectieve en relevante, vragen. Daarbij denken wij, om de gedachten te bepalen, in de eerste plaats aan vragen aan personen, proefpersonen of respondenten, zoals die in het sociaal-wetenschappelijk onderzoek gesteld worden. Wij zullen zulke afzonderlijke, enkelvoudige vragen, conform het spraakgebruik met betrekking tot tests en questionaires, items noemen, ongeacht de aard van de variabele, waar het om gaat. Het kan zijn, dat het antwoord op één item, eventueel na codering, reeds de waarde van de te bepalen variabele zelf oplevert; het kan ook zijn, zoals bij de meeste tests, dat antwoorden op verschillende items gecombineerd moeten worden om de variabele te krijgen. Hoewel de in het volgende aangehouden terminologie en behandelingswijze in hoofdzaak is afgestemd op (schriftelijke) test- of enquête-variabelen, waarvan items de kleinste elementen vormen, houde de lezer in het oog, dat de meeste overwegingen precies zo van toepassing zijn op vragen, waarbij geen schriftelijk, maar een mondeling of een ander (keuze-)gedragsantwoord wordt verlangd, bijvoorbeeld in een interview of in een experimentele situatie.

Het zal zonder meer duidelijk zijn, dat voor items de eenvoudigste en in feite de enige radicale oplossing van het objectiviteitsprobleem - vgl. de ‘machine’-definitie in 6;2;1 - die van de geprecodeerde vraagvorm is. Daarbij heeft de respondent of de proefpersoon voor zijn antwoord (reactie) slechts te kiezen tussen een aantal vooraf opgestelde alternatieven. Er zijn geen grensgevallen, ieder antwoord valt in een vooraf bepaalde

categorie, er is geen ‘uitweg’ uit de keuze. Vaak is trouwens bij de alternatieven zelf voorzien in, als noodzakelijk beschouwde, uitwegen; bijvoorbeeld de bekende categorie ‘Geen mening’, naast ‘Ja’ en ‘Neen’, bij opinie-onderzoek, of een rest-categorie: ‘andere’ (naast reeds genoemde mogelijkheden) of ‘geen van allen’, bijvoorbeeld bij een enquête naar liefhebberijen, of studiegewoonten, of lees-gewoonten, enz.

De voordelen van de geprecodeerde vraagvorm, uit een oogpunt van objectiviteit en, niet minder, van gemakkelijke hanteerbaarheid, zijn evident. Maar, gaat er door alle vragen in zo'n keurslijf te persen, niet voor veel doeleinden belangrijke kwalitatieve informatie verloren? Verliest de vraagstelling niet noodzakelijkerwijze veel, en in bepaalde gevallen te veel, van haar relevantie?

Lange tijd hebben velen inderdaad gemeend, dat de geprecodeerde vraagvorm op zichzelf al, in vergelijking tot de ‘open’ vraag (of situatie) het karakter van een Procrustesbed moest hebben. Het risico, dat men het hoofd van de gast zou moeten afhakken om hem op maat te krijgen, het risico dus van een ernstig verlies aan relevantie, is stellig aanwezig; maar het bleek minder groot en minder onoverkomelijk dan velen aanvankelijk meenden.

Zo bleek bijvoorbeeld de vraagvorm ‘meervoudige keuze’ op het gebied van de toetsing van vorderingen niet alléén bruikbaar voor het onderzoek van simpele parate kennis (Hoe heette de stichter van de psychoanalyse? 1. Adler; 2. Jung; 3. Freud; 4. Lewin), maar ook voor vrij complexe vragen, die werkelijk inzicht in de materie en een vrij grondige doordenking vergen. Bijvoorbeeld, uit een chemie-test van Amerikaanse makelij:

 

Aanwijzingen: Elke vraag bestaat uit een bewering in de linker-kolom en een aangegeven oorzaak in de rechter-kolom. Kies steeds:

 

Aals ‘bewering’ en ‘oorzaak’ beide waar zijn èn inderdaad als oorzaak en gevolg verbonden;
Bals ‘bewering’ en ‘oorzaak’ beide op zichzelf waar zijn, maar niet oorzaak en gevolg van elkaar;
Cals de ‘bewering’ waar is, maar de ‘oorzaak’ een onjuiste bewering is;
Dals de ‘bewering’ onwaar is, maar de ‘oorzaak’ een juiste bewering is;
Eals beide beweringen onwaar zijn.

Samenvatting

A Waar Waar Oorzaak en gevolg
B Waar Waar Niet oorzaak en gevolg
C Waar Onwaar  
D Onwaar Waar  
E Onwaar Onwaar  

Bewering Oorzaak
1. Produktie van chloor door elektrolyse van pekel is mogelijk omdat natriumchloride een onstabiele verbinding is
2. Koolstof is een goede reductor omdat koolstof in verschillende allotrope modificaties voorkomt
3. Elementen uit de bovenste helft van het periodiek systeem kunnen niet radioactief worden gemaakt omdat er grote aantallen protonen in de kern aanwezig moeten zijn om kunstmatige radioactiviteit te kunnen induceren
4. Kopersulfaat wordt een zuur zout genoemd omdat een oplossing ervan blauwe lakmoes rood kleurt

Dit is uiteraard slechts één item uit een lange reeks, zodat het risico, dat een proefpersoon de juiste antwoorden door ‘raden’ vindt, sterk wordt verminderd (vgl. de groot 1959b).

Ook op andere gebieden dan dat van de prestatie-test is de vaardigheid in het omzetten van open; ongestructureerde vragen in een geprecodeerde vorm, zonder veel verlies aan relevantie, sterk toegenomen. Het principe is steeds hetzelfde: men werkt de onbepaalde veelheid van antwoordmogelijkheden, die zich voordoet in geval van een open vraag - aan de proefpersoon, aan de respondent, of ook aan het materiaal, of de situatie - om tot een keuze uit een beperkt aantal mogelijkheden, die het gebied van gevallen die zich kunnen voordoen categoriaal dekken. Dikwijls wordt als techniek om geen relevante categorieën per vraag en/of geen relevante items in een vragenreeks te missen, vooraf een vooronderzoek ingesteld met open vragen; bijvoorbeeld een aantal zgn. ‘vrije’ interviews vóórdat tot een geprecodeerde interview-vorm wordt overgegaan, of een reeks ‘open’ levensbeschrijvingen op schrift voordat levensloop-gegevens in een geprecodeerde vorm worden gevraagd. Men

komt dan de belangrijkste antwoord-categorieën op het spoor. Verder kan men dan door met een relatief groot aantal vragen te werken, ten eerste, iedere gewenste graad van gedifferentieerdheid, ten tweede, iedere vorm van antwoord-samengesteldheid bereiken, terwijl men, ten derde, het grote voordeel heeft, dat allerlei betrouwbaarheids- en consistentie-controles in het instrument kunnen worden ingebouwd (vgl. ook 7;3;5).

De gevarieerdheid van tegenwoordig gangbare vraagvormen voor experimenten, tests, mondelinge en schriftelijke enquêtes, attitudeschalen, levensloop-questionaires, enz. is zo groot, dat het onmogelijk is een volledig beeld te geven. Men kan bijvoorbeeld een proefpersoon of respondent laten kiezen: één uit n (dikwijls 4 of 5) gegeven alternatieven (multiple choice, meervoudige keuze), of bijvoorbeeld de twee of drie meest adequate uit n mogelijkheden (‘pick two (three)’, vgl. coombs 1953). Men kan hem bovendien de gekozen mogelijkheden, of ook alle gegeven mogelijkheden, laten rangschikken (‘order k (out of n)’, met eventueel k = n). Men kan hem, wanneer twee reeksen van bijvoorbeeld n resp. m elementen gegeven zijn (n ≤ m), bij ieder van de n-reeks het bijbehorende uit de m-reeks laten kiezen (matching, vgl. b.v. spitz 1953); bijvoorbeeld een reeks begrippen of kwalificaties laten toevoegen aan een reeks beschrijvingen van gevallen. Staat men bij dit laatste herhalingen toe, dan wordt het weer een toepassing van meervoudige keuze, met dien verstande, dat voor elk element van de n-reeks dezelfde m alternatieven beschikbaar zijn; de conditie n ≤ m kan nu vervallen. Evenzo gaat het geval van keuze van één, twee of meer mogelijkheden uit n, indien het aantal te kiezen elementen in het midden wordt gelaten, over in n vragen van het Ja-Nee-type: voor elk element moet nu worden vastgesteld of het wordt gekozen of niet (in feite multiple choice met twee alternatieven). Verder kunnen de elementen, waaruit moet worden gekozen, kwalitatief verschillen of een graderings-schaal vormen, naar sterkte, tussen twee tegengestelde polen (b.v. osgood e.a. 1957), of naar zekerheid van oordeel of stellingname. Men kan ook een keuze tussen A en B combineren met een zekerheids-gradering: ‘zeker A’, ‘waarschijnlijk A’, ‘vermoedelijk A’, ‘onzeker’, ‘vermoedelijk B’, ‘waarschijnlijk B’, ‘zeker B’. Er zijn vele andere manieren, waarop objectieve vraagvormen kunnen worden gecombineerd; vandaar vooral de grote variatie. Het heeft weinig zin van al deze mogelijke vormen voorbeelden te geven; de lezer zij verwezen naar

de literatuur (b.v. adkins 1947 en guilford 1954 voor tests; torgerson 1960 vooral voor psychofysische experimenten en attitudeschalen; coombs 1953 en 1961 voor een systematiek van vraagvormen op allerlei gebied). Het is niet overdreven te zeggen, dat in de tegenwoordige experimentele test- en enquête-techniek het keuzeprincipe - precodering van de vraagstelling - vrijwel overal de boventoon voert, zeker voor zover het toetsings-onderzoek betreft. Belangrijk is daarbij de bevinding, dat de objectieve vraagvormen, indien met voldoende raffinement gehanteerd, veel rekbaarder en veelzijdiger zijn gebleken dan men aanvankelijk verwachtte.

Natuurlijk zijn niet alle problemen met deze ontwikkeling opgelost. Het technische probleem, hoe men zulke vragen bedenkt, in een geschikte vorm giet, schift en controleert op hun bruikbaarheid (validiteit en betrouwbaarheid, zie hoofdstuk 8) en eventueel samenstelt tot een adequaat instrument, kunnen wij hier laten rusten. Enerzijds zijn daar handboeken voor (b.v. lindquist 1959), anderzijds is dit een kwestie van een zekere inventiviteit en verder vooral van door ervaring verworven vaardigheid - één van de bekwaamheden, die de goed getrainde sociaal-wetenschappelijke onderzoeker moet bezitten. Er blijven echter nog andere vragen te stellen: Waar liggen de grenzen van de bruikbaarheid van precodering? Kan men op deze wijze, bijvoorbeeld, ook vat krijgen op produktieve c.q. creatieve processen, of gaat door de reductie tot een keuze noodzakelijkerwijze het produktieve moment geheel of gedeeltelijk verloren?1

Deze en dergelijke vragen kunnen echter beter worden behandeld aan de hand van de hierna volgende bespreking van andere methoden van materiaal-verzameling en - bewerking. Het feit, dat er zulke andere methoden zijn, geeft reeds een deel van het antwoord: Precodering, in allerlei vormen, kan weliswaar veel vaker met succes worden toegepast dan men in Nederland gewoonlijk meent, maar stellig niet voor alle typen (toetsings-)problemen.

7;1;2 De kunst van het antwoorden krijgen: codering.

Even belangrijk als de kunst van het vragen stellen aan personen is de kunst van het ontlokken van objectieve antwoorden aan reeds verkregen materiaal, of codering als bewerkingstechniek.1 Deze methode is in de eerste plaats van belang voor de bewerking van materiaal, dat voor andere dan wetenschappelijke onderzoekdoeleinden werd geproduceerd. Men kan dit materiaal dan ‘op geprecodeerde vragen laten antwoorden’, d.w.z. volgens een vooraf opgesteld objectief systeem van kenmerken zodanig behandelen, dat voor ieder exemplaar op ieder onderdeel (iedere vraag, iedere variabele) een objectieve score wordt verkregen. Stel - fictief voorbeeld - dat iemand de hypothese, dat artisten meer egocentrisch zijn dan wetenschapsbeoefenaars, wil toetsen aan de hem ter beschikking staande collecties van brieven van een aantal reeds gestorven personen. Hij heeft die brieven nog niet gezien, maar hij stelt vooraf vast, dat hij als één operationele definitie van ‘egocentriciteit’ zal gebruiken de relatieve frequentie in die brieven van de woorden ‘ik’, ‘mij’ en ‘mijn’. Of een dergelijk onderzoek zin heeft is nu niet aan de orde; het zal echter duidelijk zijn, dat hij hiermee een objectieve code heeft geprepareerd. Ieder woord in de voor toetsing te onderzoeken brieven, geeft een objectief ‘antwoord’: het is òf één van deze drie woorden (1), of niet (0).

Dergelijke objectieve coderingsmethoden, zij het meestal wel van ingewikkelder structuur, zijn inderdaad in gebruik, onder meer in de statistische branches van de literatuur- en taalwetenschap (herdan 1958), maar vooral in de sociale- en gedragswetenschappen in engere zin. Natuurlijk variëren de gezichtspunten, waaronder het onderzoek wordt verricht, en daarmee de begrippen, die via een dergelijke codering instrumenteel worden gerealiseerd. De literatuur-onderzoeker zal het misschien te doen zijn om bepaalde stijl- of vocabulaire-eigenaardigheden van een schrijver en om vergelijking van teksten, de taalgeleerde misschien om de toetsing van hypothesen over kenmerken van verschillende talen, zo niet - in de technisch-toegepaste sfeer - om het bepalen van taal-parameters, die men nodig heeft voor de constructie van vertaalmachines. In

de sociale wetenschappen, met name in de leer van de communicatiemiddelen, heeft zich een heel systeem van coderings-technieken ontwikkeld, dat men gewoonlijk met de term inhoudsanalyse (content analysis, vgl. cartwright 1953) aanduidt. Men heeft op dit gebied tot dusverre vooral gewerkt met verbaal materiaal afkomstig van de massa-communicatiemiddelen: kranten, tijdschriften, radio. Het ging daarbij meestal om de instrumentele realisering van begrippen als ‘aandacht’ en ‘attitude’ t.o.v. bepaalde (b.v. politieke) onderwerpen, ‘verschuivingen’ (trends) daarin, ‘vooroordelen’, en dergelijke. Deze beperking naar onderwerp en gebied betekent echter allerminst, dat inhoudsanalyse alleen hiervoor bruikbaar zou zijn. Integendeel, toepassing op andere gebieden en in andere wetenschappen - geschiedenis, sociologie, literatuur-wetenschap, psychologie - is mogelijk, en van een ruimer gebruik ervan is nog veel te verwachten.

Methoden van codering en inhoudsanalyse worden niet alléén toegepast op reeds bestaande, voor andere dan wetenschappelijke onderzoekdoeleinden verkregen materialen. Behalve brieven kan men natuurlijk ook niet-geprecodeerde interview-, enquête-, test-materialen en andere experimenteel verkregen protocollen objectief bewerken, bijvoorbeeld op gekleurde uitdrukkingen, uitingen van attitudes c.q. vooroordelen ten aanzien van bepaalde onderwerpen, of op eigenaardigheden in het taalgebruik, waarvan wordt aangenomen, dat zij persoonlijke kwaliteiten uitdrukken (vgl. b.v. van lennep en houwink 1955). Eén van de oudste voorbeelden van althans gedeeltelijk objectieve codering van open materiaal is de bewerking van de Rorschach-test (rorschach 1921; klopfer en kelly 1946). Eén van de factoren, die ertoe hebben meegewerkt, dat deze test, gedurende tientallen jaren, opgang heeft gemaakt en tot zoveel research heeft gestimuleerd, was ongetwijfeld de combinatie van zijn experimentele maar toch ‘vrije’ en psychologisch aansprekende vorm, met een vaste en deels objectieve bepaling van formele categorieën. Rorschach's voorbeeld is door vele andere constructeurs en bewerkers van ‘vrije’ tests gevolgd. Weliswaar is men teruggekomen van de verwachting, dat op deze wijze bruikbare, vaste persoonlijkheidsvariabelen zouden kunnen worden verkregen. Doordat zulke vrije, open tests niet primair op de bepaling van variabelen zijn ingericht, missen de eruit afgeleide indices de voor dit doel nodige betrouwbaarheid en/of begripsvaliditeit (zie 8;2 en 8;3). Het komt echter wel voor, dat een bepaalde

vrije test aangewezen lijkt voor de constructie van een aan het bedoelde begrip adequate index. Voor de statistische toetsing van hypothesen aan een niet te klein materiaal behoeft dan een relatief lage betrouwbaarheid geen groot bezwaar te zijn. (Vergelijk b.v. sommige van de door Atkinson gerapporteerde onderzoekingen over de prestatie-behoefte gemeten aan T.A.T.-indices, atkinson 1958).

Ook bij vele andere typen onderzoekingen worden coderingsmethoden toegepast. Men behoeft bijvoorbeeld in een enquête slechts een enkele niet geprecodeerde vraag op te nemen, al is het maar een eenvoudige invulling (b.v. ‘Welke vooropleiding hebt U genoten?’), of er doet zich een classificatie- en coderings-probleem voor. Behalve op antwoorden in de verwachte, voor de hand liggende categoriën (voor studenten b.v.: H.B.S. A of B, of Gymnasium A of B) moet men altijd rekenen op een zeker aantal bijzonderheden of grensgevallen (b.v. personen met meer dan één diploma, of met buitenlandse diploma's). Evenals bij de uitschakeling van oneigenlijke gevallen (6;3;4) - wat in ons voorbeeld-geval ook een oplossing zou kunnen zijn - wordt voor objectieve codering vereist, dat het systeem met categorieën vooraf klaarligt, zodat ieder geval mechanisch-objectief kan worden ingedeeld (vgl. echter 7; 1; 3).

Hoewel codering van ‘vrij’ materiaal weer een andere, belangrijke mogelijkheid biedt voor de objectieve instrumentele realisering van begrippen, en hoewel de technische vaardigheid ook op dit gebied sterk is toegenomen, moet men de eraan verbonden problemen niet onderschatten. Zodra het om wat meer abstracte, ‘intrinsieke’ begrippen gaat, doet zich ook hier de spanning tussen objectiviteit en relevantie gevoelen. Vaak is het bijzonder moeilijk of omslachtig, soms ook werkelijk onmogelijk een objectief coderings- (of scorings-)systeem te ontwerpen, dat toch nog tot voldoende relevante variabelen leidt.

Bij experimenteel te verkrijgen materiaal doet zich bovendien, wanneer het coderingssysteem ten slotte geheel of ten naaste bij is opgezet, de vraag voor of het niet verstandiger is, als men dan toch tot een objectieve variabele komt, om de vraagvorm erop in te richten - dus b.v.: een multiple-choice-Rorschach; een geprecodeerde questionaire in plaats van een achteraf gecodeerd gesprek, opstel, of open vragen; een keuze uit vijf antwoorden bij een wiskunde-opgave in plaats van de vraag om het goede antwoord, enz. Daarop is allereerst te zeggen, opnieuw, dat de geprecodeerde vorm voor de meeste toetsings- (en ook voor vele toe-

passings-)doeleinden inderdaad grote voordelen heeft, die, althans in Nederland, nog lang niet ten volle worden gerealiseerd en benut. Het is echter niet helemaal juist, dat daar waar een (objectieve) codering tot stand gekomen is, óók een omzetting in geprecodeerde vraagvorm mogelijk zou zijn geweest, zònder verlies aan relevantie. In Amerikaanse vorderingen-tests verkiest men in dit opzicht nogal eens objectiviteit boven relevantie. Men vindt, bijvoorbeeld, bij een wiskundige vraag als: ‘Voor welke waarden van x is y = x2 + 2x - 8 positief?’ in een test een keuze van vijf mogelijke antwoorden aangegeven, waarvan de juiste moet(en) worden aangestreept. De overweging is dan, dat de vraag, zo gesteld, objectief en ‘foolproof’ is - wat de corrector betreft - terwijl een scoring van een open beantwoording, ook al let men alléén op het antwoord, tot grensgevallen, halve oplossingen en andere beoordelingsproblemen aanleiding kan geven, die alleen door een vrij gecompliceerd (coderings-)systeem van correctie-voorschriften objectief zijn op te lossen. Dit is ongetwijfeld juist; maar het is óók juist, dat de opgave van inhoud verandert - en aan echt-wiskundige betekenis verliest - door er een keuze- in plaats van een produktie-vraag van te maken. Er kunnen dus wel degelijk redenen zijn om zgn. ‘semi-objectieve’ vraagvormen als ‘aanvulling’, en ‘kort (open) antwoord’ te handhaven, óók als een objectieve codering van antwoorden mogelijk is.

Meestal is het motief om open vraagvormen te handhaven, intussen, dat een objectieve codering, een objectieve instrumentele realisering van het bedoelde begrip niet mogelijk wordt geacht. In feite zijn bijvoorbeeld vele Rorschach-indices (b.v. Elizur's hostility-index, vgl. 5;2;3), en trouwens ook vele inhouds-analyse-variabelen, niet gebaseerd op strikt objectieve coderings-voorschriften. Er komen wel degelijk beoordelingen aan te pas, al zijn die ook tot een minimum beperkt. De problemen, die hieraan verbonden zijn, komen echter nog afzonderlijk aan de orde (7;3).

7;1;3 Codering ad hoc.

Tot zover hebben wij aangenomen, dat de objectieve codering, alsmede de daarop aansluitende bewerking, was vastgesteld onafhankelijk van de bevindingen in de steekproef. In geval van precodering spreekt het vanzelf, dat deze voorwaarde vervuld is; in geval van codering is het echter van belang het onderscheid tussen de in 7;1;2 besproken codering en de nu te behandelen codering-ad-hoc goed in het oog te houden.

De voorwaarde: onafhankelijkheid van de steekproef-bevindingen, komt er in feite dikwijls op neer, dat de onderzoeker of diens medewerker, die de te volgen objectieve methode van categorisering, codering en/of scoring opstelt, het steekproef-materiaal ‘nog niet gezien’ mag hebben. Het gaat hier om de opsteller van het coderings-systeem, niet om de uitvoerder (zoals bij beoordelings-procedures, vgl. 7;3), aangezien wij nog steeds aannemen, dat het systeem zelf objectief is, d.w.z. desgewenst zou kunnen worden omgezet in een machine-programma. In het geval van de collectie brieven, die moeten dienen om een egocentriciteits-hypothese te toetsen (7;1;2), behelst de voorwaarde, dat het idee om de woorden ‘ik’, ‘mij’ en ‘mijn’ een speciale code te geven en te tellen, niet mag zijn ontstaan nà lezing van de brieven. Is dat wel het geval, dan kan de toetsing niet meer geschieden aan ‘nieuw materiaal’ (vgl. 1;4;5), en bestaat het risico, dat men kapitaliseert op de toevalligheden van juist deze collectie (steekproef).

Bij experimentele toetsings-onderzoekingen is het in het algemeen mogelijk en noodzakelijk de onafhankelijkheidsvoorwaarde strikt te handhaven. Men legt vooraf tot in precieze, objectieve instructies vast: hoe men de steekproef zal trekken (6;3;3); op grond van welke criteria men eventueel gevallen zal uitschakelen (6;3;4); hoe men per geval - d.i. per protocol, per materiaal-eenheid - kenmerken zal bepalen en daarnaar zal classificeren (7;1;2), daar waar géén precodering (7;1;1) is verricht; hoe bepaalde experimentele condities operationeel gedefinieerd zullen zijn en hoe de verschillende variabelen zullen worden bepaald (vgl. ook hoofdstuk 8). De objectieve instrumenten voor alle hierbij te nemen beslissingen liggen klaar.

Deze ideale toestand is echter niet altijd te realiseren. Zelfs bij laboratorium-experimenten kan men niet altijd àlle details van de instrumentele realisering van àlle begrippen vooraf vastleggen. Bij vele onderzoekingen, bij enquêtes en bij bewerkingen van bestaande, niet-experimentele materialen is dit vaak nog moeilijker. Het kan gebeuren, dat zekere onderdelen niet vooraf geregeld konden worden of althans niet geregeld waren; en vooral ook, dat men zich genoodzaakt ziet van reeds gemaakte regelingen af te wijken. Men is dan wel genoodzaakt tot een, objectieve, codering ad hoc.

De eenvoudigste gevallen zijn die van een herclassificatie van het steekproef-materiaal naar een kenmerk, dat reeds volgens de opzet

objectief werd ‘gemeten’ (zie 7;2;2). Een codering van ‘godsdienst’ voorzag bijvoorbeeld in een indeling in 4 klassen: R.K., Gereformeerd, Hervormd, Geen godsdienst - maar men besluit bij de bewerking alleen ‘R.K.’ en ‘niet-R.K.’ te onderscheiden, wegens het, niet voorziene, geringe aantal gevallen in de steekproef, in bijvoorbeeld twee van de drie laatste klassen. Of: in een laboratorium-onderzoek wordt volgens het plan de tijdsduur van bepaalde processen opgenomen in minuten - maar men besluit, misschien mede op grond van de in de steekproef gevonden verdeling, alleen ‘korte’ en ‘lange’ tijden te definiëren en te gebruiken; een wijziging, die misschien ook leidt tot gebruik van een andere statistische toets dan de oorspronkelijk in de opzet vastgelegde. Dit soort ad hoc beslissingen komt zeer veel voor.

Zo simpel en schijnbaar triviaal als zulke beslissings-problemen zijn, zij verdienen toch speciale aandacht; evenals de beslissingen van uitschakeling van gevallen uit de steekproef (6;3;4), die trouwens desgewenst onder de coderings-beslissingen te rekenen zijn. Evenals daar, wordt ook hier door de wijziging in de classificatie een vergeten of niet voorziene ‘factor’ ingevoerd, een verandering in een operationele definitie aangebracht; en evenals daar is het risico - òòk wanneer de wijziging uit een oogpunt van ‘mechanische objectiviteit’ (6;2;1) vlekkeloos is - dat in de nieuwe, ad hoc veranderde classificatie(-machine) een oncontroleerbare contaminatie wordt ingebouwd. Daarbij ligt het accent op het ‘oncontroleerbare’ (vgl. 1;3): het is immers niet gebruikelijk per variabele de toegepaste classificatie uitvoerig toe te lichten in de rapportering. De kritiek heeft er geen vat op, als ad hoc aangebrachte wijzigingen niet als zodanig worden medegedeeld.

Het gevaar is uiteraard, dat zo'n beslissing wordt genomen, niet (alleen) op grond van verdelings-kenmerken van de ene variabele, waarvan men de operationele definitie verandert, maar (ook) omdat men reeds een, misschien vage, indruk heeft, dat het zo ‘beter uitkomt’. Heeft men bijvoorbeeld al de indruk, dat in het materiaal niets blijkt van een volgens de hypothese òòk voorspeld verschil tussen protestanten en buitenkerkelijken, terwijl de katholieke groep duidelijk een afwijkende positie inneemt, conform de hypothese, dan is de samentrekking van de twee eerstgenoemde groepen tot ‘niet-R.K.’ verdacht en misleidend. Evenzo bij het voorbeeld van de brieven. Men kan de gegeven operationele definitie van egocentrïciteit (‘ik’, ‘mij’, ‘mijn’) niet meer onbevooroordeeld kiezen

uit een aantal mogelijkheden, noch haar veranderen (door b.v. alleen op de frequentie van ‘ik’ te letten), als men de brieven reeds heeft gezien. De moeilijkheid is, dat juist bij zulke simpele detail-beslissingen de contaminatie ongemerkt kan binnensluipen, òòk bij een onderzoeker, die geheel ‘te goeder trouw’ is.

De methodologische aanbevelingen, die ter voorkoming van deze helaas frequente fout - om weer niet te spreken van opzettelijk knoeien met gegevens - kunnen worden verstrekt, zijn in principe dezelfde als die ten aanzien van objectieve uitschakeling (vgl. 6;3;4):

(1)Men vermijde codering ad hoc zoveel mogelijk, d.w.z. men trachte de beslissingen vooraf te nemen (vgl. 5;1;4).
(2)Als dit onmogelijk is, kan men:
a)de beslissing delegeren aan een niet-gecontamineerde medewerker of collega, of:
b)de beslissing baseren op logische, objectieve gronden, zó, dat contaminatie uitgesloten kan worden geacht - in deze volgorde van voorkeur,
(3)Als ook dit onmogelijk is, rapportere men tenminste open over de ad hoc codering, die men heeft toegepast en men bewerke zo mogelijk het toetsingsmateriaal óók volgens de oorspronkelijke coderings-methode, en rapportere de uitkomsten daarvan.

Deze aanbevelingen, met uitzondering van de tweede helft van (3), gelden a fortiori voor gevallen waarin in het geheel géén coderingsmethode vooraf was opgesteld. Vooral het eerste advies is van belang: Doe het liever niet. Men kan, ook bij reeds bestaand materiaal, dikwijls het beste zo te werk gaan, dat een deel ervan wordt afgezonderd om daaraan, in een vooronderzoek dus (vgl. 5;1;4), een coderings-methode te ontwikkelen. Wordt dit verzuimd, dan zijn ook afgezien van contaminatie-problemen allerlei moeilijkheden te verwachten. Eén van de meest gemaakte fouten in overigens goedbedoelde onderzoekingen - en dit geldt grotendeels ook voor exploratie-onderzoekingen (vgl. 2;2;3 en 2;2;4) - is, dat men besluit eerst een interessant, ‘rijk’ materiaal te verzamelen en de ‘details’ van de beslissingen hoe men dit zal bewerken om conclusies te trekken (hypothesen te toetsen, of ook hypothesen op te stellen, het materiaal te structureren) uitstelt totdat het verkregen is. De, in zulke gevallen vaak onbetwistbare ‘rijkdom’ van het materiaal - introspectie-protocollen, beantwoordingen van open enquête-vragen,

uit het leven gegrepen gegevens, en dgl. - contrasteert dan maar al te dikwijls pijnlijk met de armoede van de conclusies, die men kan trekken (b.v. rapport overlading in het onderwijs 1957).

 

Hiermee is niet gezegd, dat zulke procedures onmogelijk of per se nutteloos zijn. In descriptief en/of exploratief gerichte onderzoekingen zijn ze soms noodzakelijk, zij het bijzonder moeilijk goed te behandelen (vgl. 9;1;4 en 9;1;5). In het kader van toetsingsonderzoekingen echter moet codering ad hoc, in welke vorm ook, zoveel mogelijk, en liefst geheel, worden vermeden.


Vorige Volgende