Šta znači valjanost. Kako ispraviti najčešće greške

Valjanost je u svojoj suštini kompleksna karakteristika, koja uključuje, s jedne strane, informaciju o tome da li je tehnika pogodna za mjerenje onoga za šta je stvorena, as druge strane kolika je njena efektivnost, efikasnost i praktična korisnost.

Provjera valjanosti tehnike naziva se validacija.

Za provođenje pragmatične validacije metodologije, odnosno za procjenu njene djelotvornosti, efikasnosti, praktičnog značaja, obično se koristi nezavisni vanjski kriterij - pokazatelj ispoljavanja proučavanog svojstva u Svakodnevni život. Takav kriterijum može biti i akademski učinak (za testove sposobnosti učenja, testove postignuća, testove inteligencije), i proizvodna postignuća (za metode profesionalne orijentacije), i efektivnost stvarne aktivnosti - crtanje, modeliranje itd. (za testove posebnih sposobnosti ), subjektivne procjene (za testove ličnosti).

4 vrste eksternih kriterijuma:

1. kriterijumi učinka (oni mogu uključivati ​​kao što su količina obavljenog posla, akademski učinak, vrijeme provedeno na obuci, stopa rasta kvalifikacija, itd.);
2. subjektivni kriterijumi (oni uključuju različite vrste odgovori koji odražavaju stav osobe prema nečemu ili nekome, njegovo mišljenje, stavove, sklonosti; obično se subjektivni kriterijumi dobijaju putem intervjua, upitnika, upitnika);
3. fiziološki kriterijumi (koriste se u proučavanju efekta okruženje i druge situacijske varijable na ljudsko tijelo i psihu; mjere se puls, krvni tlak, električni otpor kože, simptomi umora, itd.);
4. kriterijumi slučajnosti (primjenjuju se kada se svrha studije tiče, na primjer, problema odabira za posao osoba koje su manje sklone nezgodama).

empirijska validnost.

Ako, u slučaju valjanosti sadržaja, test ocjenjuju stručnjaci (koji utvrđuju korespondenciju testnih zadataka sa sadržajem predmeta mjerenja), tada se empirijska valjanost uvijek mjeri pomoću statističke korelacije: korelacije dvije serije vrijednosti izračunava se - bodovi za test i indikatori za eksterni parametar izabrana kao kriterijum validnosti.

konstruktivna valjanost.

Valjanost konstrukcije ima veze sa samom teoretskom konstrukcijom i uključuje traženje faktora koji objašnjavaju ponašanje prilikom izvođenja testa. Kao poseban tip, konstruktivna valjanost kanonizirana je u članku Cronbacha i Mil (1955). Autori su ovom vrstom validnosti procijenili sve testne studije koje nisu bile direktno usmjerene na predviđanje nekih značajnih kriterija. Studija je sadržavala informacije o psihološkim konstruktima.

Valjanost "po sadržaju".

Valjanost sadržaja zahtijeva da svaka stavka, problem ili pitanje koje pripada određenoj oblasti ima jednake šanse da bude test stavka. Valjanost sadržaja ocjenjuje usklađenost sadržaja testa (zadataka, pitanja) sa mjerenim područjem ponašanja. Testovi koje sastavljaju dva razvojna tima provode se na uzorku ispitanika. Pouzdanost testova se izračunava dijeljenjem stavki na dva dijela, što rezultira indeksom valjanosti sadržaja.

"Prognostička" valjanost.

"Predviđena" valjanost je također određena prilično pouzdanim vanjskim kriterijem, ali informacije o tome se prikupljaju neko vrijeme nakon testa. Eksterni kriterijum je obično sposobnost osobe, izražena u nekim procenama, za vrstu delatnosti za koju je izabrana na osnovu rezultata dijagnostičkih testova. Iako je ova tehnika najprikladnija za zadatak dijagnostičke tehnike – predviđanje budućeg uspjeha, vrlo ju je teško primijeniti. Tačnost prognoze je obrnuto proporcionalna vremenu datom za takvo predviđanje. Što više vremena prođe nakon mjerenja, to velika količina faktori se moraju uzeti u obzir kada se procjenjuje prognostički značaj tehnike. Međutim, gotovo je nemoguće uzeti u obzir sve faktore koji utiču na predviđanje.

"Retrospektivna" valjanost.

Određuje se na osnovu kriterijuma koji odražava događaje ili stanje kvaliteta u prošlosti. Može se koristiti za brzo dobijanje informacija o prediktivnim sposobnostima tehnike. Dakle, provjeriti u kojoj mjeri dobri rezultati test sposobnosti odgovara brzo učenje, možete uporediti prošle ocjene, prošla mišljenja stručnjaka itd. kod osoba sa visokim i niskim ovog trenutka dijagnostički indikatori.

konvergentna i diskriminantna valjanost.

Način na koji psiholog definira dijagnostički konstrukt određuje strategiju uključivanja određenih stavki u test. Ako Eysenck svojstvo "neuroticizam" definira kao nezavisno od ekstraverzije-introverzije, onda to znači da bi u njegovom upitniku trebao biti približno jednak broj stavki sa kojima će se složiti neurotični introverti i neurotični ekstraverti. Ako se u praksi pokaže da će testom dominirati stavke iz kvadranta "Neuroticizam-Introverzija", onda, sa stanovišta Eysenckove teorije, to znači da se faktor "neuroticizma" ispostavi da je opterećen irelevantnim faktor - "introverzija". (Potpuno isti efekat se javlja ako postoji pristranost u uzorku – ako u njemu ima više neurotičnih introverta nego neurotičnih ekstraverta.)

Kako ne bi nailazili na takve poteškoće, psiholozi bi željeli da se pozabave takvim empirijskim pokazateljima (tačkama) koji nedvosmisleno informišu samo o jednom faktoru. Ali ovaj zahtjev nikada nije stvarno ispunjen: ispostavlja se da je bilo koji empirijski pokazatelj određen ne samo faktorom koji nam je potreban, već i drugim - nerelevantnim za zadatak mjerenja.

Dakle, u odnosu na faktore koji su konceptualno definisani kao ortogonalni u odnosu na mjereno (koji se javljaju kod njega u svim kombinacijama), kompajler testa mora primijeniti strategiju vještačkog balansiranja prilikom odabira stavki.

Korespondencija bodova sa izmjerenim faktorom obezbjeđuje konvergentna validnost test. Ravnoteža stavki u odnosu na irelevantne faktore daje diskriminatornu valjanost. Empirijski se izražava u odsustvu značajne korelacije sa testom koji meri konceptualno nezavisno svojstvo.

Osoba koristi različite metode i alate kako bi provjerila ili izmjerila neku vrstu kvaliteta. Stepen do kojeg su ova tehnika i alat u stanju da proizvedu kvalitativne rezultate ukazuje na njihovu valjanost. Šta ovaj koncept znači u psihologiji? Koje su vrste valjanosti? U psihologiji, ovo svojstvo je obično primjenjivo na testove i metode koje koriste stručnjaci.

Šta je valjanost?

Koncept koji se razmatra ima mnogo definicija. Šta je valjanost? To je prikladnost i valjanost primjene neke tehnike ili rezultata u određenoj situaciji. Primijenjena vrijednost data reč– stepen usklađenosti rezultata i metoda sa postavljenim zadacima.

Valjanost je još jedno mjerenje koje mjeri specifične kvalitete. Dakle, tehnika ima za cilj mjerenje specifičnog kvaliteta, kao što je inteligencija, a njena valjanost bi trebala pokazati koliko dobro tehnika pomaže u postizanju rezultata.

Drugim riječima, valjanost se može nazvati pouzdanošću. Mjeri one testove i metode koje mjere određene psihološke kvalitete. Što bolje mjere kvalitete koje mjere, to je njihova valjanost veća.

Valjanost postaje važna u dva slučaja:

1. Kada se razvije određena tehnika.
2. Kada određena tehnika pokaže rezultate, potrebno je utvrditi koliko su ti rezultati dobri.

Dakle, valjanost je karakteristika koja ukazuje na prikladnost određene tehnike za mjerenje nekog kvaliteta i korisnost, kvalitet i djelotvornost ove tehnike.

Obično se nekoliko tipova validnosti koristi za validaciju određenog testa ili tehnike. Takođe upoređuje indikatore koje daju različiti alati. Postoji mnogo načina za mjerenje određene psihološke kvalitete ili karakteristike. Psiholozi će češće koristiti metodu koja daje pouzdanije rezultate. Ovo će pokazati njegovu visoku valjanost.

Zajedno sa valjanošću, često se razmatra koncept kao što je pouzdanost. Metode i testovi moraju biti pouzdani, odnosno moraju biti konstantni, pouzdani. Eksperimentator mora biti siguran da uzima u obzir upravo onu kvalitetu koju želi uzeti u obzir. Zbog toga pouzdanost možda nije uvijek važeća, ali valjanost uvijek mora biti pouzdana.

Valjanost u psihologiji

Valjanost se koristi u mnogim oblastima života, gdje se mjere različiti pokazatelji. U psihologiji, valjanost također postaje neophodna, posebno u eksperimentalnoj psihologiji. Valjanost u psihologiji je:

• povjerenje eksperimentatora da mjeri kvalitet koji mu je potreban;
• pouzdanost indikatora koji mjere ovaj kvalitet.

Ako je čitalac ikada prošao psihološke testove, onda zna za unutrašnju želju da dobije konkretan odgovor na postavljeno pitanje. Valjanost testa pokazuje eksperimentatoru konkretan rezultat koji postiže testiranjem. Evo stoji konkretan zadatak, odgovor na koji bi trebao dobiti nakon izvršenja svih potrebnih radnji.

Metode i testovi trebaju biti korisni i valjani, što se mjeri njihovom valjanošću.

Postoje tri načina da provjerite valjanost:

1. Procjena valjanosti sadržaja je korespondencija rezultata procjene subjekta sa stvarnim kvalitetima koji se pojavljuju u stvarnosti. Ovdje se koristi koncept kao što je facijalna valjanost - osoba mora vidjeti stvarnu vezu između sadržaja same metodologije i njenih rezultata i stvarnosti, u kojoj se očituje izmjereni kvalitet.
2. Procjena valjanosti konstrukta je utvrđivanje da tehnika izračunava konstrukte zasnovane na dokazima i unaprijed određene konstrukcije. Konvergentna validacija omogućava upotrebu nekoliko tehnika koje uzimaju u obzir slične karakteristike i daju preciznije rezultate razmatranog kvaliteta. Diskriminantna validacija isključuje druge tehnike koje razmatraju kvalitete koji nisu u korelaciji sa željenim kvalitetom.
3. Procjena validnosti kriterijuma je korespondencija rezultata sa očekivanim indikatorima, koji se otkrivaju na druge načine. Ovdje se koristi prediktivna valjanost, koja pomaže u predviđanju budućeg ponašanja.

Vrste valjanosti

Postoji nekoliko vrsta valjanosti, o kojima ćemo govoriti u nastavku:

1. Eksterna validnost je generalizacija zaključka situacije, populacije, nezavisnih varijabli. Dijeli se na:

• operativna valjanost.
• Konstruktivna validnost - objašnjenje ponašanja osobe u trenutku polaganja testa.

1. Interna validnost - promena tokom eksperimenta pod uticajem nepromenljivih faktora.
2. diferencijalna valjanost.
3. inkrementalna valjanost.
4. Ekološka valjanost je pokazatelj da je osoba sposobna da izvrši razne aktivnosti koja može biti uspješna u jednoj situaciji, a ne u drugoj.

Ovu klasifikaciju koristi eksperimentalna psihologija. Organizacijska psihologija i psihodijagnostika koriste drugačiju klasifikaciju:

1. konstruktivna valjanost. Dijeli se na:

• konvergentna validnost.
• divergentna validnost.

1. Kriterijum (empirijska) validnost - izračunavanje korelacije po skorovu na testu eksternog parametra koji je izabran kao validan indikator. Dijeli se na:

• Trenutna valjanost - proučavanje parametra u sadašnjem vremenu.
• Retrospektivna valjanost - stanje ili događaj koji se dogodio u prošlosti.
• Prediktivna valjanost - predviđanje ponašanja, kvaliteta.

1. Valjanost sadržaja - koristi se u eksperimentima gdje se uzima u obzir neka interakcija, aktivnost. Ima podvrstu:

• očigledna valjanost.

Ostale vrste valjanosti su:

• A priori.
• Kongruentno.
• Povezano.
• Konstruktivno.
• Konsenzus.
• Faktorski.
• teorijski, itd.

Šta je validnost testa?

Mnogi ljudi se testiraju. Postoje posebni psihološki testovi koje koriste psiholozi i drugi tabloidni testovi. Koja je valjanost testa, koji je njegov važan kriterij? Ovo je pokazatelj korespondencije karakteristike, kvaliteta, svojstva testu koji ih mjeri.

Testovi su različiti. Koriste se za mjerenje psihofizioloških parametara osobe. Najviša validnost ostaje 80%. Korisnost korištenja testova postaje kada vam omogućavaju da dobijete tačne podatke o određenim specifičnim karakteristikama. Postoji nekoliko pristupa proučavanju validnosti testa:

1. Konstruktivna valjanost, koja vam omogućava da dublje proučite kvalitete osobe u situaciji, aktivnosti, sistemu.
2. Valjanost po kriteriju - proučavanje parametra u sadašnjem vremenu i predviđanje u budućnosti.
3. Sadržajna valjanost je korespondencija psiholoških konstrukata, njihova raznolikost.
4. Prediktivna valjanost - predviđa razvoj određenog kvaliteta u budućnosti, što je teško jer se može različito razvijati kod različitih ljudi.

Dok se ne utvrdi pouzdanost i validnost testa, on se ne koristi u psihološkoj praksi. Mnogo zavisi od oblasti u kojima se testovi primenjuju. Postoje obrazovni, stručni i drugi testovi koji se koriste u pojedinim institucijama za predviđanje i utvrđivanje karakteristika kandidata.

Na stranici psihološke pomoći možete polagati i testove koji već imaju visoku valjanost i pokazuju pouzdane rezultate.

Šta je validnost metode?

Šta je validnost metode? Ovo je indikator koji pokazuje da li tehnika koja se razmatra proučava kvalitet, karakteristike za koje je namijenjena. Istovremeno, naglasak je stavljen na činjenicu da ispitanik može sebe vidjeti i okarakterizirati drugačije. Zato rezultati ne uzimaju uvijek u obzir mišljenje ljudi koji kod sebe možda ne primjećuju određene karakteristike.

Validacija je provjera valjanosti metodologije. Za utvrđivanje efektivnosti, efikasnosti, praktičnosti korištene metodologije koristi se vanjski nezavisni indikator - kvalitet koji se promatra u svakodnevnom životu. Postoje 4 vrste eksternih indikatora:

1. Kriterijum uspješnosti je utrošeno vrijeme, količina posla, nivo akademskog uspjeha, rast profesionalnih vještina itd.
2. Subjektivni kriterijumi - mišljenje, stavovi, preferencije, stav subjekta prema nekome ili nečemu. Ovdje se koriste upitnici, intervjui, upitnici.
3. Fiziološki kriteriji - utjecaj vanjskog svijeta na psihu i ljudsko tijelo. Mjeri puls, brzinu disanja, simptome umora itd.
4. Kriterij slučajnosti – da li je moguće, na primjer, odabrati osobe koje nisu sklone nezgodama? Proučavanje uticaja određenog slučaja.

Teorijski pristup u mjerenju valjanosti metoda omogućava nam da prepoznamo da li tehnologija zaista proučava kvalitet za koji je namijenjena.

Valjanost je određena i pojavom proučavanog kvaliteta. Dobro je ako je uobičajena, što čini tehniku ​​neophodnom i korisnom. Etičke i kulturne promjene u društvu također postaju važne.

Ishod

U psihološkoj praksi često se koriste testovi i tehnike kao pomoć u proučavanju ličnosti osobe. Ovdje govorimo posebno o interni parametri koji nisu vidljivi oku. karakterne osobine, držanje, moguća prognoza za budućnost, šta će čovek biti i kakav će biti njegov život - sve se to proučava raznim testovima i metodama koje slede jedan rezultat - proučavanje osobe.

Rezultat uspješnog utvrđivanja valjanosti određenog instrumenta je uspješno poznavanje svake osobe, bez obzira na to kako na sebe gleda. Ljudi često ne primjećuju određene kvalitete u sebi, rijetko na sebe gledaju trezvenim pogledom. Testovi i tehnike vam omogućavaju da otkrijete pojedinačne parametre.

Prognoza valjanih testova i metoda je brzo i kvalitetno poznavanje druge osobe sa mogućnošću da joj pomogne u rješavanju bilo kojeg psihičkog problema. To se neće postići uskoro, ali su dostupni alati već pokazali svoju efikasnost. Obično ovo pitanje zanima samo one ljude koji su uključeni u određivanje kvalitete testova i metoda. Međutim, i običnim ljudima će biti korisno da znaju kojim vježbama treba vjerovati, a kojim ne.

Ulaznica broj 9

Upitnici motivacije i njihove karakteristike.

Upitnici motiva - grupa upitnika dizajniranih za dijagnosticiranje motivacijsko-potrebne sfere osobe, koja vam omogućava da ustanovite na što je usmjerena aktivnost pojedinca (motivi kao razlozi koji određuju izbor smjera ponašanja). Osim toga, od velike je važnosti i pitanje kako se reguliše dinamika ponašanja. U ovom slučaju se često pribjegava mjerenju stavova. Razvoj upitnika motiva u psihodijagnostici je u velikoj mjeri povezan s potrebom procjene utjecaja faktora „socijalne poželjnosti“, koji ima stavovnu prirodu i smanjuje pouzdanost podataka dobijenih korištenjem upitnika ličnosti. Najpoznatiji upitnici motiva uključuju „Listu ličnih preferencija” koju je razvio A. Edwards (1954), koji je dizajniran da izmjeri „snagu” potreba pozajmljenih sa liste koju je predložio G. Murray za test tematske apercepcije. Ove potrebe uključuju, na primjer, potrebu za uspjehom, poštovanjem, vođstvom, itd. “Snaga” svake potrebe nije izražena u apsolutne vrijednosti, ali s obzirom na „snagu“ drugih potreba, tj. koriste se lični indikatori. Za proučavanje uloge faktora “društvene poželjnosti”, A. Edwards (1957) je predložio poseban upitnik. Široko se koriste i drugi upitnici motiva, na primjer, D. Jacksonov obrazac za proučavanje ličnosti (1967), upitnici A. Mehrabyana (1970) itd.

Nakon pouzdanosti, drugi ključni kriterij za ocjenu kvaliteta metoda je validnost. O pitanju valjanosti metodologije odlučuje se tek nakon što se utvrdi njena dovoljna pouzdanost, jer nepouzdana metodologija ne može biti validna. Ali najpouzdanija tehnika bez poznavanja njene valjanosti je praktički beskorisna.

Treba napomenuti da se pitanje valjanosti donedavno čini jednim od najtežih. Najukorijenjenija definicija ovog koncepta je ona koja je data u knjizi A. Anastasija: “Valjanost testa je koncept koji nam govori šta test mjeri i koliko dobro to radi.”

Iz tog razloga, ne postoji jedinstven univerzalni pristup određivanju valjanosti. U zavisnosti od toga koju stranu valjanosti istraživač želi da razmotri, koriste se i različite metode dokazivanja. Drugim riječima, koncept valjanosti uključuje njegove različite vrste, koje imaju svoje posebno značenje. Provjera valjanosti tehnike naziva se validacija.

Validnost je u svom prvom smislu vezana za samu metodologiju, odnosno valjanost mjernog alata. Ova provjera se naziva teorijska validacija. Valjanost se već u drugom smislu odnosi ne toliko na metodologiju koliko na svrhu njene upotrebe. Ovo je pragmatična validacija.

Sumirajući, možemo reći sljedeće:

u teorijskoj validaciji, istraživača zanima sama osobina mjerena tehnikom. To, u suštini, znači da se vrši stvarna psihološka validacija;

sa pragmatičnom validacijom, suština subjekta merenja (psihološka svojstva) je van vidokruga. Glavni fokus je dizajniran da dokaže da nešto što se mjeri tehnikom ima veze s određenim područjima prakse.

Provođenje teorijske validacije, za razliku od pragmatičke validacije, ponekad je mnogo teže. Ne ulazeći za sada u konkretne detalje, hajde da pogledamo uopšteno govoreći o tome kako se provjerava pragmatična valjanost: odabire se neki vanjski kriterij neovisno o metodologiji koji određuje uspjeh u određenoj djelatnosti (obrazovnoj, stručnoj itd.), te se s njim upoređuju rezultati dijagnostičke metodologije. Ako se povezanost između njih prepozna kao zadovoljavajuća, onda se zaključuje o praktičnom značaju, efikasnosti i djelotvornosti dijagnostičke tehnike.

Za određivanje teorijske valjanosti mnogo je teže pronaći bilo koji nezavisan kriterij koji se nalazi izvan metodologije. Stoga, u ranim fazama razvoja testologije, kada se koncept valjanosti tek formirao, postojala je intuitivna ideja da test mjeri:

1) tehnika je nazvana validnom, jer je ono što meri jednostavno očigledno;

2) dokaz validnosti je zasnovan na uverenju istraživača da njegov metod omogućava razumevanje subjekta;

3) metodologija je smatrana validnom (tj. prihvaćena je tvrdnja da taj i takav test mjeri taj i takav kvalitet) samo zato što je teorija na osnovu koje je metodologija izgrađena vrlo dobra.

Prihvatanje navoda o valjanosti metodologije nije se moglo nastaviti dugo vrijeme. Prve manifestacije istinski naučne kritike razotkrile su ovaj pristup: počela je potraga za naučno čvrstim dokazima.

Dakle, sprovesti teorijsku validaciju metodologije znači dokazati da metodologija meri upravo ono svojstvo, kvalitet koji bi, prema nameri istraživača, trebalo da meri.

Tako, na primjer, ako je napravljen test za dijagnosticiranje mentalnog razvoja djece, potrebno je analizirati da li on zaista mjeri taj razvoj, a ne neke druge osobine (npr. ličnost, karakter i sl.). Dakle, za teorijsku validaciju kardinalni problem je odnos između psiholoških fenomena i njihovih indikatora, preko kojih se te psihološke pojave pokušavaju spoznati. To pokazuje koliko se namjera autora i rezultati metodologije podudaraju.

Nije tako teško teoretski potvrditi novu metodu ako je mjerenje datoj imovini već postoji metoda s dokazanom valjanošću. Prisustvo korelacije između nove i slične već testirane metode ukazuje da razvijena metoda mjeri isti psihološki kvalitet kao referentna. I ako nova metoda istovremeno se ispostavlja da je kompaktniji i ekonomičniji u izvođenju i obradi rezultata, tada psihodijagnostika dobija priliku da koristi novi alat umjesto starog.

Ali teorijska valjanost se dokazuje ne samo poređenjem sa srodnim pokazateljima, već i sa onima kod kojih je, na osnovu hipoteze, smislene veze ne smije biti. Dakle, za testiranje teorijske validnosti važno je, s jedne strane, utvrditi stepen povezanosti sa srodnom tehnikom (konvergentna validnost) i odsustvo tog odnosa sa metodama koje imaju drugačiju teorijsku osnovu (diskriminantna validnost).

Mnogo je teže izvršiti teorijsku validaciju metode kada je takav način verifikacije nemoguć. Najčešće je to situacija sa kojom se istraživač suočava. U takvim okolnostima, tek postupno prikupljanje različitih informacija o svojstvu koje se proučava, analiza teorijskih premisa i eksperimentalnih podataka, te značajno iskustvo u radu sa tehnikom omogućavaju otkrivanje njenog psihološkog značenja.

Važna uloga razumjeti šta tehnika mjeri, poređenje njenih indikatora sa praktični oblici aktivnosti. Ali ovdje je posebno važno da metodologija bude temeljno razrađena u teorijskom smislu, odnosno da postoji čvrsta, dobro utemeljena naučna osnova. Zatim, kada se metodologija uporedi sa eksternim kriterijumom preuzetim iz svakodnevne prakse, koji odgovara onome što ona meri, mogu se dobiti informacije koje potkrepljuju teorijske ideje o njenoj suštini.

Važno je zapamtiti da ako se dokaže teorijska valjanost, onda interpretacija dobijenih pokazatelja postaje jasnija i nedvosmislenija, a naziv metodologije odgovara opsegu njene primjene. Što se tiče pragmatičke validacije, ona podrazumeva testiranje metodologije u smislu njene praktične efikasnosti, značaja, korisnosti, jer dijagnostičku tehniku ​​ima smisla koristiti samo kada se dokaže da se svojstvo koje se meri manifestuje u određenim životnim situacijama, u određenim tipovima. aktivnosti. Tome se pridaje veliki značaj, posebno tamo gde se postavlja pitanje selekcije.

Ako se ponovo osvrnemo na istoriju razvoja testologije, onda možemo izdvojiti period (20-30-te godine 20. veka) kada su naučni sadržaji testova i njihov teorijski prtljag bili manje interesantni. Bilo je važno da je test uspio i pomogao da se brzo izaberu najspremniji ljudi. Empirijski kriterijum za vrednovanje test zadataka smatran je jedinom pravom smernicom u rešavanju naučnih i primenjenih problema.

Upotreba dijagnostičkih metoda sa čisto empirijskim opravdanjem, bez jasne teorijske osnove, često je dovodila do pseudonaučnih zaključaka, do neopravdanih zaključaka. praktične preporuke. Bilo je nemoguće tačno imenovati te karakteristike, kvalitete koje su testovi otkrili. U suštini, to su bila suđenja na slijepo.

Ovaj pristup problemu validnosti testa bio je tipičan sve do ranih 1950-ih. 20ti vijek ne samo u SAD, već iu drugim zemljama. Teorijska slabost empirijskih metoda validacije nije mogla a da ne izazove kritiku onih naučnika koji su u razvoju testova pozivali da se oslanjaju ne samo na goli empirizam i praksu, već i na teorijski koncept. Praksa bez teorije je slijepa, a teorija bez prakse je mrtva. Trenutno se teorijska i praktična procjena valjanosti metoda percipira kao najproduktivnija.

Za provođenje pragmatične validacije metodologije, odnosno za procjenu njene djelotvornosti, efikasnosti, praktičnog značaja, obično se koristi nezavisni vanjski kriterij - pokazatelj ispoljavanja proučavanog svojstva u svakodnevnom životu. Takav kriterijum može biti i akademski učinak (za testove sposobnosti učenja, testove postignuća, testove inteligencije), i proizvodna postignuća (za metode profesionalne orijentacije), i efektivnost stvarne aktivnosti - crtanje, modeliranje itd. (za testove posebnih sposobnosti ), subjektivne procjene (za testove ličnosti).

Američki istraživači D. Tiffin i E. McCormick, nakon analize vanjskih kriterija korištenih za dokazivanje valjanosti, razlikuju četiri tipa njih [prema 31):

1) kriterijumi učinka (mogu da obuhvataju kao što su obim obavljenog posla, akademski uspeh, vreme provedeno na obuci, stopa rasta kvalifikacija i sl.);

2) subjektivni kriterijumi (obuhvataju različite vrste odgovora koji odražavaju stav osobe prema nečemu ili nekome, njegovo mišljenje, stavove, sklonosti; najčešće se subjektivni kriterijumi dobijaju putem intervjua, upitnika, upitnika);

3) fiziološki kriterijumi (koriste se za proučavanje uticaja okoline i drugih situacionih varijabli na ljudski organizam i psihu; mere se puls, krvni pritisak, električni otpor kože, simptomi umora i dr.);

4) kriterijum slučajnosti (primjenjuju se kada se svrha studije tiče, na primjer, problema odabira za posao osoba koje su manje sklone nezgodama).

Eksterni kriterijum mora ispuniti tri osnovna uslova:

mora biti relevantno;

bez smetnji;

pouzdan.

Relevantnost se odnosi na semantičku korespondenciju dijagnostičkog alata nezavisnom vitalnom kriterijumu. Drugim riječima, mora postojati uvjerenje da kriteriji uključuju upravo one karakteristike individualne psihe koje se mjere i dijagnostičkom tehnikom. Eksterni kriterijum i dijagnostička tehnika moraju biti u internoj semantičkoj korespondenciji jedni s drugima, biti kvalitativno homogeni u psihološkoj suštini. Ako, na primjer, test mjeri individualne karakteristike mišljenja, sposobnost izvođenja logičkih radnji određene objekte, pojmova, onda je u kriterijumima potrebno tražiti ispoljavanje upravo ovih veština. Ovo se podjednako odnosi na profesionalna aktivnost. Ona nema jedan, već nekoliko ciljeva, zadataka, od kojih je svaki specifičan i nameće svoje uslove za realizaciju. To podrazumijeva postojanje više kriterija za obavljanje profesionalne djelatnosti. Stoga ne treba uspoređivati ​​uspješnost dijagnostičkih metoda s efikasnošću proizvodnje općenito. Neophodno je pronaći kriterijum koji je po prirodi izvedenih operacija uporediv sa metodologijom.

Ako se po eksternom kriterijumu ne zna da li je on relevantan za izmereno svojstvo ili ne, onda poređenje rezultata psihodijagnostičke tehnike sa njim postaje praktično beskorisno. To ne dozvoljava da se dođe do bilo kakvih zaključaka koji bi mogli ocijeniti valjanost metodologije.

Zahtjevi slobode od smetnji uzrokovani su činjenicom da, na primjer, obrazovni ili industrijski uspjeh zavisi od dvije varijable: od same osobe, njenih individualnih karakteristika, mjerenih metodama, i od situacije, uslova studiranja, rada, koji može unijeti smetnje, „zagaditi“ primijenjeni kriterij. Da bi se to donekle izbjeglo, za istraživanje treba odabrati grupe ljudi koji se nalaze u manje-više istim uslovima. Možete koristiti i drugu metodu. Sastoji se u ispravljanju uticaja smetnji. Ovo prilagođavanje je obično statističke prirode. Tako, na primjer, produktivnost ne treba uzimati u apsolutnom iznosu, već u odnosu na prosječnu produktivnost radnika koji rade u sličnim uslovima.

Kada se kaže da kriterijum mora imati statistički značajnu pouzdanost, to znači da mora odražavati konstantnost i stabilnost funkcije koja se proučava.

Potraga za adekvatnim i lako prepoznatljivim kriterijumom jedan je od najvažnijih i složeni zadaci validacija. U zapadnoj testologiji mnoge metode su diskvalificirane samo zato što nisu mogle pronaći odgovarajući kriterij za njihovo testiranje. Na primjer, za većinu upitnika upitni su podaci o njihovoj valjanosti, jer je teško pronaći adekvatan vanjski kriterij koji odgovara onome što mjere.

Procjena valjanosti metoda može biti kvantitativna i kvalitativna.

Za izračunavanje kvantitativnog pokazatelja - koeficijenta valjanosti - rezultati dobijeni dijagnostičkom tehnikom upoređuju se sa podacima dobijenim po eksternom kriterijumu istih osoba. Koriste se različite vrste linearne korelacije (prema Spearmanu, prema Pearsonu).

Koliko predmeta je potrebno za izračunavanje valjanosti?

Praksa je pokazala da ih ne bi trebalo biti manje od 50, ali je najbolje više od 200. Često se postavlja pitanje kolika bi trebala biti vrijednost koeficijenta validnosti da bi se smatrao prihvatljivim? Generalno, napominje se da je dovoljno da koeficijent valjanosti bude statistički značajan. Koeficijent valjanosti od oko 0,20-0,30 prepoznaje se kao nizak, 0,30-0,50 kao srednji, a preko 0,60 kao visok.

Ali, kako A. Anastasi, K. M. Gurevich i drugi naglašavaju, nije uvijek ispravno koristiti linearnu korelaciju za izračunavanje koeficijenta valjanosti. Ova tehnika je opravdana samo kada se dokaže da je uspjeh u nekoj aktivnosti direktno proporcionalan uspjehu u obavljanju dijagnostičkog testa. Položaj stranih testologa, posebno onih koji se bave stručnom osposobljenošću i profesionalnom selekcijom, najčešće se svodi na bezuslovno priznanje da je za profesiju pogodniji onaj ko je uradio najviše zadataka na testu. Ali može biti i da je za uspjeh u nekoj aktivnosti potrebno imati svojstvo na nivou od 40% testnog rješenja. Dalji uspjeh na ispitu više nije bitan za profesiju. Ilustrativan primjer iz monografije K. M. Gurevicha: poštar mora znati čitati, ali više nije od profesionalnog značaja da li čita normalnom ili vrlo velikom brzinom. Sa takvom korelacijom indikatora metodologije i eksternog kriterijuma, najadekvatniji način utvrđivanja valjanosti može biti kriterijum razlika.

Moguć je i drugi slučaj: viši nivo imovine nego što to zahtijeva struka ometa profesionalni uspjeh. Dakle, u zoru 20. veka. Američki istraživač F. Taylor otkrio je da najrazvijeniji radnici u proizvodnji imaju niska produktivnost rad. Odnosno, visok nivo njihovog mentalnog razvoja sprečavao ih je da rade visoko produktivno. U ovom slučaju, analiza varijanse ili proračun korelacijskih odnosa bi bili prikladniji za izračunavanje koeficijenta valjanosti.

Kao što je pokazalo iskustvo stranih testologa, niti jedan statistički postupak ne može u potpunosti odraziti različitost pojedinačnih procjena. Stoga se za dokazivanje valjanosti metoda često koristi drugi model – kliničke procjene. Ovo nije ništa drugo do kvalitativni opis suštine proučavanog svojstva. U ovom slučaju govorimo o upotrebi tehnika koje nisu zasnovane na statističkoj obradi.

Vrste valjanosti

Valjanost je u svojoj suštini kompleksna karakteristika, koja uključuje, s jedne strane, informaciju o tome da li je tehnika pogodna za mjerenje onoga za šta je stvorena, as druge strane kolika je njena efektivnost, efikasnost i praktična korisnost.

Provjera valjanosti tehnike naziva se validacija.

Za provođenje pragmatične validacije metodologije, odnosno za procjenu njene djelotvornosti, efikasnosti, praktičnog značaja, obično se koristi nezavisni vanjski kriterij - pokazatelj ispoljavanja proučavanog svojstva u svakodnevnom životu. Takav kriterijum može biti i akademski učinak (za testove sposobnosti učenja, testove postignuća, testove inteligencije), i proizvodna postignuća (za metode profesionalne orijentacije), i efektivnost stvarne aktivnosti - crtanje, modeliranje itd. (za testove posebnih sposobnosti ), subjektivne procjene (za testove ličnosti).

4 vrste eksternih kriterijuma:

kriterijumi učinka (oni mogu uključivati ​​kao što su količina obavljenog posla, akademski učinak, vrijeme provedeno na obuci, stopa rasta kvalifikacija, itd.);

subjektivni kriterijumi (obuhvataju različite vrste odgovora koji odražavaju stav osobe prema nečemu ili nekome, njeno mišljenje, stavove, preferencije; najčešće se subjektivni kriterijumi dobijaju putem intervjua, upitnika, upitnika);

fiziološki kriterijumi (koriste se za proučavanje uticaja okoline i drugih situacionih varijabli na ljudski organizam i psihu; mere se puls, krvni pritisak, električni otpor kože, simptomi umora itd.);

kriterijumi slučajnosti (primjenjuju se kada se svrha studije tiče, na primjer, problema odabira za posao osoba koje su manje sklone nezgodama).

empirijska validnost.

Ako, u slučaju valjanosti sadržaja, test ocjenjuju stručnjaci (koji utvrđuju korespondenciju testnih zadataka sa sadržajem predmeta mjerenja), tada se empirijska valjanost uvijek mjeri pomoću statističke korelacije: korelacije dvije serije vrijednosti izračunava se - rezultati testova i indikatori za eksterni parametar izabran kao kriterijum validnosti.

konstruktivna valjanost.

Valjanost konstrukcije ima veze sa samom teoretskom konstrukcijom i uključuje traženje faktora koji objašnjavaju ponašanje prilikom izvođenja testa. Kao poseban tip, konstruktivna valjanost kanonizirana je u članku Cronbacha i Mil (1955). Autori su ovom vrstom validnosti procijenili sve testne studije koje nisu bile direktno usmjerene na predviđanje nekih značajnih kriterija. Studija je sadržavala informacije o psihološkim konstruktima.

Valjanost "po sadržaju".

Valjanost sadržaja zahtijeva da svaka stavka, problem ili pitanje koje pripada određenoj oblasti ima jednake šanse da bude test stavka. Valjanost sadržaja ocjenjuje usklađenost sadržaja testa (zadataka, pitanja) sa mjerenim područjem ponašanja. Testovi koje sastavljaju dva razvojna tima provode se na uzorku ispitanika. Pouzdanost testova se izračunava dijeljenjem stavki na dva dijela, što rezultira indeksom valjanosti sadržaja.

"Prognostička" valjanost.

"Predviđena" valjanost je također određena prilično pouzdanim vanjskim kriterijem, ali informacije o tome se prikupljaju neko vrijeme nakon testa. Eksterni kriterijum je obično sposobnost osobe, izražena u nekim procenama, za vrstu delatnosti za koju je izabrana na osnovu rezultata dijagnostičkih testova. Iako je ova tehnika najprikladnija za zadatak dijagnostičke tehnike – predviđanje budućeg uspjeha, vrlo ju je teško primijeniti. Tačnost prognoze je obrnuto proporcionalna vremenu datom za takvo predviđanje. Što više vremena prođe nakon mjerenja, to se više faktora mora uzeti u obzir prilikom procjene prognostičkog značaja tehnike. Međutim, gotovo je nemoguće uzeti u obzir sve faktore koji utiču na predviđanje.

"Retrospektivna" valjanost.

Određuje se na osnovu kriterijuma koji odražava događaje ili stanje kvaliteta u prošlosti. Može se koristiti za brzo dobijanje informacija o prediktivnim sposobnostima tehnike. Stoga, da bi se testiralo u kojoj mjeri dobri rezultati na testu sposobnosti odgovaraju brzom učenju, može se uporediti prethodne ocjene, prošla mišljenja stručnjaka i tako dalje. kod osoba sa visokim i niskim dijagnostičkim pokazateljima u ovom trenutku.

konvergentna i diskriminantna valjanost.

Način na koji psiholog definira dijagnostički konstrukt određuje strategiju uključivanja određenih stavki u test. Ako Eysenck svojstvo "neuroticizam" definira kao nezavisno od ekstraverzije-introverzije, onda to znači da bi u njegovom upitniku trebao biti približno jednak broj stavki sa kojima će se složiti neurotični introverti i neurotični ekstraverti. Ako se u praksi pokaže da će testom dominirati stavke iz kvadranta "Neuroticizam-Introverzija", onda, sa stanovišta Eysenckove teorije, to znači da se faktor "neuroticizma" ispostavi da je opterećen irelevantnim faktor - "introverzija". (Potpuno isti efekat se javlja ako postoji pristranost u uzorku – ako u njemu ima više neurotičnih introverta nego neurotičnih ekstraverta.)

Kako ne bi nailazili na takve poteškoće, psiholozi bi željeli da se pozabave takvim empirijskim pokazateljima (tačkama) koji nedvosmisleno informišu samo o jednom faktoru. Ali ovaj zahtjev nikada nije stvarno ispunjen: ispostavlja se da je bilo koji empirijski pokazatelj određen ne samo faktorom koji nam je potreban, već i drugim - nerelevantnim za zadatak mjerenja.

Dakle, u odnosu na faktore koji su konceptualno definisani kao ortogonalni u odnosu na mjereno (koji se javljaju kod njega u svim kombinacijama), kompajler testa mora primijeniti strategiju vještačkog balansiranja prilikom odabira stavki.

Korespondencija stavki sa izmjerenim faktorom osigurava konvergentnu valjanost testa. Ravnoteža stavki u odnosu na irelevantne faktore daje diskriminatornu valjanost. Empirijski se izražava u odsustvu značajne korelacije sa testom koji meri konceptualno nezavisno svojstvo.

Vrste valjanosti

Postoji nekoliko vrsta validnosti zbog posebnosti dijagnostičkih metoda, kao i zbog privremenog statusa eksternog kriterijuma.; U Cherny, 1983; "Opća psihodijagnostika", 1987, itd.) najčešće se nazivaju:

1. Važenje "po sadržaju". Ova tehnika se uglavnom koristi u testovima postignuća. Obično testovi postignuća ne obuhvataju sav materijal koji su učenici položili, već neki njegov manji dio (3-4 pitanja). Da li je moguće biti siguran da tačni odgovori na ovih nekoliko pitanja svjedoče o asimilaciji cjelokupnog gradiva. Na ovo bi trebala odgovoriti provjera valjanosti sadržaja. Da bi se to postiglo, uspjeh testa se upoređuje sa stručnim ocjenama nastavnika (prema ovaj materijal). Valjanost "prema sadržaju" važi i za testove zasnovane na kriterijumima. Ova tehnika se ponekad naziva logičkom valjanošću.

2. Valjanost "istovremenosti", ili trenutna valjanost, određena je eksternim kriterijem prema kojem se informacije prikupljaju u isto vrijeme kada se eksperimenti sa metodom ispitivanja. Drugim riječima, prikupljaju se podaci koji se odnose na trenutni učinak u testnom periodu, učinak u istom periodu, itd. Rezultati uspjeha na testu su u korelaciji s tim.

3. „Prediktivna“ valjanost (drugi naziv je „prediktivna“ valjanost). Također je određen prilično pouzdanim vanjskim kriterijem, ali informacije o njemu se prikupljaju neko vrijeme nakon testa. Eksterni kriterijum je obično sposobnost osobe, izražena u nekim procenama, za vrstu delatnosti za koju je izabrana na osnovu rezultata dijagnostičkih testova. Iako je ova tehnika najprikladnija za zadatak dijagnostičke tehnike – predviđanje budućeg uspjeha, vrlo ju je teško primijeniti. Tačnost prognoze je obrnuto proporcionalna vremenu datom za takvo predviđanje. Što više vremena prođe nakon mjerenja, to se više faktora mora uzeti u obzir prilikom procjene prognostičkog značaja tehnike. Međutim, gotovo je nemoguće uzeti u obzir sve faktore koji utiču na predviđanje.

4. "Retrospektivna" valjanost. Određuje se na osnovu kriterijuma koji odražava događaje ili stanje kvaliteta u prošlosti. Može se koristiti za brzo dobijanje informacija o prediktivnim sposobnostima tehnike. Stoga, da bi se testiralo u kojoj mjeri dobri rezultati na testu sposobnosti odgovaraju brzom učenju, može se uporediti prethodne ocjene, prošla mišljenja stručnjaka i tako dalje. kod osoba sa visokim i niskim dijagnostičkim pokazateljima u ovom trenutku.

Korelacija

Korelacija (korelaciona zavisnost) - statistički odnos dve ili više slučajnih varijabli (ili varijabli koje se kao takve mogu smatrati sa nekim prihvatljivim stepenom tačnosti). Istovremeno, promjene vrijednosti jedne ili više ovih veličina dovode do sistematske promjene vrijednosti druge ili drugih veličina. Matematička mjera korelacije dvije slučajne varijable je korelacijski odnos, odnosno koeficijent korelacije (ili). Ako promjena jedne slučajne varijable ne dovodi do regularne promjene druge slučajne varijable, već dovodi do promjene druge statističke karakteristike ove slučajne varijable, tada takvu vezu ne smatra se koreliranim, iako je statistički.

Po prvi put, termin "korelacija" uveo je u naučnu cirkulaciju francuski paleontolog Georges Cuvier u 18. vijeku. Razvio je "zakon korelacije" dijelova i organa živih bića, uz pomoć kojeg je moguće vratiti izgled fosilne životinje, raspolažući samo dijelom njenih ostataka. U statistici, riječ "korelacija" prvi je upotrijebio engleski biolog i statističar Francis Galton krajem 19. stoljeća.

Neki tipovi koeficijenata korelacije mogu biti pozitivni ili negativni (moguće je i da ne postoji statistička veza - na primjer, za nezavisne slučajne varijable). Ako se pretpostavi da je na vrijednostima varijabli specificiran strogi odnos reda, onda je negativna korelacija korelacija u kojoj je povećanje jedne varijable povezano sa smanjenjem druge varijable, dok koeficijent korelacije može biti negativan; pozitivna korelacija u takvim uslovima - korelacija u kojoj je povećanje jedne varijable povezano sa povećanjem druge varijable, dok koeficijent korelacije može biti pozitivan.

*Pouzdanost i validnost testa su karakteristike usklađenosti studije sa formalnim kriterijumima koji određuju kvalitet i pogodnost za upotrebu u praksi.

Šta je pouzdanost

U toku provjere pouzdanosti testa, vrši se procjena postojanosti rezultata dobijenih pri ponovljenom testu. Nepodudarnosti podataka treba da izostanu ili da budu beznačajne. U suprotnom, nemoguće je s povjerenjem tretirati rezultate testa.

Pouzdanost testa je kriterijum koji pokazuje da li je značajan sljedeća svojstva testovi:

• ponovljivost rezultata dobijenih iz studije;
• stepen tačnosti ili odgovarajuća instrumentacija;
• održivost rezultata gotova određenom periodu vrijeme.

U tumačenju pouzdanosti mogu se razlikovati sljedeće glavne komponente:

• pouzdanost mjernog alata (odnosno, pismenost i objektivnost ispitne jedinice), koja se može ocijeniti izračunavanjem odgovarajućeg koeficijenta;
• stabilnost osobine koja se proučava tokom dužeg vremenskog perioda, kao i predvidljivost i glatkoća njenih fluktuacija;
• objektivnost rezultata (tj. njegovu nezavisnost od ličnih preferencija istraživača).

Faktori pouzdanosti

Na stepen pouzdanosti može uticati niz negativnih faktora, od kojih su najznačajniji:

• nesavršenost metodologije (netačna ili netačna uputstva, nejasno formulisanje zadataka);
• privremena nestabilnost ili stalne fluktuacije vrijednosti indikatora koji se proučava;
• nedosljednost okruženja u kojem se izvode početne i ponovljene studije;
• promjenjivo ponašanje istraživača, kao i nestabilnost stanja subjekta;
• subjektivni pristup u evaluaciji rezultata testa.

Metode za procjenu pouzdanosti testa

Za određivanje pouzdanosti testa mogu se koristiti sljedeće metode.

Metoda ponovnog testiranja je jedna od najčešćih. Omogućava vam da utvrdite stepen korelacije između rezultata studija, kao i vremena u kojem su sprovedene. Ova tehnika je jednostavna i efikasna. Međutim, kod ispitanika, u pravilu, ponovljene studije izazivaju iritaciju i negativne reakcije.

• Konstruktivna valjanost testa je kriterijum koji se koristi u proceni testa koji ima hijerarhijska struktura(koristi se u procesu proučavanja složenih psiholoških fenomena);
• validnost po kriterijumu podrazumeva poređenje rezultata testa sa stepenom razvijenosti određene psihološke karakteristike ispitanika;
• validnost sadržaja određuje usklađenost metodologije sa fenomenom koji se proučava, kao i opseg parametara koje ona obuhvata;
• prediktivna valjanost - to je ono što vam omogućava da procijenite budući razvoj parametra.

Vrste kriterija valjanosti

Valjanost testa jedan je od pokazatelja koji vam omogućava da procijenite adekvatnost i prikladnost metodologije za proučavanje određenog fenomena. Postoje četiri glavna kriterijuma koji mogu uticati na to:

• kriterijum izvođača (govorimo o kvalifikacijama i iskustvu istraživača);
• subjektivni kriterijumi (odnos ispitanika prema određenoj pojavi, koji se ogleda u konačnom rezultatu testa);
• fiziološki kriterijumi (zdravlje, umor i druge karakteristike koje mogu imati značajan uticaj na konačni rezultat testa);
• kriterijum slučajnosti (javlja se pri određivanju verovatnoće nastanka događaja).

Kriterij valjanosti je nezavisan izvor podataka o određenoj pojavi (psihološko svojstvo), čije se proučavanje provodi testiranjem. Dok se rezultati ne provjere u skladu sa kriterijem, ne može se suditi o valjanosti.

Osnovni zahtjevi kriterija

Eksterni kriterijumi koji utiču na validnost testa moraju ispunjavati sledeće osnovne zahteve:

• usklađenost sa određenim područjem u kojem se studija provodi, relevantnost, kao i semantička povezanost sa dijagnostičkim modelom;
• odsustvo bilo kakvih smetnji ili oštrih praznina u uzorku (suština je da se svi učesnici u eksperimentu moraju unaprijed podudarati postaviti parametre i biti u sličnim uslovima).
• parametar koji se proučava mora biti pouzdan, stalan i ne podložan naglim promjenama.

Načini utvrđivanja valjanosti

Validacija testova se može obaviti na nekoliko načina.

Evaluacija prividne validnosti uključuje provjeru da li je test prikladan za svoju svrhu.

Valjanost konstrukcije se ocjenjuje kada se provede određeni broj eksperimenata za proučavanje specifičnog kompleksnog indikatora. To uključuje:

• konvergentna validacija - provjera odnosa procjena dobijenih korištenjem različitih složenih metoda;
• divergentna validacija, koja se sastoji u činjenici da metodologija ne podrazumijeva procjene stranih indikatora koji nisu povezani sa glavnom studijom.

Evaluacija prediktivne valjanosti podrazumijeva uspostavljanje mogućnosti predviđanja prospektivnih fluktuacija indikatora koji se proučava.

zaključci

Valjanost i pouzdanost testova komplementarni su indikatori koji daju najpotpuniju ocjenu pravednosti i značaja rezultata istraživanja. Često se definišu istovremeno.

Pouzdanost pokazuje koliko se može vjerovati rezultatima testa. Ovo se odnosi na njihovu postojanost sa svakim ponavljanjem sličnog testa sa istim učesnicima. Nizak stepen pouzdanosti može ukazivati ​​na namjerno lažno predstavljanje ili neodgovoran pristup.

Koncept validnosti testa vezan je za kvalitativnu stranu eksperimenta. Govorimo o tome da li odabrani alat odgovara procjeni određenog psihološkog fenomena. Ovdje se mogu primijeniti i kvalitativni indikatori (teorijska procjena) i kvantitativni indikatori (izračunavanje odgovarajućih koeficijenata).

1. Pokazatelj kvaliteta metode, njene sposobnosti da daje rezultate koji adekvatno odražavaju fenomen koji se proučava, tj. upravo one rezultate za koje je namijenjena (B. metoda). 2. Mjera korespondencije teorije sa empirijskim podacima, sposobnost da se napravi razumno tačna predviđanja zasnovana na teoriji (B. teorija). 3. Mjera usklađenosti rezultata proučavane stvarnosti, tačnije, sa idejama o stvarnosti (B. rezultati). U ovom članku V. se govori u prvom smislu. Pozitivistička nauka pravi razliku između V. mjerenja, unutrašnjeg i vanjskog V. eksperimentalnih procedura i V. statističkog zaključivanja.

B. mjerne procedure

Mjerenje se razumije kao proces povezivanja teorijskog koncepta s jednom ili više latentnih varijabli, a ove druge s vidljivim varijablama. U klasičnoj teoriji, rezultat mjerenja uključuje dvije nekorelirane komponente: istinitu i pogrešnu. Što se tiče grešaka mjerenja, daju se pretpostavke pod kojima ponašanje grešaka postaje poznato. B. postupak mjerenja - mjera njegove usklađenosti sa izmjerenim konstruktom. Češće se od ostalih vrednuju kriterijumi (često nazivani empirijski), konstruktivni, konvergentni i diskriminantni V. Kao pomoćne metode za utvrđivanje V. koriste se referenciranje literature o ovoj problematici, stručne procene.

Kriterijum V. postupka mjerenja ocjenjuje se nepropusnošću statistička povezanost(korelacije) između izmjerenih rezultata i eksternog kriterija. Dakle, kriterijum V. skale liderstva znači da dobijeni indikator korelira sa nekim nezavisno dobijenim indikatorom, na primer, sociometrijskim podacima. Indikacija kriterijuma V. podrazumeva ne samo izveštaj o koeficijentu korelacije između test indikatora i eksternog indikatora, već i o svim okolnostima istraživanja: kako i u kojoj situaciji je kriterijum meren, na kom uzorku je studija sprovedena , itd. Kriterijumi mogu biti aktuelni (mereni istovremeno korišćenjem validirane procedure) i prognostički. Prediktivna V. je veoma poželjna za metode merenja orijentisane na praksu. Nedostaci pristupa su teškoća u odabiru kriterijuma i rizik od merenja nevažećeg kriterijuma, što značajno smanjuje dobijeni koeficijent korelacije. I evaluirano ponašanje i kriterij mogu se promijeniti tokom vremena, a uzorci mogu biti pristrasni. Kada bi istraživač mogao pronaći savršeni kriterij, stvaranje mjerne procedure postalo bi suvišno. U tom smislu, paradoks koji je formulisao J. Kelly je razumljiv: V. metode je njena sposobnost da pruži već poznate informacije. Zavisnost kriterijumskog merenja od svojstava kriterijuma i nemogućnost pronalaženja zadovoljavajućeg objektivnog indikatora u mnogim oblastima znanja bitno umanjuju vrednost kriterijumskog merenja kao pokazatelja kvaliteta mernog postupka.

Konstruktivna V. se uspostavlja statističkim odnosom između indikatora ovog postupka i drugih metoda koje mjere srodni konstrukt. Hipoteze o statističkom odnosu se formulišu pre nego što se testiraju, na osnovu smislene teorije. Provjera valjanosti konstrukcije je dugotrajan proces i nikakva empirijska korelacija ne može garantirati valjanost mjerenja. Teorijski se postulira odnos između konstrukata, procjenjuje se korelacija između indikatora ovih konstrukata, na osnovu dobijenih podataka, revidira se teorijski očekivani odnosi između konstrukata ili između konstrukta i indikatora. Odabire se novi konstrukt (ili novi indikator, ili nova teorija o odnosu između konstrukcija) i proces se ponovo ponavlja. Oba konstrukta mogu biti nepovezana. To se dešava kada su metode mjerenja, koje djeluju pod istim imenom, izgrađene na različitim teorijskim osnovama. Ostali problemi se odnose na situacije u kojima se izmjereni indikator uključen u validaciju postupka ne mjeri dovoljno valjano; isti indikator istovremeno mjeri različite konstrukcije; greške mjerenja međusobno koreliraju. Ako je istraživač siguran da je strukturni dijagram ispravan (nema veza između indikatora i vanjskih konstrukata, a korelacija između grešaka mjerenja je nula), može pronaći korelaciju između konstrukata, korigovanu za nepouzdanost indikatora.

Za procjenu konstruktivnog V. postupka mjerenja često se koristi faktorska analiza indikatora. Ovaj naziv se odnosi na širok spektar metoda smanjenja dimenzionalnosti podataka, kada se mali broj latentnih varijabli (faktora) izdvaja iz skupa mjerenih varijabli. Broj i teorijska interpretabilnost faktora tumači se kao mjera V. metode mjerenja, a faktorska opterećenja mjerenih varijabli tretiraju se kao mjera V. indikatora. Faktorsko opterećenje je standardizirana mjera strukturna veza između zajedničkog faktora (latentne varijable) i indikatora. Često se definira kao korelacija između faktora i varijable. Nadaleko poznate metode faktorske analize (na primjer, analiza glavnih osa) je eksploratorni postupak, tj. ne dozvoljava testiranje statističkih hipoteza, a rezultat analize je značajno određen tehnička rješenja prihvatio istraživač. U tom smislu, mogućnosti metode kao sredstva validacije su ograničene. Da bi se smanjila proizvoljnost u faktorskoj analizi, koristi se unakrsna validacija: uzorak se nasumično dijeli na pola, faktori se ekstrahuju na jednoj polovini uzorka, a opravdanost i stabilnost faktorskog rješenja provjerava se na drugoj polovini.

Koncepte konvergentnog i diskriminantnog V. uveli su D. Campbell i D. Fiske kao dva međusobno povezana indikatora pouzdanosti metode. Konvergentni V. zahtijeva "konvergenciju" (visoku korelaciju) srodnih konstrukata, diskriminantni V. - odsustvo korelacije između mjerenja nepovezanih konstrukata. Još rigoroznije, ovaj koncept je implementiran u pristupu poznatom kao "mnogo svojstava - mnogo metoda", ili MTMM (mnogo svojstava, mnogo metoda). Njegova suština je da se nekoliko svojstava mjere pomoću nekoliko metoda. Trebalo bi da postoje visoke korelacije između indikatora iste imovine mjerene različitim metodama i niske korelacije između indikatora različitih svojstava mjerenih istom metodom. Treći uslov je višak prvog skupa koeficijenata korelacije nad drugim. Postoje i rigoroznije statističke metode za analizu MMMM korelacione matrice. Poslednjih godina su postale popularne strukturne jednačine, posebno potvrdna faktorska analiza, koja, u skladu sa smislenim modelom, dekomponuje merne kovarijance na komponente povezane sa uticajem metoda, svojstava i grešaka. Dobijeni strukturni koeficijenti se tumače kao indikatori B.

B. eksperimentalna metoda

Raspon koncepata povezanih sa evaluacijom V. eksperimenta (i rezultata eksperimenta) razvili su postpozitivistički metodolozi 1960-ih (D. Campbell, T. Cook, J. Stanley i drugi). U epistemološkoj tradiciji koja datira još od J.S. Milla i povezuje kauzalnost s manipulacijom, pravi eksperiment sa slučajna distribucija uslovno testiranje se smatra jedinim sredstvom uvjerljivog testiranja kauzalnih hipoteza. Sa ove tačke gledišta, kauzalne izjave u neeksperimentalnim naukama (sociologija) su nelegitimne. Vremenski prioritet navodnog uzroka (nezavisne varijable) prema efektu (zavisne varijable) kao jednog od uslova uzročne veze u eksperimentu obezbeđuje se manipulacijom i merenjem njegovih posledica. Teže je ispuniti još jedan uslov za uzročno-posljedično zaključivanje je odsustvo uvjerljivih alternativnih objašnjenja. Interna V. je shvaćena kao uvjerenje da je nezavisna varijabla X glavni razlog sistematske varijabilnosti vrijednosti zavisne varijable Y, tj. ne postoje druge varijable koje posreduju u odnosu između X i Y. Ne možemo garantovati B. eksperimenta, ali s obzirom na karakteristike korišćenog istraživačkog postupka, možemo identifikovati i eliminisati glavne uzroke nevaljanosti. Campbell i Stanley su predložili klasifikaciju razloga za opadanje unutrašnjeg B. Istorija (pozadina) su događaji koji su se desili između X i Y i koji bi mogli uticati na njihovu kovarijansu. Prirodne promjene - promjene u unutrašnjem stanju ispitanika, koje nisu povezane sa uticajem X, kao što su umor, odrastanje, učenje. Efekat instrumenta je povezan sa neželjene promjene mjerne procedure (tehnički kvarovi, zamor posmatrača). Učinak statističke regresije (klizanje prema srednjoj vrijednosti) je uočen kada su eksperimentalne i/ili kontrolne grupe odabrane na osnovu ekstremnih vrijednosti relevantnih indikatora; zbog statističkih razloga u vrijeme drugog mjerenja maksimalne vrijednosti indikatori će se smanjiti, a minimalni povećati. Odabir grupa kao uzrok invalidnosti povezan je sa neslučajnim (neekvivalentnim) odabirom subjekata ili drugih jedinica studije. Odustajanje („eksperimentalna smrtnost“) odnosi se na neravnomjerno i neslučajno napuštanje učesnika studije. Interakcija selekcije sa drugim faktorima opisuje situaciju u kojoj neslučajno odabrani subjekti imaju različite lične istorije, sklonost umoru, napuštanju itd. idealan slučaj. Ovo se također odnosi i na neeksperimentalne dizajne studija, u kojima se na listu razloga za smanjenje valjanosti dodaju nove prijetnje.

Eksterni V. karakteriše stepen generalizacije dobijenih rezultata na druge populacije i konteksti. Uspješna replikacija studije je jedna od važnih uslova procjenjuje valjanost teorija i pomaže u preciziranju raspona valjanosti potonjih. Jedna od strategija za postizanje eksterne V. je i identifikacija i otklanjanje uzroka koji su odgovorni za nasumično primanje rezultat. To su, posebno, reaktivni efekat (uticaj inicijalnog postupka merenja na ponašanje ispitanika) i međusobna interferencija eksperimentalnih uticaja. Druge strategije se zasnivaju na upotrebi randomiziranog dizajna sa jednim mjerenjem nakon studije (koje uklanja reaktivni efekat); smanjenje rizika od utjecaja eksperimentatora (na primjer, minimiziranje kontakta eksperimentatora sa subjektom, povećanje broja istraživača ili dvostruko slijepa metoda, kada istraživač ne zna tko je od ispitanika izložen kakvim utjecajima do kraja eksperiment); povećanje životne sredine V. (realističko) istraživanje. Važnu metodološku ulogu u obezbeđivanju V. naučnog istraživanja igra reprodukcija sa proširenjem, kada svaka sledeća replikacija eksperimenta predviđa male proceduralne modifikacije.

B. statističko zaključivanje

Statistički zaključak se podrazumijeva kao ispunjenje skupa uslova koji smanjuju vjerovatnoću pogrešne statističke odluke o nultoj hipotezi (o jednakosti parametra određenoj vrijednosti ili korespondenciji statističkog modela sa dobijenim podacima) ili veličina efekta. Glavni metod donošenja statističkih odluka poslednjih decenija bio je test statističke značajnosti, tj. o jednakosti parametra nekoj vrijednosti. Za to se koriste kriterijumi z, t, F, x2 itd. Empirijski dobijena vrednost kriterijuma se poredi sa kritičnom vrednošću, a na osnovu ovog poređenja se odbacuje ili ne odbacuje nulta hipoteza. Dakle, odluka je binarna (da-ne). U ovom procesu može se napraviti jedna od tri greške: pogrešno odbacivanje prave nulte hipoteze (greška tipa I, alfa), pogrešno prihvatanje istinite alternativne hipoteze (greška tipa II, beta) i pogrešno formulisanje statističkih hipoteza, tj. pogrešno je prevoditi istraživačko pitanje na jezik statistike.

Prijetnje statističkom zaključivanju V. su brojne i imaju različitu prirodu. Upotreba nevažećih indikatora (odjeljak ovog članka Valjanost postupaka mjerenja) ne omogućava pouzdano tumačenje rezultata. Upotreba nepouzdano izmjerenih varijabli dovodi do značajnog potcjenjivanja dobijene statistike.

Velika klasa prijetnji V. statističko zaključivanje je povezano s pogrešnom formulacijom modela. Konkretno, poznatije linearni modeli se biraju kada su osnovne pretpostavke narušene: odnos između varijabli je nelinearan, postoje ekstremne vrijednosti, varijanse zavisne varijable za različitim nivoima nezavisne varijable nisu jednake, varijable se mjere grublje nego što je potrebno modelom, vrijednosti varijabli koje nedostaju nisu nasumično raspoređene. Standardni paketi statističke analize pružaju metode za dijagnosticiranje kršenja pretpostavki modela. Složenije konceptualne greške nastaju u vezi sa netačnim definisanjem varijabli kao nezavisnih ili kovarijantnih, pogrešnim izborom modela za zavisna (ponovljena) ili nezavisna merenja, fiksnim ili slučajnim efektima. Kada upoređuju nekoliko srednjih vrednosti ili procenjuju značaj nekoliko korelacija, istraživači ne uzimaju uvek u obzir inflaciju greške tipa I: na primer, za j varijabli dobijamo k = j(j - 1)/2 korelacije, i verovatnoću da se slučajno dobije najmanje jedan značajan koeficijent korelacije, alphatot., jednak je 1 - (1 - alpha)k. Koristite takođe veliki broj varijable at mali broj zapažanja (ispitanici) stvaraju "superfit" model kada model savršeno opisuje podatke uzorka, ali je neadekvatan da opiše opću populaciju.

Mnogi jednostavne greške statistički zaključci nastaju zbog bizarne i mehaničke kombinacije dva različita pristupa statističkoj odluci – Fišera i Neyman-Pearsona. Potonji pristup naglašava važnost snage testa za procjenu značajnosti. Dakle, rezultat može biti statistički beznačajan iz razloga vezanih za nedovoljna snaga metoda: slaba eksperimentalna ekspozicija, mali ili heterogeni uzorak, nepouzdano mjerenje varijabli, pretjerano mala vrijednost greške prve vrste. Statistička značajnost je vjerovatnoća da je dobijeni rezultat slučajan u uzorku date veličine, ali ova vrijednost ne govori ništa o veličini efekta. Moderne smjernice preporučuju izvještavanje u publikacijama ne samo indikatora značajnosti (p), već i vrijednosti efekata (tipični indikatori su Pearsonov r, Studentov t, Cohenov d, Hijesov g, nu2 za analizu varijanse, itd.). Druge alternative binarnim odlukama o statističkoj značajnosti su intervali povjerenja, Bayesova statistika i, šire, uvećana reprodukcija i metaanaliza.

B. u kvalitativnom istraživanju

V. u kvalitativnim studijama ne može se procijeniti korištenjem klasičnih metoda opisanih gore. Određeni broj autora pokazuje primitivnost postojećih pristupa ocjeni V. i "kriterijelogiji" općenito (T. Schwandt, J. Smith). Istovremeno, odbacivanje ideje izvjesnosti/autentičnosti nasuprot diskreditovanoj objektivnosti izgleda previše radikalno čak i za postmodernističke istraživače. Stoga drugi autori (E. Guba, I. Lincoln, S. Kvale, S. Mishler) pokušavaju da preformulišu tradicionalne kriterijume valjanosti, čineći ih manje pozitivističkim. Razmatraju se novi postupci za opravdavanje pouzdanosti: komunikativna validacija (učešće subjekata u raspravi o rezultatima; uključivanje kolega u diskusiju), proceduralna validacija (tačnost, temeljitost i potpunost terenskih bilješki ili dobijenih podataka; potpun, uravnotežen i transparentan opis rezultata, otvoren za druga tumačenja, osjetljivost na povratne informacije od kolega; ponovna provjera zaključaka o drugim fragmentima dobivenog materijala) itd. Od ostalih pristupa potvrđivanju pouzdanosti rezultata treba pomenuti utvrđivanje stepena uvjerljivosti (plauzibilnosti) kao procjene stečenog znanja sa stanovišta postojećeg znanja; povjerenje (vjerodostojnost) kao procjena i kolektivno razumijevanje rezultata, uzimajući u obzir prirodu fenomena i okolnosti njegovog opažanja; ukorijenjeni u podacima, uključeni u kontekst istraživačkog programa (pouzdanost), koji se zasniva na temeljnom proučavanju i evaluaciji proceduralnih aspekata; osjetljivost kao sposobnost istraživača da vidi društveni problem i doprinijeti njegovom rješavanju; ontološka i obrazovna autentičnost – sposobnost podizanja svijesti učesnika u studiji (u prvom slučaju) i njihovog okruženja (u drugom); katalitička autentičnost kao uticaj na socijalne programe koji poboljšavaju kvalitet života populacije koja se proučava.

Postmoderni autori raspravljaju o fundamentalno novim konceptima i principima potvrđivanja znanja: ironičnoj (J. Bodrijar), neopragmatskoj (J.-F. Lyotard), rizomatskoj (J. Derrida) validaciji. N. Denzin je utemeljio metodu triangulacije kao radikalnu alternativu tradicionalnim pristupima validaciji. Triangulacija je kombinovana i uzajamno obogaćujuća upotreba različitih metoda, metodologija, podataka, teorija i/ili istraživača. Mnoštvo pristupa i tehnika osmišljeno je da oslabi epistemološka ograničenja, da nadiđe utvrđene granice, da otkrije nove aspekte fenomena. Treba napomenuti da je ideja triangulacije [istine] nastala u postpozitivizmu (D. Campbell), gdje je shvaćena kao neka procedura, skup korisnih trikova: pored intervjuisanja „običnih“ ljudi, intervju sa stručnjacima; nasumično podijeliti uzorak ispitanika na pola i analizirati podatke zasebno; isključiti jednu varijablu iz analize i vidjeti kako se model mijenja; potvrditi konstrukt pristupom "mnogo svojstava, mnogo metoda", itd. Kako bi izbjegao nepoželjne asocijacije na pozitivizam, postmoderni etnograf L.Richardson radikalno odbacuje ideju triangulacije i nudi još jednu atraktivnu metaforu - kristal, a ne trokut, kristalizaciju, a ne triangulaciju. Kristal istovremeno stvara, lomi i izobličuje, višestruk je i nijedno njegovo lice nije pouzdanije od bilo kojeg drugog. Poput znanja, kristal raste i ruši se. Metaforički pristup problemu potkrepljivanja znanja i ocjene njegovog kvaliteta nije slučajan. Dizajniran je da uništi pristupe zasnovane na kriterijumima i ideje o standardima. Društvena istraživanja imaju vrijednost samo kada predstavnicima daju jednaku priliku da govore. različite grupe, stvara jednako vjerovatne verzije i potiskuje dominantne, "ispravne" interpretacije.

Velika definicija

Nepotpuna definicija ↓