A nehézségi index (Ytr) kiszámítása. A teszt és a tesztelemek nehézsége Mi a teszt nehézsége
A tesztelem mint a legfontosabb tésztaképző tényező nehézségének mutatója.
Krasheninnikova Galina Gennadievna
Folypát. ped. Sci., Az Orosz Állami Bölcsészettudományi Egyetem magadani kirendeltsége
A tesztelemek egyik fő jellemzője a nehézsége. A feladat nehézségi szintje, valamint a tesztelt felkészültség szintje olyan látens paraméterek, amelyek nem alkalmasak közvetlen megfigyelésre. E paraméterek felméréséhez szorosan kapcsolódó mutatókat kell használni. A tanulók tudásának tesztelésekor a tesztelemek maguk is mutatóként szolgálnak. Felmerül a feladat: a mutató értékeinek konvertálása látens paraméterek értékévé. Különféle megközelítések léteznek e probléma megoldására. A klasszikus és a modern tesztelméletek saját módszereket kínálnak a látens paraméterek becslésére.
Sok éven át a klasszikus tesztelméletben a feladat nehézségének hagyományos mércéje az adott feladatra adott helyes válaszok és a csoport összes alanyainak aránya. Minél könnyebb a feladat, annál magasabb azok aránya, akik elvégezték ezt a feladatot.
Ez a meghatározás azonban szemantikai pontatlanságot hordoz magában: a statisztikai mutató számértékének növekedése a feladat nehézségi szintjének csökkenését jelzi, és fordítva. Ezért a közelmúltban új nehézségi egységeket próbáltak bevezetni. A nehézség klasszikus mértékét az ellenkezője váltja fel, és a téves válaszok arányát képviseli az alanyok csoportjában, amely véleményünk szerint pontosabban tükrözi a "feladat nehézsége" paraméter jelentését.
A modern tesztelmélet - item Response Theory (IRT) - a látens strukturális elemzés (LSA) elméletén alapszik, amelyet P. Lazarsfeld készített. Az IRT-ben, szemben a klasszikus elmélettel, a látens paramétert nem állandóként, hanem folyamatos változóként kezeljük. Az IRT módszerek az általuk használt paraméterek száma szerint osztályozhatók. A legismertebbek G. Rush egyparaméteres modellje, A. Birnbaum két- és háromparaméteres modelljei.
Georg Rasch ugyanarra a skálára helyezte a tesztvizsgáló felkészültségének szintjét és a feladat nehézségi szintjét is, bevezette számukra a közös mértékegységet - logit. Egy feladat nehézségének egy logitusa megegyezik a feladatra adott helytelen válaszok és a helyes válaszok arányának természetes logaritmusával.
Annak ellenére, hogy az IRT az utóbbi években széles körben elterjedt, ennek ellenére számos hátránya van. Különösen az oktatási eredmények tesztelésekor vannak jelentős eltérések a számított értékek és az empirikus adatok között. A Rush-modell és a klasszikus módszerekkel kapott eredmények között magas korreláció (kb. 0,9) is bizonyított. Ez a tény lehetővé teszi számunkra, hogy a számítások pontosságának veszélyeztetése nélkül a klasszikus tesztelmélet módszereit használjuk a tesztelemek nehézségének jellemzésére.
Bár a feladat nehézségének kiszámítására szolgáló klasszikus képlet meglehetősen kényelmes a végrehajtáshoz és a kapott eredmények későbbi értelmezéséhez, véleményünk szerint nem mentes bizonyos szubjektivitástól: a feladat nehézsége közvetlenül függ a tesztet kitöltők mintájától. Vizsgáljuk meg e tekintetben egy másik nézetet a tesztelem nehézségi fokának értékeléséről, amely bár nem elterjedt, de bizonyos számunkra érdekes.
A "nehézség" látens paraméter lényegének megközelítéséhez térjünk rá a pedagógiai irodalomban elfogadott tudásassimilációs szintek osztályozására. Észreveheti az asszimiláció nehézségének teljesen objektív növekedését a tudás minden egyes következő szintjén. Így arra a következtetésre juthatunk, hogy közvetlen kapcsolat van az asszimiláció szintje és az egyes asszimilációs szinteknek megfelelő feladatok nehézségi szintje között. Ez lehetővé teszi számunkra, hogy azonosítsunk olyan fogalmakat, mint a "nehézségi szint" és az "asszimilációs szint" a tesztelemekkel kapcsolatban. Az V.P. osztályozásának felvétele Bespalko, négy nehézségi szintet különböztetünk meg: "tanuló", tipikus, heurisztikus, kreatív.
Jelenleg szakértői módszereket széles körben alkalmaznak a pedagógiában. Ezért a tesztelemek nehézségi szintjének szakértői értékelése figyelmet érdemel, mint a nehézségmutató értékelésének másik lehetőségét. Például A.P. Ivanov, egy ilyen értékelés leírását adják, amikor a tesztkísérlet megkezdése előtt több szakértőt felkérnek arra, hogy pontokban értékeljék az összes tesztváltozat feladatainak nehézségeit. A szakértői értékelés megszerzéséhez a szerző nyolc tényezőt sorol fel, a megfelelő értékelési kritériumokkal, 1-től 5 pontig.
Egy jól megtervezett tesztnél az elem nehézségét nem befolyásolhatja sem a teszt formája, sem szervezete. A nehézségi index csak a tesztelt tartalmától és felkészültségi szintjétől függ. Igaz, van olyan vélemény, hogy egy feladat nehézségének mértékét befolyásolja ennek a feladatnak a tesztszerkezetben való elhelyezkedése. Ebben az esetben ajánlott több tesztváltozatot használni, amelyek különböznek a hozzárendelések sorrendjétől. V.S. Avanesov úgy véli, hogy a pedagógiai tesztek tartalmának fejlesztésének fő elve a tesztelemek növekvő nehézsége. Véleménye szerint a feladatnak csak a nehézségi fok meghatározása után van esélye arra, hogy próbává váljon. Addig csak teszt-feladat marad.
Nagyszámú átlagos nehézségű feladat felvétele a tesztbe növeli annak megbízhatóságát, de érdemi érvényességének csökkenéséhez vezet. A minimális tudást ellenőrző könnyű feladatokból álló teszt nem ad képet a tudás valódi szintjéről. A nagy nehézségi fokú tesztelemek kiválasztása fokozhatja a tanulás motivációját, de ennek ellenkező hatása is lehet. Így a nehéz feladatokból származó tesztek is torzítják a teszt eredményeit. Ezenkívül a teszt tartalmának a tanulócsoportok felkészültségének szintjétől függően változnia kell. A gyenge tanulók számára a teszt nehézsége jelentősen eltér az erős hallgatóknak kínált teszt nehézségi szintjétől.
A. Anastazi és S. Urbina szerint a feladat nehézségi szintjének megválasztása a teszt céljától, attól függ, hogy miként kell használni a teszt mutatóit. Tantárgy-orientált tesztek esetén a feladatok nehézségének 0,8-0,9 szinten kell lennie. Az informativitást a feladat nehézségi szintje alapján meghatározva a szerzők azt mutatják, hogy a leginkább informatív feladat átlagos nehézségi szintje 0,50.
Így arra a következtetésre juthatunk, hogy az átlagos nehézségi fokú feladatok rendelkeznek a legnagyobb differenciálási képességgel. És ha a tesztelés célja a teszteltek megkülönböztetése, ismeretszintjük összehasonlító értékelése, akkor a legegyszerűbb és legnehezebb feladatokat ki kell zárni a tesztből. Ha a teszt célja annak meghatározása, hogy a hallgató kellően elsajátította-e a kompetenciák bizonyos halmazát, amely szükséges a képzés következő szakaszához való áttéréshez, akkor a legegyszerűbb és a legnehezebb feladatokat egyaránt tartalmazhatja.
Bibliográfiai lista
1. Avanesov V.S. A feladatok alkalmazása teszt formában az új oktatási technológiákban // Iskolai technológiák. - 2007. - 3. szám - P. 146–163.
2. Anastasi A., Urbina S. Pszichológiai tesztelés. - SPb. : Peter, 2002. - 688 p.
3. Bespalko V.P. A pedagógiai technológia elemei. - M.: Pedagogika, 1989. - 192 p.
4. Ivanov A.P. A matematika tudásának rendszerezése szakkörökön tesztek segítségével. - M.: Fizmatkniga, 2004. - 416 p.
5. Ingenkamp K. Pedagógiai diagnosztika. - M.: Pedagogika, 1991. - 240 o.
6. Kim V.S. A vizsgálati eredmények elemzése a Rasch-mérés folyamatában // Pedagógiai mérések. - 2005. - 4. szám - P. 39–45.
7. Rasch G. Valószínűségi modellek néhány intelligencia- és teljesítményteszthez. - Chicago és London, 1980. - 199. o.
érvényesség. A szakértelmet már használják a tesztanyagok minőségének javítására a tervezés és a fejlesztés szakaszától kezdve.Tesztelemek, amelyek megfelelnek a "külső" formai követelményeknek (helyes megfogalmazás, logikai következetesség, megfelelő forma stb.) nem mindig minőségi jellegűek, lehetővé téve az a priori vagy a posteriori feladatokat a tanulók képzettségének értékelésének hatékony eszközeként.
A tesztelemek (tesztek) a potenciális alanyok bizonyos mintáinak tulajdonságait mérik. A feladatok és az egész teszt minőségének vizsgálata nemcsak az egyes elemei (figyelemelterelők, számuk stb.), Hanem a teljes teszt, annak felépítésének és más feladatokhoz való viszonyának értékelése is.
A szakképzés minősége egyben az ismeretek szintje, volumene, következetessége, stabilitása, értéke, kilátásai, alapvetése, képessége az új ismeretek megszerzésének és építésének, a problémák megoldására való alkalmazásának. Hatékony minőség ellenőrzés az oktatás is lehetetlen a képzettség szintjére vonatkozó releváns és időszerű információk nélkül. Kiváló minőségű tesztanyagokat kell használni, amelyek megbízhatóan értékelik az oktatási eredményeket.
A minőségmérés elveinek és eszközeinek alkalmazása, a rendszerelemzés a tesztek integritására, megjelenésére, kompatibilitására, alkalmazkodóképességére és egyéb szisztémás jellemzőire összpontosít. A tesztek minőségét a vizsgálati elemek jellemzői és az azok alapján összeállított tesztváltozatok közötti megfelelés mértékével értékelik. A teszt (teszt) egészének átfogó értékelése.
A tesztelemek, a teljes teszt szerkezeti elemekkel rendelkezik, amelyeket belső és külső tulajdonságok jellemeznek, saját szerkezetük van. Ezeket a tulajdonságokat döntő módon befolyásolja sok tényező:
- az általános populáció és az alanyok mintája;
- minőségi mutatók;
- a tesztelési technológia jellemzői;
- a feldolgozás jellemzői, a vizsgálati eredmények elemzése (különösen az alkalmazott matematikai és statisztikai készülékek és heurisztikus eljárások);
- a szakértők minősítése és a szakértői csoport szakmaisága;
- a tesztek lebonyolításának és elemzésének szisztematikus megközelítése.
A tulajdonságok teljes figyelembevétele lehetővé teszi a "kívánt" tesztek tervezését - előre meghatározott (a teszthipotézis szerint) minőségekkel, statisztikai tulajdonságokkal rendelkező teszteket, például "párhuzamos" teszteket, alteszteket stb. Figyelembe kell venni az intézkedést is a differenciálás, a feladatok (tesztek) képessége a teszteltek megkülönböztetésére, például a differenciálás képessége a tanulás maximális vagy minimális szintje szempontjából.
Az elemzés szempontjából kiemelten fontosak az olyan jellemzők, mint a feladat nehézsége (összetettsége) és megkülönböztető képessége. A feladat nehézsége tükrözi annak megvalósíthatósági szintjét egy adott statisztikai mintában (standard). Gyakran értékelik a feladatot helyesen teljesítők és a tantárgyak mintájának számával.
Minél közelebb van ez a mutató 1-hez, annál nagyobb a feladat nehézsége; minél közelebb van a 0-hoz, annál alacsonyabb a nehézsége.
A tesztfeladat nehézségének jelzőjeként a U nehézségi index képlettel számítva:
ahol n a feladatra adott helyes válaszok száma, N a tantárgyak teljes száma (minta).
Kritériumorientált teszt elkészítésekor annak nehézségének növelése érdekében nagyobb nehézségű feladatokat adnak hozzá, az alacsonyabb szinthez több alacsony nehézségű feladatot is tartalmaznak.
A feladat (teszt) nehézsége:
- szubjektív, olyan körülményekhez kapcsolódik, mint az időkorlát, a technológia ismerete, a feltételek megértése (az ismeretek, készségek és képességek kialakulása), a mentális felkészültség stb.
- objektív (statisztikai), a mintából a feladatot (tesztet) megoldó alanyok arányával társítva.
A nehézség egy relatív érték, amely az alanyok életkorától, szakmai és egyéb különbségeitől függ, ezért ezek a jellemzők befolyásolják a teszt eredményeit, a teszt megbízhatóságát. Intézkedésekre van szükség a feltételek kiegyenlítéséhez (a tesztelt ilyen hatás minimalizálása érdekében). Ehhez használja az irányított mintavételt, a tesztelési eljárás szabványosítását, azaz. hatékony diagnosztikai technikára van szükség, amely "arany középúthoz" vezet, a nehéz, a közbenső és az egyszerű feladatok egyensúlyához.
A túl nehéz feladatok rontják az értékelés statisztikai jellemzőit (kevés a meghatározó, a nehéz feladat sikertelensége hatással lehet más feladatok megoldására stb.). A túl egyszerű feladatok informatív, monoton eredményekhez vezetnek, amelyek megnehezítik a tanítás minőségének elemzését, negatív hozzáállást okoznak az alanyokhoz a teszthez és a teszteléshez.
Példa. A kritériumorientált tesztnek teljesnek kell lennie, tükrözve az asszimilációra tervezett teljes tudásmennyiség tartalmát. A normatív orientált teszt csak azokat a szakaszokat tartalmazhatja, amelyekre a tanulók iskolai teljesítményének szintje szerint van szükség, például az átlagos nehézségű feladatok 50-70% -a (4.1. Ábra, 4.2. Ábra).
A kritériumorientált tanúsító teszteken a feladatok többsége könnyebb, ami korlátozza az igazolatlan hallgatók százalékos arányát.
Példa. Ha az igazolatlan hallgatók előre jelzett százaléka nem haladhatja meg a 10% -ot, és a "tanulmányi kudarc" kritériuma - 70% (akik a feladatok legfeljebb 30% -át teljesítették, nem igazoltak), akkor a tesztnek tartalmaznia kell a hallgatók 70% -át könnyű feladatok, amelyeket a tesztelt 90% (4.2. ábra) ...
Ábra. 4.1.
Ábra. 4.2.
Ezért fontos olyan tesztet választani, amely optimális a feladatok bonyolultsága, a nehézségi csoportok, a teszt felépítése szempontjából. Ha a kérdésre a legtöbb alany helyesen válaszol, azt általában a teszt elejére teszik, a többi kérdést pedig - amint a nehézségük növekszik. A feladatok ilyen elrendezése lehetővé teszi, hogy megközelítőleg megbecsüljük az egyes tantárgyak nehézségi küszöbét, az ő helyét a minősítésben.
A gyakorlati tesztek azt mutatják, hogy a tantárgyak egyéni tudásszintje, készségei és képességei a lehető legnagyobb mértékben tükröződnek, ha átlagos nehézségű feladatokat használnak kis számú egyéb feladat bevonásával.
Van egy speciális tulajdonság, az úgynevezett megkülönböztető képesség megbízások. Megmutatja a tesztelt csoportokba sorolásának hatékonyságát: azok, akik elsajátították az oktatási anyagot, és azok, akik nem sajátították el.
Minél közelebb van R nullához, annál kevésbé különböztetik meg az oktatási anyagot elsajátító vagy nem elsajátító tantárgyak feladatait.
Minél közelebb van R –1 értékhez, annál nagyobb a különbség is, de fordított sorrendben: az anyagot elsajátító alanyok helytelenül válaszoltak, és fordítva. Ez ritka eset, tanúskodik például a módszertan hiányosságairól, spontaneitásáról.
Az előző cikkben kilenc alapelvet vettek figyelembe a pedagógiai tesztek tartalmának fejlesztése. A cikk középpontjában a tizedik elv áll: a tesztelemek egyre nehezebbé válnak.
Ha egy pedagógiai tesztet röviden, egységesen növekvő nehézségű feladatrendszerként határozunk meg, akkor kiderül, hogy a feladatok nehézsége a legfontosabb, mondjuk egy tesztet generáló mutató. Sok iskola vezetője úgy véli, hogy tanáraik rövid idő alatt képesek annyi "tesztet" kitalálni, amennyit csak akarnak. Valójában teszt formában jó néhány feladattal előállhat. És egyáltalán nem teszteket, hanem csak feladatokat. Addig nem szabad őket bevonni ebbe a vizsgálatba, amíg a nehézségük mértéke és egyéb jellemzők nem ismertek. A nehézség mértékét empirikusan tesztelik. Ebből a követelményből világossá válik, hogy az egyes feladatok előzetes empirikus ellenőrzése kötelező, a tesztelés előtt. Az ellenőrzési folyamat során sok feladat nem felel meg a rájuk vonatkozó követelményeknek, ezért nem szerepel a tesztben. Az első követelmény a próbadarabokra: a próbadaraboknak különbözniük kell a nehézség szintjétől, ami a teszt korábban megadott meghatározásából és a vizsgált alapelvből következik.
A figyelmes olvasó valószínűleg már megfogta a különbségeket az itt bevezetett pedagógiai méréselmélet három alapfogalmának szókincsében, mintha "észrevehetetlenül": a pedagógiai teszt, a teszt formában végrehajtandó feladat és a teszt fogalmában feladat. Az elsőre vonatkozó követelményeket már figyelembe vették a "Pedagógiai teszt meghatározása" című cikkben (30. sz. Iskola, 1999. augusztus).
Jobb, ha most bevezetjük a második koncepció követelményeit, miután ezt legalább röviden felsoroljuk, hogy ne térjünk el a cikk fő témájától. A tesztformában szereplő feladatokra a következő követelményeket támasztják:
Tömörség;
Gyárthatóság;
A forma helyessége;
A tartalom helyessége
Az állítás logikai formája;
Ugyanezek a szabályok a válaszok értékelésére;
A válaszok egy bizonyos helyének jelenléte;
Ugyanazok az utasítások minden témához;
A feladat elemeinek helyes elrendezése;
Avanesov V.S. A mérések pedagógiai elméletének alapjai // Pedagógiai mérések, 1, 2004. 17. o.
Ezeknek a követelményeknek a részletes értelmezése a következő cikkekben következik, de most szeretném felhívni az olvasó figyelmét arra a tényre, hogy nincs szükség a feladat bizonyos nehézségére, miközben a tesztre és a tesztre ilyen követelmény vonatkozik. a tesztfeladat. Ennek és a korábban publikált anyagnak az elmélkedése alapján két következtetés vonható le. Az első az, hogy a tesztben nincs hely az ismeretlen nehézségű feladatoknál. És a második - hogy nem minden teszt formájában javasolt feladat válhat tesztfeladattá: ezek különböző fogalmak. Az első koncepcióban a leglényegesebbek a tartalom és a forma követelményei. A tesztelemek esetében azonban először is egy bizonyos nehézségű követelményt mutatnak be, ami egyértelműen nem szükséges a tesztformában szereplő cikkek esetében. Megismételhető, hogy a feladatoknak csak akkor van esélyük tesztelemekké válni, miután a nehézségük mértékét empirikusan igazolták tipikus alanycsoportokon.
A teszt és a tesztelemek nehézségének indikátora egyszerre informatív és formális. Informatív, mert egy jó tesztnél a nehézség csak a feladatok tartalmának nehézségétől és maguk a tantárgyak felkészültségének szintjétől függhet. Míg egy rossz teszt során az eredményeket kezdi jelentősen befolyásolni a feladatok formája (különösen, ha ez nem megfelelő a tartalomhoz), a tesztek rossz szervezése, ha van lehetőség csalásra, információszivárgás. E tekintetben külön említést érdemel a hallgatók célzott felkészítésének egyetlen állami vizsgára történő káros gyakorlata. Tolsztoj, Oroszország oktatási minisztere 1907-ben oktatóknak nevezte az ebben a munkában részt vevő tanárokat. De legkevésbé a pedagógusok a hibásak. A hiba a hibás "címkézési" rendszer, amely ilyen hibás gyakorlatokat kér. Mi az ellenőrzés, olyan az oktatás is.
A nehézségi mutató formális összetevője akkor merül fel, ha a tesztelést az alany és a számára felajánlott feladat közötti konfrontáció folyamatának tekintjük. Az ebben az esetben elért eredményt hasznos egy ilyen konfrontáció eredményének tekinteni. A feladat bemutatásának egyes eseteinek egyszerűsített értelmezésében gyakran két eredményt veszünk figyelembe, de abszolút nem feltétlenül: az alany győzelmét a feladat helyes megoldásában, ahol egy pontot kap, vagy vereséget, amelyért nulla pontot kap. A konfrontáció eredményének értékelése a vizsgált személy tudásszintjének és a feladat nehézségi szintjének arányától, a választott tudásmérési egységtől és a korábban elfogadott szabálytól (konvenciótól) függ - a tesztalany „győzelme”, és hogy elfogadható-e a döntetlen, ha a sport nyelvén beszélünk.
A növekvő nehézség elvét számos tankönyv és kézikönyv tartalmának bemutatásánál alkalmazzák, különös tekintettel azokra az egyetemi tudományágakra, amelyek a kumulatív elvre épülnek, ami azt jelenti: a tantárgy későbbi elemeinek ismerete kifejezetten az előző oktatási elemek ismeretétől függ . Ez a struktúra a matematika, logika, idegen nyelvek, statisztikák, műszaki és sok más tudomány tankönyvében rejlik. Bennük a korábban tanulmányozott fogalmakat aktívan használják a következő témákban. Ezért az ilyen tudományterületeket csak a kezdetektől fogva kell tanulnia, és hiányosságok nélkül.
A legtöbb szerző, különösen a külföldi, nem tesz különbséget a "nehézség" és a "komplexitás" fogalma között. Sok tesztfejlesztő ugyanezt teszi. Vannak azonban olyan művek, amelyekben ezeket a fogalmakat különböző módon határozzák meg. Például A. N. Zakharov és A. M. Matyushkin megjegyzi, hogy a tanulási feladat nehézségi foka nem esik egybe annak összetettségével. Az oktatási anyag bonyolultságának mértékét az oktatási feladat valódi (objektív) telítettsége és annak bemutatásának formája jellemzi, a nehézség mértéke mindig feltételezi az elsajátítandó oktatási anyag és a korábban asszimilált oktatási anyag összefüggését és a hallgatók szellemi képességei (1).
L.N. Landa az oktatási probléma nehézségét azzal magyarázta, hogy a hallgatók gyakran nem ismerik azokat a műveleteket, amelyeket a megoldás megtalálása érdekében el kell végezni. Ha a probléma egy bizonyos osztályának megoldására szolgáló műveleti rendszert megoldási módszernek nevezzük, akkor véleménye szerint a nehézség a módszer ismeretlenségével jár, azzal, hogy nem tudja, hogyan kell gondolkodni a megoldás során, hogyan és miben. sorrendben a probléma feltételeivel kell eljárni (2). A felmerülő nehézségeket azzal magyarázzák, hogy a tanár gyakran próbál ismereteket adni a vizsgált tartalmáról, és sokkal kevésbé foglalkozik a gondolkodással és az érveléssel (uo.). Ez az értelmezés keresztezi azt az elképzelést, hogy a feladat bonyolultságát összekapcsolják a siker eléréséhez végrehajtandó műveletek számával. A nehézség és a nehézség meghatározása többnyire pszichológiai; hasznosak a tesztelemek tartalmának pszichológiai elemzésében.
Sok éven át az egyes feladatok nehézségének hagyományos mércéje a helyes válaszok aránya volt az alanyok csoportjában, amelyet pj szimbólum képvisel, ahol a j index az érdeklődő feladat számát (1, 2 stb. ). Például, ha az alanyok helyes válaszait a teszt harmadik feladatára egy ponttal, a helyteleneket pedig nullával értékelik, akkor a p 3 mutató értéke megtalálható az elemi arányból:
P 3 = R 3 / N,
ahol R 3 az adott feladatra adott helyes válaszok számát jelenti, és N - a csoport összes tantárgyának számát. A (j) feladathoz adott helyes válaszok arányának kiszámításához használt általános képlet a formája
p j = R j / N
P j jelző. régóta használják az úgynevezett klasszikus tesztelmélet nehézségi fokaként (3). Később a benne foglalt szemantikai pontatlanság rájött: végül is a p j értékének növekedése nem a nehézség növekedését, hanem éppen ellenkezőleg, a könnyebbség növekedését jelzi, ha ilyen szó használható. Ezért az utóbbi években az ellenkező statisztika - a helytelen válaszok aránya (q j) - társult a feladat nehézségi mutatójához. Ezt az arányt a helytelen válaszok számának (Wj- az angol Wrong szóból - helytelen) és a tantárgyak számának (N) arányából számítják ki:
q j = W j / N
Természetesen feltételezzük, hogy p j + q j = 1. A tesztek klasszikus elméletében hosszú évekig csak a nehézség empirikus mutatóit vették figyelembe. A tesztek pszichológiai és pedagógiai elméleteinek új verzióiban nagyobb figyelmet fordítottak a hallgatók mentális tevékenységének jellegére a különféle formájú tesztfeladatok végrehajtása során (4).
A teszt tartalma nem csak könnyű, közepes vagy nehéz. Itt teljes mértékben megnyilvánul a jól ismert elképzelés az alkalmazott módszer eredményeinek függőségéről. Az egyszerű tesztfeladatok csak a tudással rendelkező hallgatók látszatát keltik, mivel minimális tudást tesztelnek. E tekintetben meg lehet jegyezni, hogy a szövetségi oktatási igazgatás orientációja a minimális tudásszint ellenőrzésére nem ad, és még definíció szerint sem ad képet a tudás valódi szintjéről, azaz. a társadalom és a kormányzati szervek számára már régóta szükséges információk megadása. Torzítja a teszt eredményeit és a nyilvánvalóan nehéz feladatok kiválasztását, aminek következtében az iskolások többsége alábecsüli a pontszámokat. A nehéz feladatokra való összpontosítás gyakran a tanulási motiváció növelésének eszközeként tekinthető. Ez az eszköz azonban kétértelműen működik. A nehéz feladatok némelyiket tanulásra, másokat pedig elrugaszkodhatják. Egy ilyen orientáció torzítja az eredményeket, és ennek következtében csökkenti a pedagógiai mérés minőségét. Ha a teszt szigorúan növekvő nehézségű feladatokból épül fel, akkor ez megnyitja az utat az egyik legérdekesebb mérési skála - L. Gutman skála - létrehozásához.
A teszt definiálásakor már megjegyeztük, hogy a teszt összes feladatát, hangsúlyozni szeretném, a témák tartalmától függetlenül, a szekciók és az akadémiai tudományágak növekvő nehézségi sorrendbe vannak rendezve. A széles körben elterjedt, egészen a közelmúltig ajánlás több átlagos nehézségű feladat felvételére a tesztbe indokolt a mérés megbízhatóságának az úgynevezett képletek segítségével történő meghatározása szempontjából. klasszikus tesztelmélet. A teszt megbízhatóságának értékelésére szolgáló módszerek, amelyek ebben az elméletben léteznek, csökkentik a megbízhatóságot, ha könnyű és nehéz feladatokat vesznek fel a tesztbe. Ugyanakkor a csak átlagos nehézségekkel járó feladatok iránti lelkesedés a teszt tartalmának súlyos deformációjához vezet: ez utóbbi elveszíti azt a képességét, hogy normálisan tükrözze a vizsgált tudományág tartalmát, amely mindig könnyű és nehéz anyagot tartalmaz. Így az elvont, elméletileg magas megbízhatóság elérése során a teszt eredmények értelmes érvényessége elvész. A vizsgálati eredmények érvényességének növelésére irányuló vágy gyakran a pontosságuk csökkenésével jár. Ezt a jelenséget elméletileg az amerikai pszichometria F. Lord teoretikusának paradoxonaként ismerjük
Ha egy gyenge, a felkészültség szempontjából tanuló diákcsoportot tesztelnek, kiderül, hogy a teszt nehéz feladatai egyszerűen nem működnek, mert egyetlen hallgató sem tud helyesen válaszolni rájuk. Az ilyen feladatokat eltávolítják a további adatfeldolgozásból. Ezeket az adaptív vezérlőrendszerek nem kínálják. A gyengén tanulók számára készült teszt tartalma jelentősen eltér az erős tanulók számára készített teszt tartalmától. Utóbbiaknál éppen ellenkezőleg, a könnyű feladatok nem működnek, mivel minden hozzáértő tantárgy helyesen válaszol a könnyű feladatokra. Így a hagyományos teszt tartalma jelentősen változik attól a hallgatói csoporttól felkészültségi szinttől függően, amelynek ismereteit a teszt méri.
Az oktatási anyag tartalmának optimális feltérképezése a szükséges nehézségi fokú tesztfeladatokba feltételezi a megfelelő forma kiválasztásának lehetőségét. A teszt tartalmát a feladatok négy alapformájának egyikében fejezik ki. Ezek a következők: 1) feladatok, amelyek közül a felkínáltak közül egy vagy több helyes válasz választható; 2) nyílt formájú feladatok, ahol az alany maga írja a választ, az erre fenntartott helyen; 3) hozzárendelések a megfelelés megállapításához, és 4) hozzárendelések a helyes műveletsor megállapításához.
Irodalom
1. Zakharov A.I., Matyushkin A.M. Az adaptív tanulási rendszerek problémái // Kibernetika és tanulási problémák. - M.: Haladás, 1970. - 389.
2. Landa L.N. Algoritmizálás a tanításban. M., Felvilágosodás, 1966
3. Gulliksen H. A mentális tesztek elmélete. N - Y. Wiley. 1950 - 486 p. és sokan mások. dr.
4. Tatsuoka, K.K. Tételszerkezet és pszichometrikus modellek, amelyek megfelelnek a konstruált válasznak Prinston, N-J, 1993. 56 pp; Frederiksen, N., Mislevy R. J., Bejar I. J. (szerk.). Tesztelmélet a tesztek új generációja számára. Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, N-J, 404pp. satöbbi .
Az előző cikkben kilenc alapelvet vettek figyelembe a pedagógiai tesztek tartalmának fejlesztésére. Ma továbbra is figyelembe vesszük a tizedik alapelvet - a tesztelemek növekvő nehézségét.
Ha egy pedagógiai tesztet röviden növekvő nehézségű feladatok rendszerének definiálunk, akkor kiderül, hogy a feladatok nehézsége a legfontosabb, mondjuk egy tesztet alkotó mutató. Sok iskola vezetője úgy véli, hogy tanáraik képesek annyi "tesztet" kitalálni, amennyit csak akarnak rövid idő alatt; Magam olvastam az iskola megrendelését, ahol a tanárokat arra kötelezték, hogy három napon belül "teszteket" nyújtsanak be az igazgatónak. Valójában annyi feladattal állhat elő, amennyit csak akar teszt formában (és ezek még nem tesztek). Addig nem szabad őket bekapcsolni egy valódi tesztbe, amíg empirikusan ellenőrizhető nehézségi fok nem ismert. Ebből a követelményből világossá válik, hogy az egyes feladatok előzetes empirikus ellenőrzése kötelező, a tesztelés előtt. Az ellenőrzési folyamat során sok feladat (általában több mint a fele) nem felel meg a rájuk vonatkozó követelményeknek, ezért nem szerepel a tesztben. Az első követelmény a próbadarabokra: a próbadaraboknak különbözniük kell a nehézség szintjétől, ami a teszt korábban megadott meghatározásából és a vizsgált alapelvből következik.
A figyelmes olvasó valószínűleg már elkapta a tesztelmélet itt bemutatott három alapfogalmának szókincsében rejlő különbségeket, amelyek "észrevehetetlenül": pedagógiai teszt, tesztforma feladatok és tesztfeladatok. Az elsőre vonatkozó követelményeket már figyelembe vették a "Pedagógiai teszt meghatározása" című cikkben (30. sz. Iskola, 1999. augusztus).
Jobb, ha most bevezetjük a második koncepció követelményeit, miután ezt legalább röviden felsoroljuk, hogy ne térjünk el a cikk fő témájától. A tesztformában szereplő feladatokra a következő követelményeket támasztják:
- a tartalom helyessége
- az állítás logikai formája;
- a forma helyessége;
- tömörség;
- egy bizonyos hely rendelkezésre állása a válaszokhoz;
- a feladat elemeinek helyes elrendezése;
- ugyanazok a szabályok a válaszok értékelésére;
- ugyanazok az utasítások minden tantárgyhoz;
- az utasítások megfelelősége a feladat formájához és tartalmához.
Ezeknek a követelményeknek a részletes értelmezése a következő cikkekben következik, de most szeretném felhívni az olvasó figyelmét arra a tényre, hogy nincs szükség a feladat bizonyos nehézségére, miközben a tesztre és a tesztre ilyen követelmény vonatkozik. a tesztfeladat. Ennek és a korábban publikált anyagnak az elmélkedése alapján két következtetés vonható le. Az első az, hogy a tesztben nincs hely az ismeretlen nehézségű feladatoknál. És a második - hogy nem minden teszt formájában javasolt feladat válhat tesztfeladattá: ezek különböző fogalmak. Az első koncepcióban a leglényegesebbek a tartalom és a forma követelményei. A tesztelemek esetében azonban először is egy bizonyos nehézségű követelményt mutatnak be, ami egyértelműen nem szükséges a tesztformában szereplő cikkek esetében. A feladatoknak csak akkor van esélyük arra, hogy tesztelemekké váljanak, miután egy tapasztalt, mondjuk empirikus tesztet végeznek nehézségeik mértékéről tipikus alanycsoportokon.
A teszt és a tesztelemek nehézségének indikátora egyszerre informatív és formális. Jelentős mutató, mert egy jó tesztnél a nehézség csak az alanyok tartalmától és felkészültségének szintjétől függ, míg egy rossz tesztnél az eredményeket kezdi jelentősen befolyásolni a feladatok formája (főleg, ha ez nem megfelelő a tartalomhoz), a tesztek rossz szervezése, ha van csalás lehetősége, információszivárgás A centralizált tesztek célzott előkészítésének ellentmondásos gyakorlata külön említést érdemel ebben a tekintetben.
A nehézségi mutató formális összetevője akkor merül fel, ha a tesztelést az egyes tantárgyak és a számára felajánlott feladatok közötti konfrontáció folyamatának tekintik. Az így kapott eredményt hasznos egy ilyen konfrontáció eredményének tekinteni. Az alanynak a következő feladattal való szembesülésének minden egyes esetének egyszerűsített értelmezésével általában csak két kimenetet veszünk figyelembe: az alany győzelmét a feladat helyes megoldásában, ahol egy pontot kap, vagy vereséget, amelyért nulla pontot kap. A konfrontáció eredményének értékelése attól függ, hogy a tesztet készítő ismerete mennyiben viszonyul a feladat nehézségi szintjéhez, a választott tudásmérési egységtől és a korábban elfogadott szabálytól (konvenciótól) - mi tekinthető " a tesztalany győzelme "és az, hogy megengedett-e a döntetlen, a sport nyelvén.
A növekvő nehézség elvét számos tankönyv és kézikönyv tartalmának bemutatásánál alkalmazzák, különös tekintettel azokra az egyetemi tudományágakra, amelyek a kumulatív elvre épülnek, ami azt jelenti: a tantárgy későbbi elemeinek ismerete kifejezetten az előző oktatási elemek ismeretétől függ . Ez a struktúra a matematika, logika, idegen nyelvek, statisztikák, műszaki és sok más tudomány tankönyvében rejlik. Bennük a korábban tanulmányozott fogalmakat aktívan használják a következő témákban. Ezért az ilyen tudományterületeket csak a kezdetektől fogva kell tanulnia, és hiányosságok nélkül.
A legtöbb szerző, különösen a külföldi, nem tesz különbséget a "nehézség" és a "komplexitás" fogalma között. Sok tesztfejlesztő ugyanezt teszi. Vannak azonban olyan művek, amelyekben ezeket a fogalmakat különböző módon határozzák meg. Például A. N. Zakharov és A. M. Matyushkin megjegyzi, hogy a tanulási feladat nehézségi foka nem esik egybe annak összetettségével. Az oktatási anyag bonyolultságának mértékét az oktatási feladat valódi (objektív) telítettsége és annak bemutatásának formája jellemzi, a nehézség mértéke mindig feltételezi az elsajátítandó oktatási anyag és a korábban asszimilált oktatási anyag összefüggését és a hallgatók szellemi képességei (1).
L.N. Landa az oktatási probléma nehézségét azzal magyarázza, hogy a hallgatók gyakran nem ismerik azokat a műveleteket, amelyeket el kell végezni a megoldás megtalálása érdekében. Ha a probléma egy bizonyos osztályának megoldására szolgáló műveleti rendszert megoldási módszernek nevezzük, akkor véleménye szerint a nehézség a módszer ismeretlenségével jár, azzal, hogy nem tudja, hogyan kell gondolkodni a megoldás során, hogyan és miben. sorrendben a probléma feltételeivel kell eljárni (2). A felmerülő nehézségeket azzal magyarázzák, hogy a tanár gyakran próbál ismereteket adni a vizsgált tartalmáról, és sokkal kevésbé foglalkozik a gondolkodással és az érveléssel (uo.). Ez az értelmezés keresztezi azt az elképzelést, hogy a feladat bonyolultságát összekapcsolják a siker eléréséhez végrehajtandó műveletek számával. A nehézség és a nehézség meghatározása többnyire pszichológiai; hasznosak a tesztelemek tartalmának pszichológiai elemzésében.
Sok éven keresztül az egyes feladatok nehézségének hagyományos mércéje a helyes válaszok aránya volt az alanyok csoportjában, amelyet pj szimbólum képvisel, ahol a j index az érdeklődő feladat számát jelöli (1, 2 stb.). ). Például, ha az alanyok helyes válaszait a teszt harmadik feladatára egy ponttal, a helyteleneket pedig nullával értékelik, akkor a p3 mutató értéke az elemi arányból
ahol R3 az adott feladatra adott helyes válaszok számát, N pedig a csoport összes alanyainak számát jelenti. A (j) feladathoz adott helyes válaszok arányának kiszámításához használt általános képlet a formája
Pj jelző régóta használják az úgynevezett klasszikus tesztelmélet nehézségi fokaként (3). Később a benne foglalt szemantikai pontatlanság rájött: végül is a pj értékének növekedése nem a nehézség növekedését, hanem éppen ellenkezőleg, a könnyebbség növekedését jelzi, ha ilyen szó használható. Ezért az utóbbi években az ellenkező statisztika - a helytelen válaszok aránya (qj) - társult a feladat nehézségi mutatójához. Ezt az arányt a helytelen válaszok számának (Wj- az angol Wrong szóból - helytelen) és a tantárgyak számának (N) arányából számítják ki:
Természetesen feltételezzük, hogy pj + qj = 1. A tesztek klasszikus elméletében sok éven át csak a nehézség empirikus mutatóit vették figyelembe. A tesztek pszichológiai és pedagógiai elméleteinek új verzióiban nagyobb figyelmet fordítottak a hallgatók mentális tevékenységének jellegére a különféle formájú tesztfeladatok végrehajtása során (4).
A teszt tartalma nem csak könnyű, közepes vagy nehéz. Itt teljes mértékben megnyilvánul a jól ismert elképzelés az alkalmazott módszer eredményeinek függőségéről. Az egyszerű tesztfeladatok csak a tudással rendelkező hallgatók látszatát keltik, mivel minimális tudást tesztelnek. E tekintetben meg lehet jegyezni, hogy a szövetségi oktatási igazgatás orientációja a minimális tudásszint ellenőrzésére még definíció szerint sem ad és nem ad képet a tudás valódi szintjéről, azaz. a társadalom és a kormányzati szervek számára már régóta szükséges információk megadása. Torzítja a teszt eredményeit és a nyilvánvalóan nehéz feladatok kiválasztását, aminek következtében az iskolások többsége alábecsüli a pontszámokat. A nehéz feladatokra való összpontosítás gyakran a tanulási motiváció növelésének eszközeként tekinthető. Ez az eszköz azonban kétértelmű. A nehéz feladatok egyeseket tanulásra, másokat pedig elrugaszkodhatnak. Egy ilyen orientáció torzítja az eredményeket, és ennek következtében csökkenti a pedagógiai mérés minőségét. Ha a teszt szigorúan növekvő nehézségű feladatokból épül fel, akkor ez megnyitja az utat az egyik legérdekesebb mérési skála - L. Gutman skála - létrehozásához.
A teszt definiálásakor már megjegyezték, hogy a teszt összes feladatát, hangsúlyozni szeretném, a témák tartalmától függetlenül, a szakaszok és az akadémiai tudományágak növekvő nehézségi sorrendbe vannak rendezve. A széles körben elterjedt, egészen a közelmúltig ajánlás több átlagos nehézségű feladat felvételére a tesztbe indokolt a mérés megbízhatóságának az úgynevezett képletek segítségével történő meghatározása szempontjából. klasszikus tesztelmélet. A teszt megbízhatóságának értékelésére szolgáló módszerek, amelyek ebben az elméletben léteznek, csökkentik a megbízhatóságot, ha a tesztbe könnyű és nehéz feladatokat vesznek fel. Ugyanakkor a csak átlagos nehézségekkel járó feladatok iránti lelkesedés a teszt tartalmának súlyos deformációjához vezet: ez utóbbi elveszíti azt a képességét, hogy normálisan tükrözze a vizsgált tudományterület tartalmát, amelyben mindig van könnyű és nehéz anyag. Így az elméletileg magas megbízhatóság elérése során a teszt eredmények értelmes érvényessége elvész. A vizsgálati eredmények érvényességének növelésére irányuló vágy gyakran a pontosságuk csökkenésével jár.
Ha egy gyenge, a felkészültség szempontjából tanuló diákcsoportot tesztelnek, kiderül, hogy a teszt nehéz feladatai egyszerűen nem működnek, mert egyetlen hallgató sem tud helyesen válaszolni rájuk. Az ilyen feladatokat eltávolítják a további adatfeldolgozásból. Ezeket az adaptív vezérlőrendszerek nem kínálják. A gyengén tanulók számára készült teszt tartalma jelentősen eltér az erős tanulók számára készített teszt tartalmától. Utóbbiaknál éppen ellenkezőleg, a könnyű feladatok nem működnek, mivel minden hozzáértő tantárgy helyesen válaszol a könnyű feladatokra. Így a hagyományos teszt tartalma jelentősen változik attól a hallgatói csoporttól való felkészültség szintjétől függően, amelynek ismereteit a teszt méri.
Az oktatási anyagok tartalmának optimális feltérképezése a szükséges nehézségi fokú tesztfeladatokba feltételezi a megfelelő forma kiválasztásának lehetőségét. A teszt tartalmát a feladatok négy alapvető formájának egyikében fejezik ki. Ezek a következők: 1) feladatok egy vagy több helyes válasz kiválasztásával a felajánlottak közül; 2) nyílt formájú feladatok, ahol az alany maga írja a választ, az erre fenntartott helyen; 3) hozzárendelések a megfelelés megállapításához, és 4) hozzárendelések a helyes műveletsor megállapításához.
Főoldal> Tesztek7. cikk A teszt és a tesztelemek nehézsége
Az előző cikkben kilenc alapelvet vettek figyelembe a pedagógiai tesztek tartalmának fejlesztése. Ma továbbra is figyelembe vesszük a tizedik alapelvet - a tesztelemek növekvő nehézségét. Ha egy pedagógiai tesztet röviden növekvő nehézségű feladatok rendszerének definiálunk, akkor kiderül, hogy a feladatok nehézsége a legfontosabb, mondjuk egy tesztet alkotó mutató. Sok iskola vezetője úgy véli, hogy tanáraik képesek annyi „tesztet” kitalálni, amennyit csak akarnak rövid idő alatt; Magam olvastam az iskola megrendelését, ahol a tanárokat arra kötelezték, hogy három napon belül "teszteket" nyújtsanak be az igazgatónak. Valójában annyi feladattal állhat elő, amennyit csak akar teszt formában (és ezek még nem tesztek). Csak akkor szabad őket bevonni egy valódi tesztbe, ha ismeretes az empirikusan ellenőrizhető nehézségi fok. Ebből a követelményből világossá válik, hogy az egyes feladatok előzetes empirikus ellenőrzése kötelező, a tesztelés előtt. Az ellenőrzési folyamat során sok feladat (általában több mint a fele) nem felel meg a rájuk vonatkozó követelményeknek, ezért nem szerepel a tesztben. Az első követelmény a próbadarabokra: a próbadaraboknak különbözniük kell a nehézség szintjétől, ami a teszt korábban megadott meghatározásából és a vizsgált alapelvből következik. A figyelmes olvasó valószínűleg már felfogta a tesztelmélet itt bemutatott három alapfogalmának szókincsében rejlő különbségeket, amelyek "észrevehetetlenül": pedagógiai teszt, tesztforma feladatok és tesztfeladatok. Az elsőre vonatkozó követelményeket már figyelembe vették a "Pedagógiai teszt meghatározása" című cikkben (30. sz. Iskola, 1999. augusztus). Jobb, ha most bevezetjük a második koncepció követelményeit, miután ezt legalább röviden felsoroljuk, hogy ne térjünk el a cikk fő témájától. A tesztformában szereplő feladatokra a következő követelményeket támasztják:
- a tartalom helyessége; az állítás logikai formája; a forma helyessége; tömörség; egy adott válaszhely rendelkezésre állása; a feladat elemeinek helyes elhelyezése; ugyanazok a szabályok a válaszok értékelésére; ugyanazok az utasítások minden tantárgyhoz; az utasítások megfelelősége a megbízás formájához és tartalmához.
Ahol az Rsub> 3 a feladatra adott helyes válaszok számát jelenti, és N a csoport összes alanyának a száma. A (j) feladatra adott helyes válaszok arányának kiszámításához használt általános képlet a következő, ill.
P j mutató. régóta használják az úgynevezett klasszikus tesztelmélet nehézségmérőjeként. Később a benne foglalt szemantikai pontatlanság rájött: végül is a pj értékének növekedése nem a nehézség növekedését, hanem éppen ellenkezőleg, a könnyebbség növekedését jelzi, ha ilyen szó használható. Ezért az utóbbi években az ellenkező statisztika - a helytelen válaszok aránya (q j) - társult a feladat nehézségi mutatójához. Ezt az arányt a helytelen válaszok számának (W j - az angol Wrong szóból - helytelen) és a tantárgyak számának (N) arányából számítják:
Természetesen feltételezzük, hogy p j + q j = 1. A tesztek klasszikus elméletében hosszú évekig csak a nehézség empirikus mutatóit vették figyelembe. A tesztek pszichológiai és pedagógiai elméleteinek új verzióiban a különféle formájú tesztfeladatok végrehajtása során nagyobb figyelmet fordítanak a hallgatók mentális tevékenységének jellegére. A teszt tartalma nem csak könnyű, közepes vagy nehéz. Itt teljes mértékben megnyilvánul a jól ismert elképzelés az alkalmazott módszer eredményeinek függőségéről. Az egyszerű tesztfeladatok csak a tudással rendelkező hallgatók látszatát keltik, mivel minimális tudást tesztelnek. E tekintetben meg lehet jegyezni, hogy a szövetségi oktatási igazgatás orientációja a minimális tudásszint ellenőrzésére még definíció szerint sem ad és nem ad képet a tudás valódi szintjéről, azaz. a társadalom és a kormányzati szervek számára már régóta szükséges információk megadása. Torzítja a teszt eredményeit és a nyilvánvalóan nehéz feladatok kiválasztását, aminek következtében az iskolások többsége alábecsüli a pontszámokat. A nehéz feladatokra való összpontosítás gyakran a tanulási motiváció növelésének eszközeként tekinthető. Ez az eszköz azonban kétértelmű. A nehéz feladatok némelyiket tanulásra, másokat pedig elrugaszkodhatják. Egy ilyen orientáció torzítja az eredményeket, és ennek következtében csökkenti a pedagógiai mérés minőségét. Ha a teszt szigorúan növekvő nehézségű feladatokból épül fel, akkor ez megnyitja az utat az egyik legérdekesebb mérési skála - L. Gutman skála - létrehozásához. A teszt definiálásakor már megjegyeztük, hogy a teszt összes feladatát, hangsúlyozni szeretném, a témák tartalmától függetlenül, a szekciók és az akadémiai tudományágak növekvő nehézségi sorrendbe vannak rendezve. A széles körben elterjedt, egészen a közelmúltig ajánlás több átlagos nehézségű feladat felvételére a tesztbe indokolt a mérés megbízhatóságának az úgynevezett képletek segítségével történő meghatározása szempontjából. klasszikus tesztelmélet. A teszt megbízhatóságának értékelésére szolgáló módszerek, amelyek ebben az elméletben léteznek, csökkentik a megbízhatóságot, ha könnyű és nehéz feladatokat vesznek fel a tesztbe. Ugyanakkor a csak átlagos nehézségekkel járó feladatok iránti lelkesedés a teszt tartalmának súlyos deformációjához vezet: ez utóbbi elveszíti azt a képességét, hogy normálisan tükrözze a vizsgált tudományág tartalmát, amely mindig könnyű és nehéz anyagot tartalmaz. Így az elméletileg magas megbízhatóság elérése során a teszt eredmények értelmes érvényessége elvész. A vizsgálati eredmények érvényességének növelésére irányuló vágy gyakran a pontosságuk csökkenésével jár. Ha egy gyenge, a felkészültség szempontjából tanuló diákcsoportot tesztelnek, kiderül, hogy a teszt nehéz feladatai egyszerűen nem működnek, mert egyetlen hallgató sem tud helyesen válaszolni rájuk. Az ilyen feladatokat eltávolítják a további adatfeldolgozásból. Ezeket az adaptív vezérlőrendszerek nem kínálják. A gyengén tanulók számára készült teszt tartalma jelentősen eltér az erős tanulók számára készített teszt tartalmától. Utóbbiaknál éppen ellenkezőleg, a könnyű feladatok nem működnek, mivel minden hozzáértő tantárgy helyesen válaszol a könnyű feladatokra. Így a hagyományos teszt tartalma jelentősen változik attól a hallgatói csoporttól felkészültségi szinttől függően, amelynek ismereteit a teszt méri. Az oktatási anyag tartalmának optimális feltérképezése a szükséges nehézségi fokú tesztfeladatokba feltételezi a megfelelő forma kiválasztásának lehetőségét. A teszt tartalmát a feladatok négy alapformájának egyikében fejezik ki. Azt:
- feladatok egy vagy több helyes válasz kiválasztásával a javasolt válaszok közül; nyílt formájú feladatok, ahol az alany maga írja a választ, az erre kijelölt helyen; megbízások a megfelelés megállapítására; hozzárendelések a helyes műveletsor megállapításához.
8. cikk. A teszt tartalmára vonatkozó logikai követelmények
A tesztelemek nem csak tartalmilag, hanem a mondat felépítésének stílusában is különböznek a nem tesztelemektől. A kétértelműség teljesen kiküszöbölődik a próbatételből, amikor például a nominatív esetben az alany könnyen összetéveszthető az akuzív esetben a közvetlen tárggyal (például „az anya szereti a lányát”). Ezenkívül néha egy tesztelemet tévesen azonosítanak egy találós kérdéssel. Bár mindkét esetben a helyes válasz megtalálása a feladat, a megjegyzett hasonlóság nem elegendő a rejtvény és a tesztelem azonosításához. Vannak olyan jelek, amelyek egyértelműen elválasztják őket. A találós kérdés szempontjából a legfontosabb, kifejezetten megkülönböztető jellemző a talány metaforikussága, figurativitása. Ismert, hogy egy kifejezés akkor válik metaforikussá, ha nem közvetlen, hanem átvitt értelemben használják. A tesztfeladat éppen ellenkezőleg, mindig autológ: csak közvetlen, közvetlen jelentésükben használja a szavakat. Az autológiai stílus az, amelyről V. Majakovszkij azt írta: "Pontos és meztelen beszédet keresünk." A tesztfeladat pontos kifejezésekből van megfogalmazva, és soha nem tartalmaz metaforát, hanem egy plusz szót és egy plusz jelet. Példa metaforikusan megfogalmazott feladatra nyílt teszt formájában: „___________ az orosz fiziológia atyjának számít”. Korábbi cikkek a teszt tartalmának pedagógiai követelményeit vizsgálták. Itt az ideje, hogy mérlegeljük a pedagógiai teszt tartalmának meghatározásának logikai alapelveit. A logika szerint a helyes gondolkodás ilyen törvényeit az identitás, az ellentmondásmentesség, a kizárt harmadik és elégséges ok törvényeként ismerjük. Ez lehetővé teszi a helyes gondolkodás olyan alapvető tulajdonságainak kiemelését, mint a bizonyosság, a következetesség és az érvényesség. A tesztelmélet és a gyakorlat tekintetében a helyes gondolkodás ezen általános tulajdonságai elsajátítják a tesztaktivitás specifikus szabályozóinak funkcióit, ennek eredményeként elsajátítják az alapelvek jelentését. Vizsgáljuk meg őket részletesebben. 1. A teszt tartalmának bizonyossága A teszt tartalmának bizonyossága képezi a pedagógiai mérés tárgyát. Homogén teszt esetén felmerül a kérdés, hogy az összes tesztelem egy adott tudományos diszciplínában teszteli-e az ismereteket, és nem másban. Gyakran előfordul, hogy egyes feladatok helyes megválaszolásához nemcsak az érdeklődésre számot tartó tudományágról, hanem számos más, általában kapcsolódó és megelőző tudományos ágról is szükség van. Ennek közelsége és kohéziója megnehezíti a mért tudás tárgyának pontos meghatározását. Például sok matematikai tudást használnak a fizikai számítások során, ezért a fizikai ismeretek rendszere általában magában foglalja azt a matematikát, amelyet a fizikai problémák megoldására használnak. A matematikai számítások kudarca kudarcot okoz a fizikai tesztelemek megválaszolásában. Negatív pontszámot kap a fizika tudatlansága, bár az alany matematikai jellegű hibákat követett el. Ha egy ilyen teszt sok olyan feladatot tartalmaz, amelyek a helyes megoldáshoz nem annyira fizikai ismeretekre, mint bonyolult számítások elvégzésére van szükségük, akkor ez egy példa lehet egy fizikai teszt pontatlanul meghatározott tartalmára. Minél kevésbé metszik az egyik akadémiai tudományterület tudását a másik tudásával, annál egyértelműbben fejezi ki az akadémiai tudományág tartalmát a teszt. A tartalom bizonyossága szükséges minden más tesztnél is. Heterogén tesztben ezt úgy érik el, hogy a feladatokat kifejezetten elkülönítik egy akadémiai tudományágtól, külön skálára. Ugyanakkor gyakran vannak olyan feladatok, amelyek nemcsak egy, hanem két, három és még több skálán is jól működnek. Bármely tesztfeladatnál előre meghatározzák, hogy mi tekinthető egyértelműen a feladatra adott válasznak, milyen teljes körűséggel kell a helyes választ adni. A fogalmat nem szabad olyan elemek felsorolásával meghatározni, amelyek nem szerepelnek benne. Vegyünk egy példát egy nyílt végű feladatra, ahol az alanynak egy kötőjel helyett felkérést kap, hogy egészítse ki a kijelentést a válaszával: A PONT AZ, AMELY NINCS NEM ______________. Az elmében felmerül a kérdés: „Nincs mije? A válasz Euklidész szerint "egy pontnak nincsenek részei", de ez csak a feladat tartalmának és a pont fogalmának sikertelen meghatározásának esete. Mint tudják, egy pontnak nincs például a szín, az íz, az illat és még sok más, és nem. A teszt rendszerként történő kialakításában jelentős szerepet játszik a tesztben szereplő feladatok logikai helyességének követelménye. Amint azt a szakirodalom is megjegyzi , a tesztfeladatok megfogalmazásának logikai helyessége akkor érhető el, ha a következő feltételek teljesülnek:
- a meghatározó fogalom térfogatának arányossága a meghatározott térfogatával. Az irodalomban ismert példák:
1. A MINDENoldali egyenlőségű négyszöget ________________ nevezzük (a válasz egy rombusz).
2. ______________ HÍVJUK TÖBBET, AMELYEN MINDEN OLDAL EGYENLŐ EGYENLŐ (a válasz négyzet). Ha az első feladatra a válasz "négyzet", akkor megengedett az eltérés: a meghatározó - négyszög - térfogata nagyobb, mint a meghatározott - négyzet térfogata. tautológia hiánya. Példák:
3. AZ ÁRUK KÖLTSÉGÉT A ____________ KÖLTSÉGE MEGHATÁROZZA (a válasz munkaerő);
A MUNKA KÖLTSÉGÉT A ________________ KÖLTSÉGEK MEGHATÁROZIK (a válasz az áruk).
Mint már említettük, ezekben a példákban a logika szabályainak megsértése árulkodik; az egyik értéket a másik határozza meg, amelyet viszont meg kell határozni; a tesztfeladat igenlő formája. Példák:
4. HA A MÁSODIK LÉPÉS A MAJEURE LADÁBAN LESZERÜL, LAD lesz
1) Dorian
2) Fríg
3) Lydian
5. A KHOKHLOMSKAYA FESTÉS FŐ ELEME
1) rügy
2) rózsás
3) kudrina
4) kupavka A megadott példákban a válaszokat konkrét alapon választják ki; illetőleg felsorolják a festmény idegeit és elemeit. A közös alap hiánya logikus következetlenséghez vezet a feladat tartalma és a válaszok között. Például a feladatban:
6. A MÁGNESES TERÜLETEN MOZGÓ ELEKTRON KÖTELEZŐ
1) Medál
2) Lorenz
3) Ampere
4) Coriolis
5) gravitáció
az ötödik válasz nem egyezik a fizikus nevével. Ez a válasz nem felel meg a többi válasz tartalmának, ezért helytelennek tekinthető; tartalmaznia kell egy másik híres fizikus vezetéknevét, ahogy az alábbiak szerint történik:
7. A kvantumelmélet alapítója
1) Bourne
2) Einstein
3) Heisenberg
4) Bór
5) Rutherford
A logikailag helyes gondolkodás három felsorolt tulajdonságán kívül még egy követelményt jegyezünk meg a tesztfeladatokra vonatkozóan, amely ugyanolyan formális, mint értelmes. Ez a követelmény a tesztelemek rövidségének. A rövidséget a szavak, szimbólumok, grafikonok gondos kiválasztása biztosítja, lehetővé téve a minimális eszközöket a feladat szemantikai tartalmának maximális tisztaságának eléréséhez. Kizárt az ismétlés, homályos, ritkán használt, valamint a hallgatók számára ismeretlen szimbólumok, idegen szavak, amelyek bonyolítják a jelentés érzékelését. A feladat hozzávetőleges száma öt-kilenc, de általában annál jobb, annál jobb. Például:
AZ ERŐ
1) vektor
2) skaláris
Akkor jó, ha a feladatok legfeljebb egy alárendelt záradékot tartalmaznak. Amint azt a híres nyelvész, A. M. Peshkovsky megjegyezte, a pontosság és az érthetőség növekszik, amikor a kifejezés verbális összetétele csökken és néma altalaja nő. Minél kevesebb szó, annál kevesebb félreértés. Egy feladat rövid megtartásának jó módja az, ha egy dolgot kérdezel. A gyakran előforduló esetek, amikor a feladatokat megterhelik a követelményekkel, hogy valamit találjanak, megoldják, majd elmagyarázzák, negatívan befolyásolják a feladat minőségét és a teszt egészét, bár pedagógiai szempontból könnyű megérteni az ilyen feladatok megfogalmazásának okát . Ha egy ilyen feladatban a hallgató tanár nélkül dönt valamiről, majd elmagyaráz valamit neki, akkor az objektív módszer konjugációja van a szubjektívvel, plusz ehhez - az osztályzatokkal kapcsolatos nehézségek, amikor eldönti, melyik pontot adja meg. Ezzel szemben a teszt egyik fontos követelménye, hogy előre kidolgozott pontozási szabályok legyenek tanár részvétele nélkül.
9. cikk. A tudás mint tesztellenőrzés tárgya
Mit jelent tudni? Ez a barátom, ez a kérdés.
Goethe. Faust.
10. cikk. A tudás mint tesztellenőrzés tárgya
Tudás fogalma Az előző cikk három fogalmat elemzett: tudás, tudatlanság és tudatlanság. E fogalmak közül a pedagógiai tesztelés csak ismereteken alapul; ugyanakkor a tudatlanság meglehetősen leegyszerűsítve tekint a tudás alternatívájára. Bár már bebizonyosodott, hogy Szókratész kora óta a tudást nem a tudatlanság, hanem a tudatlanság állítja szembe. A tudatlanság és a tudatlanság szintje alig mérhető a világ homályossága és végtelensége miatt, amelyet a "nem" tagadás részecskéi alkotnak különböző szavakkal. Míg a "tudom" és a "felelős" fogalmak korrelálhatnak egy meghatározott elemkészlettel, amely az alanyokban egy adott tulajdonság jeleinek halmazát képezi. Így az ismeretek mérésének legfőbb nehézsége e jelenség általános konceptualizálásában rejlik. Ez egyértelműen hiányzik a pedagógiai tudományból. Általános tudásfogalom hiányában a tesztfejlesztők elkezdik kialakítani saját tudásukat a tudás lényegéről, annak a tudományos fegyelemnek a kapcsán, amelynek tanításával foglalkoznak. Így válnak - vagy kezdenek olvasni magukat - szakértőkké. Vannak olyan jelek, amelyek alapján mások hisznek; hogy a szakértők tudják, mit jelent tudni: ez az általuk kapott általános és szakképzés szintje és minősége, tanítási tapasztalat, teljesítménymutatók, tudományos és módszertani munkák, a vezetők elismerése. Sajnos a szovjet és különösen a posztszovjet időkben az alkalmatlan személyek jelentős része megtanulta megszerezni a szakértők hírnevét, anélkül, hogy lényegében ilyen lenne. Ez a magasabb tisztviselőkkel kölcsönösen előnyös kapcsolatok rendszerének kiépítésével, hamis disszertációk megvédésével, kollektív "tudományos dolgozatok" megírásával, valamint szertartás nélküli hitelfelvétellel volt hozzáértő emberek munkáiból. Ezek egyfajta vörös őrök, amelyeket Kína modern történelméből ismerünk, és amelyek után az országot évtizedekig sokfelé dobták vissza. Ott sokat, ha nem mindet át kellett dolgozni újra. Hasonló időszak jött el most Oroszországban. A pedagógiai mérés szempontjából fogalmilag a tudás négy fő területét lehet megkülönböztetni: a világ ismerete, az emberek ismerete, önmagunk ismerete és a cselekvési módok ismerete. Hasznos továbbá ezt a négy szférát felosztani a természettudományra és a tudás humanitárius szférájára, majd felosztani a gyakorlat ágainak, a tudományoknak megfelelően. Például a tudományos ismereteket filológiai, matematikai, történelmi, fizikai, kémiai stb. De nem minden tudomány tudományos. Rajtuk kívül vannak a tudomány előtti és a tudományon kívüli ismeretek rétegei, objektívek és szubjektívek. A nem tudományos ismeretek különböznek a megszerzés, tárolás és átadás tudományos módszereitől. A tudományos módszerek viszonylag nagyobb objektivitást, megerősíthetőséget és az ismeretek reprodukálhatóságát biztosítják. Az olyan tevékenységi területek eredményei, mint a mágia, az asztrológia, a numerológia, a tenyérjóslás, valamint az élettér, a lebegés és a tisztánlátás doktrínája és még sok más, tudományon kívüli kategóriába sorolhatók. A vallási ismeretek státusát ellentmondásosnak tekintik, bár a vallási szövegekben való létezése és sok ember tudatára gyakorolt hatása nem vonható kétségbe. A tudomány előtti ismeretek és a tudományos megkülönböztetés fő kritériuma az ésszerű érvényességük mértéke: minél magasabb az ilyen érvényesség, annál több tudás állítja, hogy tudományos. A racionális megismerés a valóság gondolkodáson keresztüli tükrözésének összetett, velejárója. Jellemzője: az érzékszervi reflexió eredményeire való támaszkodás, az érzések közvetítése; a kialakuló képek elvontsága és általánossága; tárgyak reprodukciója entitások, belső szabályos kapcsolatok és kapcsolatok szintjén. A racionális tudás fő formái magukban foglalják a fogalmakat, az ítéleteket, a következtetéseket, a törvényeket, a hipotéziseket, az elméleteket. Az oktatási ismeretek észrevehetően elkülönülnek a tudományos megismerés folyamatától, rendezettek, alárendeltek, a hallgatók számára elérhető nyelven vannak kifejezve, végül a tankönyvben a tankönyvet és az oktatási folyamatot kísérő különféle feladatokban mutatják be. Bizonyos értelemben az oktatási ismeretek egyszerre objektívek és szubjektívek. Mivel általában objektívek, a tudományos szövegekben és az oktatási anyagokban megfogalmazottak, asszimilációjuk során szubjektív tudássá válnak. Ugyanakkor a javasolt ismeretek egyik vagy másik szubjektív torzulása szinte mindig megtörténik. A tudás lehet objektíven igaz és objektíven hamis is. A hamis tudás a torzítás eredményeként, ráadásul az érdekelt csoportok, pártok, egyesületek stb. Szándékos propagandájának eredményeként keletkezik. Az oktatási testületek elvileg nem terjesztenek objektíven hamis ismereteket, kivéve néhány változó ideológiát és politikai mítoszt, objektív vagy részben objektív tudással kombinálva a történelem, a filozófia, a vallás, a politikatudomány és hasonlók területén, amelyek a bölcsészettudományokra utalnak. Objektíve hamis tudás létezik tudatlanság, áltudás és csak hazugság formájában. A történelem tanfolyamokon sok hamis tudás volt. Ezért nem véletlen, hogy a történelem tankönyveket gyakrabban (és valószínűleg még mindig meg kell) változtatni, mint másokat. Bizonyos ismeretek lehetnek értelmesek vagy nem értelmesek. Ez utóbbi esetben a lényeg félreértéséről beszélhetünk. Épp ellenkezőleg, a megértés, Z.I. Kalmykova mentális behatolás a felismerhető valóság lényegébe, törvényeinek absztrakciójába és általánosításába. A megértés több szintjét is megkülönbözteti. Az első szint elemi - mint egy szöveg olvasásának aktusa, amelynek során a grafikus jelektől a szavakig és mondatokig átmenet történik. A megértés második szintje - a lexikális - kapcsolatokat hoz létre a szavak és a hozzájuk tartozó valóság tárgyai és jelenségei között, anélkül, hogy figyelembe venné a szöveg egészének tartalmát. A harmadik szintaktikai szinten a szavak jelentését a mondat formális és logikai összefüggéseitől függően határozzuk meg (1, 84-105. O.). Tudás, kultúra, erkölcs és oktatás A tudás fogalma nem tekinthető kulturális kérdéseken kívül. „A kultúra, az igazi kultúra - írta Jean Rostand francia tudós és író - sokkal kevesebb, mint általában gondolják, összefügg a tényadatok felhalmozásával. Inkább a megértés, a törés, a gondolkodás közismert képessége. Kulturáltnak lenni nem azt jelenti, hogy tömje az agyát számokkal, dátumokkal, nevekkel. Ez a megítélés szintje, a logikai igényesség, a bizonyítási vágy, a dolgok összetettségének és a felmerülő problémák nehézségének megértése. Ez a kétség, az arányosság, az ítélet szerénységének és a tudatlanság iránti tolerancia képessége. Ez az a meggyőződés, hogy „soha nem lehet igazad a végsőkig.” A tudás és a kultúra kapcsolatát az úgynevezett arányérzet szabályozza. Nem véletlen, hogy az ókori Kínában egy tökéletes embert joggal tekintettek annak, aki tudott megállni azon, amit nem tudott: a szovjet pedagógia modern történetében megtalálható az arányérzet, amelyben az oktatási ismeretek minden elemének az úgynevezett nevelési oktatás keretein belül hűséget kellett kialakítania. bizonyos elképzelésekhez, személyekhez és megingathatatlan meggyőződéshez az összes javasolt (gyakran erőltetett) tudás helyességében, amelyet gyakran megtettek emellett vulgarizált formában. Nem valószínű, hogy bárki vitatkozna azzal a ténnyel, hogy a tudomány tanulmányozása nem mindig gyakorol pozitív oktatási hatást a hallgatókra. Az oktatás nélküli oktatás veszélyes mind az egyén, mind a társadalom számára. Korábbi cikkek már megjegyezték az ókori egyiptomi papok és tagok meggyőződését a pitagoreaiak rendjéről abban a tényben, hogy a a társadalom haszna a tudományok titkaiban szükséges csak méltó, tisztességes embereket szenteljen. Ugyanezt az elképzelést erősíti meg az úgynevezett hermetika-filozófia is, amely hangsúlyozza, hogy az emberiség hamisan megértett "haladása" az elme titánjait és a szellem pigmeusait, unalmas lelkiismerettel és érzékenységgel rendelkező embereket eredményezi (2). Ezt a helyzetet világosan I. A. Iljin orosz filozófus fejezte ki. "A nevelés nélküli oktatás nem képződik, hanem szabadon engedi és elrontja az embert, mert létfontosságú lehetőségeket, technikai készségeket ad számára, amelyekkel szellemetlenkedve visszaélni kezd." A tudás típusainak osztályozása Sok kísérlet van a tudás típusainak osztályozására, de nincs egyetlen, amely teljes mértékben kielégítené a gyakorlati igényeket. Például az I.Ya ismerete. Lerner tartalmazott kifejezéseket és fogalmakat, tényeket, törvényeket és elméleteket, módszertani ismereteket (módszerek ismerete), értékelő ismereteket, absztrakt és konkrét ismereteket, empirikus és elméleti ismereteket (3). E.T. kísérletet tett az ismeretek osztályozásának felépítésére több megosztási alap felhasználásával. Dyrankova (4). Az iskolás tudástípusok hierarchiája megtalálható V.P. Maksakovsky. Hierarchiájában a legmagasabb helyet a tudományos törvények és törvényszerűségek ismerete foglalja el. Ezt követi a tudományos elméletek, paradigmák, fogalmak, hipotézisek, általános és egyéni fogalmak, kifejezések, tények ismerete. Ezt a sorozatot reprezentációk zárják (5., 6. o.). B. Bloom és munkatársai immár klasszikus munkájában (6) az oktatási tevékenység három területét és a felkészültség szintjének hierarchiáját különböztetik meg. BAN BEN kognitív az ottani szférát a következő szintek fogalmazzák meg: 1. A tudás, lehetővé téve a tények reprodukálását, a vizsgált jelenségek és tárgyak nevének felsorolását. Itt minden a memorizált információk reprodukcióján alapul; 2. A reprodukált tudás megértése. A megértés tesztelésének jó módja, ha megkérjük a tanulókat, hogy az anyagot saját szavaikkal sokszorosítsák, példákkal szolgáljanak; 3. A tudás alkalmazása, különösen új helyzetben; 4. Képesség a jelek elemzésére és szintetizálására; 5. Képesség értékelni, általános következtetést levonni. Ez a legmagasabb szintű alkalmasság. A szférában pszichológiai kiáll:az egyes indikációk, jelek észlelése, azokra adott válasz;
érdeklődés mutatása a szükséges információk iránt;
szervezés, a kapott információk strukturálása, rendszerezése;
a szintenként kapott információk hierarchizálásának képessége.
BAN BEN pszichomotoros gömb:
ötlet a cselekvésről;
hajlandóság a tanárok irányításával végzett tevékenységekre;
a cselekvések független végrehajtása.
A gyűjtemény előkészítése során anyagokat használtak fel
A pedagógiai tudományok doktora, Vadim Avanesov professzor
Készítette: A. N. Oshmarin,
az oktatási és módszertani központ módszertanosa
A Dzhankoy kerületi államigazgatás oktatási osztálya,
Első fejezet - Tesztek: Történelem és elmélet
1. Századok mélyéből ……………………………………………… .1
2. A 19. század vége …………………………………………………… 4
3. A 20. század eleje ………………………………………………… .6
4. A 20. század tendenciái …………………………………………… ... 8
5. Szovjet időszak ……………………………………………… 11
6. Az ötvenes évek …………………………………………… ... 14
7. A tudás teljes asszimilációjának rendszere …………………………… .17
2. fejezet - Vizsgálatok: elmélet és módszertan fejlesztésükhöz
1. Az elmélet kezdete. Hozzáállás a vizsgálatokhoz ……………………….… 20
2. A pedagógiai vizsga meghatározása ………………………………………………………………………………………………………………… …………………………………………………………………………………………………………………………………… …………………………………………………………….
3. Hagyományos tesztek ………………………………………… ..26
4. Nem hagyományos tesztek ……………………………………… .29
6. A teszt tartalmának fejlesztésére vonatkozó alapelvek …………………… ..37
7. A teszt és a tesztelemek nehézsége ………………………… .40
DokumentumGyakran felteszik a hallgatók a kérdést: miért kell tanulmányoznunk a szociológia történetét, tudniuk valamit, ami örökké a múlté, és alig hasznos a jelenlegi tevékenységekben? Nem lenne jobb, ha rögtön a szociális technológiák fejlesztésének módszereinek és alapelveinek tanulmányozásával kezdnénk,
