8 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Статистичний аналіз тесту в MOODLE

Содержание

Використання вбудованої системи аналізу тестових завдань в LCMS Moodle

Аналіз можливості використання вбудованої системи аналізу тестових завдань LCMS Moodle 2.5.х для математико-статистичного опрацювання результатів тестування. Аналіз критеріїв показників якості тесту і тестових завдань, доступних в системі Moodle.

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Подобные документы

Роль якості тестових завдань, глибини охоплення ними програми практичної та теоретичної медицини. Вплив залучення лікарів-інтернів до самостійного створення тестових завдань за структурою аналогічною ліцензійним на підвищення якості складання іспиту.

статья [20,8 K], добавлен 27.08.2017

Вимоги до комплекту тестових завдань. Види тестів, вимоги щодо їх проведення, рекомендації з результатів тестування. Прийоми тестового контролю знань та вмінь учнів. Педагогічний тест. Вимоги до комплекту тестових завдань. Приклади завданнь для тестів.

доклад [14,4 K], добавлен 20.09.2008

Висвітлення питання, пов’язаного з місцем тестування в сучасному світі. Визначення даних, які можна отримати за допомогою тестів. Дослідження існуючих форм тестових завдань і вимог до них, а також розгляд принципів композиції завдань у тестовій формі.

статья [22,7 K], добавлен 18.12.2017

Роль проведення оцінки та контролю якості навчання в сучасній системі освіти. Практичне застосування тестування. Класифікація та види тестів, принципи створення тестових завдань, їх основні переваги та недоліки. Суть зовнішнього незалежного оцінювання.

реферат [35,5 K], добавлен 20.06.2012

Сутність тестів як засобу контролю. Психологічні особливості учнів та їх готовність до виконання тестових завдань. Порівняльний аналіз граматичних тем у підручнику з англійської мови та вимог до граматики у тестах зовнішнього незалежного оцінювання.

курсовая работа [40,5 K], добавлен 20.03.2011

Основні переваги роботи в системі інформаційного середовища Moodle. Особливості й головні етапи створення електронного навчального забезпечення зі спецкурсу «Формування професійної культури майбутнього вихователя дошкільного навчального закладу» в ній.

статья [24,9 K], добавлен 27.08.2017

Застосування тестових технологій на уроці хімії як методу педагогічної діагностики. Основні критерії тестування: валідність, надійність, ефективність, складність. Розробка тестових завдань для контролю засвоєння теми «Хімічні реакції» у шкільному курсі.

курсовая работа [32,8 K], добавлен 13.12.2013

Поняття педагогічної тестології, її сутність і особливості, предмет і методи вивчення. Головна мета та методика використання тестів у навчальному процесі. Класифікація тестів, їх різновиди, відмінні риси. Основні принципи добору змісті тестових завдань.

курсовая работа [34,9 K], добавлен 07.04.2009

Методи контролю знань студентів і випускників вищих навчальних закладів. Систематизація змісту тестового іспиту. Узагальнення технічних дефектів тестових завдань. Розробка тесту успішності з дисципліни «Механізація і автоматизація сільського виробництва».

дипломная работа [865,9 K], добавлен 29.09.2010

Діагностика навчання як обов’язковий компонент освітнього процесу, за допомогою якого визначається досягнення поставлених цілей. Об’єкти, функції, види та форми оцінювання. Тестування при навчанні інформатики. Рекомендації щодо складання тестових завдань.

реферат [28,5 K], добавлен 23.04.2010

Використання платформи Moodle у навчальному процесі (Швець Ю.О.)

Тестова підсистема платформи Moodle

1. Тести, як засіб педагогічного вимірювання

Педагогічний тест — це інструмент, що призначений для вимірювання ступеня навченості учня, який складається з системи тестових завдань, стандартизованої процедури проведення, обробки та аналізу результатів.

Важливими критеріями методів вимірювання навченості є дієвість (валідність), надійність та ефективність їх результатів.

Валідність (дієвість) — повнота, всебічність перевірки, пропорційність представлення всіх елементів знань та умінь, які вивчаються. Невід’ємною умовою дієвості тесту є чітка та ясна постановка питань в межах засвоєних знань. Якщо тест виходить за межі засвоєного змісту або не досягає запланованого рівня навчання, то він не буде дієвим для тих осіб, які навчаються.

Надійність — стабільність, сталість показників при повторних педагогічних вимірюваннях за допомогою того ж тесту або його аналогу. Кількісно надійність характеризує вірогідність досягнення запланованих результатів. Надійність тесту збільшується зі збільшенням кількості тестових завдань. При цьому чим ширше тематична спрямованість тестових завдань, тим менша надійність тесту.
Надійність тестів залежить від важкості їх виконання. Остання визначається співвідношенням вірних та невірних відповідей на тестові завдання. Включення до складу тестів таких тестових завдань, на які всі особи відповідають вірно або невірно, різко зменшують надійність тесту.

Ефективність — порівняльний критерій, що дозволяє порівняти тести. Ефективним можна назвати тест, за допомогою якого краще, ніж за допомогою інших тестів, вимірюються знання учнів потрібного рівня підготовки, з меншим числом завдань, якісніше, швидше, дешевше, і все це — по можливості одночасно.

Особливістю ефективних тестів є дискримінативність.

Дискримінативність — придатність тесту до виділення тих осіб, які засвоїли навчальний матеріал на запланованому рівні, від тих, хто його не засвоїв. Для визначення дискримінації тесту застосовуються такі статистичні параметри, як індекс дискримінації та коефіцієнт дискримінації.

Тест складається з:

  • тестових завдань;
  • правил їхнього застосування;
  • оцінок за виконання кожного завдання;
  • рекомендацій з інтерпретації результатів тестування.

Підготовка та використання педагогічного тесту передбачає, як за звичай, наступну послідовність виконання дій:

  • визначення мети і завдань тестування;
  • аналіз змісту навчальної дисципліни;
  • підготовка специфікації тесту, добір навчального матеріалу;
  • підготовка тестових завдань різної форми, рівня складності відповідно до специфікації;
  • аналіз завдань експертами для оцінювання їхньої відповідності визначеному для тестування навчальному матеріалу й меті тестування;
  • упорядкування тестових завдань у тесті, групування завдань за формою, підготовка їх до пробного тестування;
  • написання чітких інструкцій до всього тесту та окремих його частин;
  • перевірка й оцінювання підготовленого тесту на групі студентів;
  • статистичний аналіз результатів первинного тестування, оцінка надійності тесту, коригування змісту тестових завдань;
  • формування тесту із завдань, що пройшли перевірку, з урахуванням їх складності;
  • проведення тестування за стандартизованими процедурами;
  • аналіз виконання завдань тесту.

Аналіз тестових завдань засобами Moodle

Розділи

  • Загальне

Загальне

Мокрієв М.В.

Національний університет біоресурсів і природокористування України

Аналіз тестових завдань засобами Moodle

Постановка проблеми. Для сучасного розвитку системи освіти України характерними є модернізація та спрямованість до західного зразка освіти, як такого, що добре зарекомендував себе в розвитку. Також приєднання України до Болонського освітнього процесу стимулює входження до європейського освітнього та наукового простору. В рамках цього процесу передбачається провести певні зміни, які повинні забезпечити підвищення якості підготовки фахівців. Необхідною умовою є розвиток та вдосконалення форм і методів контролю навчальних досягнень, які реалізують зворотній зв’язок у навчанні. Однією з форм автоматизованого контролю є комп’ютерне тестування – процедура, що дозволяє отримати об’єктивну, оперативну та достовірну інформацію про знання студентів, отримані в процесі навчання, про готовність до сприйняття нового матеріалу. І хоча безумовно тестування не повинно бути єдиним способом контролю, проте в багатьох випадках допомагає провести його швидко.

Аналіз останніх досліджень. Удосконалення навчального процесу у ВНЗ безпосереднім чином пов’язано з упровадженням інноваційних технологій у процес навчання. Однією з таких інновацій є запровадження тестування за допомогою комп’ютерного алгоритмічно-програмного забезпечення.

Проведення тестування з використанням різних комп1ютерних систем має перевагу у тому, що дає змогу опитати багатьох студентів з різних предметів пройшовши весь матеріал використовуючи ті ж самі умови та однакову шкалу оцінок. При цьому значно скорочується час перевірки знань студентів, автоматизується процес обробки результатів тестування, знижується навантаження на викладача [1].

Процес підготовки тестів, описаний в багатьох літературних джерелах, передбачає, що складання тесту повинно проходити ряд етапів: визначення цілей тестування, визначення ресурсних можливостей розробників, відбір змісту навчального матеріалу, конструювання технологічної матриці і її експертиза, складання тестових завдань та їх експертиза, побудова вибірки для апробації завдань і тестів, компонування завдань для апробації, апробація тестових завдань, визначення і розрахунок показників якості тестових завдань, відбракування завдань і складання тесту, апробація тесту, визначення і розрахунок показників якості тесту, складання остаточного варіанта тесту, стандартизація тесту, нормування тесту, оснащення тесту [2, с. 48].

Важливим аспектом комп’ютерного тестування — є наявність уніфікованого інструментарію, призначеного для комфортної та ефективної роботи з тестами викладачів для студентів [3]. Одним варіантів такого інструментарію є використання модуля тестування в системі Moodle.

Moodle має можливість підготувати тестові завдання різноманітної складності, організувати тестування з підготовкою максимально об’єктивних та однакових для всіх студентів білетів. А також провести аналіз результатів. І це може бути використано як для апробації тесту та аналізу його підготовки, так і для подальшого аналізу рівня підготовки студентів.

Постановка завдання. Тестування в системі Moodle включає в себе модуль статистичного аналізу результатів тестування. Мета доповіді — повноцінне визначення статистичних показників цього модуля та пояснення їх інтерпретації. Також додатковим завданням є удосконалення українського перекладу інтерфейсу вказаного модуля.

В доповіді розглядається тільки результати аналізу тесту.

Виклад основного матеріалу. Кухар Л.О. та Сергієнко В.П. у своєму курсі лекцій “Конструювання тестів” виділяються 16 етапів якісного створення тесту. І те, що припадає на апробацію, як тестових завдань, так і тестів, може бути вирішено за допомогою Moodle.

Апробація є одним з важливих компонентів будь-якої системи екзаменування, що проводиться з метою оцінки професійних компетенцій. Завдяки коректному використанню апробації підвищуються показники якості екзаменування (валідність, надійність, об’єктивність, обґрунтованість, ефективність та прийнятність).

Moodle дозволяє оцінити загальний результат по тесту. Також, порівняти результати окремої групи із загальним результатом. А побудова відразу графіку результатів дозволяє побачити розподіл відповідей та наскільки він відрізняється від нормального розподілу. Графік дозволяє відзначити явні аномалії (хоча деякі з них можуть показувати проблеми з проведенням тестування, а не власне тестом), побачити, наскільки загалом складним чи легким був тест для групи. Відразу розраховані статистичні показники дозволяють ще глибше зануритися в аналіз.

А глибше є аналіз кожного запитання. Moodle зокрема аналізує питання те тільки окремо, а й в контексті тесту: де питання було в структурі — на початку, в середині чи в кінці.

Читать еще:  Какой порт использует rdp?

Для оцінки результату тестування групи студентів достатньо перейти до Керування -» Керування тестом -» Результат -» Огляд . [4] В цьому випадку можна побачити успіхи студентів. Як кожного окремо (рис. 1), так і в загальному (рис.2.)

Рисунок 1 — Результати тестування студентів в розрізі кожного тестового завдання

Рисунок 2 — Гістограма кількості студентів за визначеними балами

Для налаштування видачі даних, які ми хочемо аналізувати, потрібно на початку сторінки вказати необхідні параметри (рис. 3).

Рисунок 3 — Налаштування подачі результатів тестування студентів

Як видно з рис.2, студенти проходять тестування з майже нормальним розподілом (з невеликим зсувом вліво). Нормально, коли вся кількість потрапляє в межі від 50 до 100% після проходження навчання за темами тестування.

Проте, наскільки наш тест та кожне запитання окремо відображають реальні знання студентів можна більше сказати, якщо перейти до сторінки статистичного аналізу тесту: Керування -» Керування тестом -» Результат -» Статистика .

В даній системі використовуються статистичні показники, які обчислюються з використанням класичної (СТТ – Classical Test Theory) та сучасної теорії тестів (IRT – Item Response Theory). Теоретичні основи цих теорій описані у роботі [5].

Відразу ми маємо дві таблиці аналізу та графік [6].

Перша таблиця подає загальну інформацію про тест. Тут, крім стандартних даних (назви курсу, назви тесту, дати початку та закінчення тестування, часу доступності тестування) подаються загальні статистичні показники по всьому тесту (Рис.4).

Рисунок 4 — Статистичний аналіз тесту в цілому.

Кількість перших та всього спроб — інформація про те, скільки людей було протестовано.

Середній бал з перших, останніх та зі всіх спроб, а також середній бал з найвище оцінених спроб — у випадку, якщо ви дозволяєте студентам проходити тестування кілька разів, то якісний поступ буде показувати збільшення середньої оцінки останніх спроб у порівнянні з першими. Відсутність прогресу може означати, що студенти не навчаються, або тест не репрезентує їхні знання. Проте, якщо різниця між всіма спробами та першими спробами невелика, то різницю в середніх балах побачити важко. Нормальний середній бал повинен потрапляти в межі 50-75%. Якщо ж середній бал виходить за ці межі, потрібно детальніше аналізувати результати. Також потрібно пам’ятати, що в навчальних тестах (де результат отримується не в кінці тестування, а після кожної відповіді) середнє значення буде дещо більшим.

Медіана — середина між найменшим та найбільшим значенням. При нормальному тестові бали половини студентів повинні бути меншими за це значення.

Стандартне відхилення — визначає розкид балів по відношенню до середньої величини. Нормальне очікування для цих значень знаходиться в межах 12-18%. Менше значення означає, що оцінки занадто скупчилися.

Значення асиметрії розподілу — визначає наскільки крива нормального розподілу нахилена вліво або вправо. Нульове значення означає абсолютну симетрію. Позитивне значення означає, що вершина нахилена ліворуч, а негативне — що праворуч. Тобто, в першому випадку тест в цілому був складним для групи студентів, а в другому — легкий. Якщо вершина занадто відхилена, то потрібно детальніше проаналізувати тест для його виправлення.

Значення ексцесу розподілу — визначає міру сукупчення результатів учасників тестування. Ексцес визначає “крутизну” кривої розподілу. Для нормального розподілу значення ексцесу дорівнює нулю. Потрібно намагатися, щоб це значення було в межах 0-1. Якщо значення більше, то це означає, що студенти здають тест однаково і це не дозволяє диференціювати кращих та гірших.

Коефіцієнт внутрішньої узгодженості (КВУ)— показує внутрішню узгодженість між окремими питаннями та тестом в цілому. Внутрішня узгодженість тесту — характеристика тесту, яка вказує на ступінь однорідності завдань тесту. Якщо значення більше 75%, то тест є задовільним. Якщо ж значення менше 64%, то тестування в загальному є незадовільним і потрібно його переглянути на коректність запитань. Потрібно довести стан тесту до такого стану, при якому кожне тестове завдання корелюється з тестом загалом і при цьому мінімально корелюється з іншими завданнями.

Співвідношення помилок (СП)— це значення пов’язане з коефіцієнтом внутрішньої узгодженості і визначає відсоток стандартного відхилення, що може трапитися через випадковості, а не в результаті відмінності між знаннями студентів. Значення понад 50% не може вважатися задовільним, оскільки вказує на велику ймовірність випадковості у результатах тестування.

Таблиця 1 — відношення між коефіцієнтом внутрішньої узгодженості та співвідношенням помилок

Особливості аналізу тестів в LCMS MOODLE 2.5.х

Розділи

Загальне

Микитенко П.В., Галицький О.В.

Національний педагогічний університет імені М.П. Драгомангова

Особливості аналізу тестів в LCMS MOODLE 2.5.х

Одним із об’єктивних та ефективних засобів перевірки результатів навчальних досягнень, визначення рівня навченості та ступеня готовності студентів до тієї чи іншої діяльності є тестування. Для того, щоб тест був вдалим інструментом та надав якісні відомості, щодо реального стану навчальних результатів, він має бути професійно підготовлений та пройти апробацію. Одним із видів випробувань є емпіричне дослідження властивостей тестового завдання, коли на основі результатів тестування розраховуються його статистичні характеристики. Визначення статистичних характеристик тесту є головним засобом діагностики якості тестових завдань.

Серед переваг використання комп’ютерно орієнтованих технологій при діагностиці знань студентів є автоматизований аналіз характеристик тесту та якості тестових завдань. В системі MOODLE 2.5.х використання вбудованого модуля аналізу тестових завдань, для математико-статистичного опрацювання результатів тестування, дозволяє проаналізувати показники (медіана оцінок, стандартне відхилення, значення асиметрії розподілу, значення ексцесу розподілу, коефіцієнт внутрішньої узгодженості, співвідношення помилок, стандартна помилка, успішність, оцінка навмання, призначена вага, ефективна вага, індекс дискримінації, коефіцієнт дискримінації) тесту. Такий детальний аналіз тестових завдань та тестів забезпечує дотримання процедур визначення показників якості тесту, зокрема, коригування тестових завдань з урахуванням цих показників. Така кількість фіксованих показників якості тестових завдань достатня для ефективного впровадження тестових методик та використання у навчальному процесі. Однак в системі MOODLE 2.5.х не встановлені критерії, використання яких дозволили б професійно оперувати цими показниками, не розкритий зміст показників тестових завдань. У самій системі, в таблиці аналізу структури тесту, некоректно складені тестові завдання автоматично позначаються червоним кольором, в деяких випадках надається коментар, відповідно до значення того чи іншого показника.

Детальний аналіз статистичних характеристик тестових завдань у системі MOODLE 2.5.х дає змогу стверджувати, що показники характеристик тесту є статистично обґрунтованими. В даній системі використовуються статистичні показники, які обчислюються з використанням класичної (СТТ – Classical Test Theory) та сучасної теорії тестів (IRT – Item Response Theory). Таким чином тільки обізнаний в теорії тестів користувач зможе повноцінно використовувати вбудовану систему аналізу тестових завдань в системі MOODLE 2.5.х, що дозволяє опрацьовувати результати тестування з можливістю їх аналізу та оцінки якості кожного тестового завдання та тесту в цілому.

В доповіді більш детально будуть розкриті питання особливостей аналізу тестів та тестових завдань в LCMS MOODLE 2.5.х., критерії показників, зміст параметрів тесту та тестових завдань.

Реферати українською

Реферати українською » Педагогика » Аналіз тестових завдань при використанні системи Moodle

Реферат Аналіз тестових завдань при використанні системи Moodle

Аналіз таки тестових завдань під час використання системиMoodle

Широке використання електронних системам управління навчанням над останню зумовлено наявністю у яких коштів, дозволяють зробити технологічнішою найважливішу складову частину процесу навчання, пов’язану з оцінкою рівня освоєння учнями досліджуваного навчального матеріалу. Йдеться про використання автоматизованих тестових систем як засіб виміру рівня підготовки учнів.

Для цього у системіMoodle, як та інших сучасних системах аналогічного призначення, є підсистема, що дозволяє формувати банки таки тестових завдань всіх основних форм – «у зачиненій формі», «>вичисляемие», «короткий відповідь», «числові», «щодо відповідності», «вкладені відповіді», і робити з них тести, призначені для самоконтролю і тренінгу, тематичні тести, тести для поточної і підсумковій оцінок рівня учнів та інших.

Для викладача, котрий використовує що така кошти за викладанні своїх навчальних курсів, велика частка його полягає у створенні банку таки тестових завдань, забезпечує вирішення завдання оцінки успішності освоєнняобучаемими представленого ним навчального матеріалу. У цьому неминуче виникає запитання якість розроблених і використовуваних таки тестових завдань з погляду їх спроможність адекватно вирішувати проблему виміру рівня підготовки піддослідних, правильно диференціювати в відповідність до дійсним рівнем їхньої підготовки. Річ у тім, що тестові завдання, задовольняють формальним вимогам, наприклад, правильність форми, логічна точність і несуперечність висловлювань та ін., практично можуть мати якостями, що дозволяє розглядати їх як повноцінний засіб виміру рівня підготовки піддослідних.

Власне кажучи, питання про здатність конкретних контрольно-вимірювальних матеріалів дійсності служити засобом виміру рівня підготовки учнів має місце під час використання будь-який системи оцінювання, зокрема і за використанні традиційних екзаменаційних випробувань в усній чи письмовій формах. Але саме за використанні автоматизованих тестових систем виникає можливість реального застосування з оцінки якості використовуваних контрольно-вимірювальних матеріалів формалізованих підходів, заснованих на виключно методології теорії педагогічних вимірів. Стають можливими накопичення і статистичне опрацювання результатів випробувань, і отримання кількісних характеристик, дозволяють оцінювати якість тестових контрольно-вимірювальних матеріалів.

Одне з відомих підходів для такого аналізу виходить з відомій у теорії педагогічних виміріводнопараметрической моделі Раша. Практичне використання запропонованих цієї теорією підходів полегшується тим, що у системи управління навчаннямMoodle є розвинені вбудовані кошти на автоматизації обчислення за результатами виконання таки тестових завдань статистичних показників, дозволяють здійснювати об’єктивна оцінка якості таки тестових завдань з погляду їх спроможність служити засобом виміру рівня підготовки піддослідних.

ДляMoodle такого опрацювання результатів тестування необхідно навкладке перегляду результатів тестування (рис. 1) можливість перейти до пункту Аналіз питань.

Обробка результатів випробувань, необхідна щоб одержати характеристик якості таки тестових завдань, ось у чому.

Відповідно до педагогічної теорією вимірів отримані піддослідними результати випробувань видаються як матриці наступного виду (рис. 2).

>Рис. 1.Скриншот системиMoodle з переліком піддослідних, минулих тестування, і збереження одержаних ними результатів

>Рис. 2. Матриця результатів таки тестових завдань

У шпальтах цієї матриці перебувають результати, отримані конкретними піддослідними в кожному тестовому завданням, а, по рядкам розміщуються результати кожного випробуваного з відповідного тестовому завданням. У нижньої рядку представлені сумарні значення балів, набраних кожним піддослідним за тест загалом (P.Sі = xі j). Ці значення йдуть на формування оцінки рівня підготовки піддослідних попроверяемому даним тестом навчальному матеріалу. У правом стовпці наведено суми балів, отриманих усіма піддослідними кожному за тестового завдання (дляj-го завдання –Pj = xі j). За величиною значеньPj вже можна оцінювати рівень реальної легкості (труднощі) конкретних таки тестових завдань для піддослідних у цій групі – що більше піддослідних правильно відповіло конкретну завдання, то це завдання на середньому легше до виконання. Для практичного використання, проте, як легкості (труднощі) завдань більш придатні відносні значення що така показників. Це індекс легкості завдання (Іл) і індекс труднощі завдання (ІТ):

де xпорівн – середнє балів, набраних усіма піддослідними у виконанніj-го завдання; x>макс j – максимально можливу кількість балів у виконанніj-го завдання.

Ця характеристики (Іл і ІТ) таки тестових завдань є мірою легкості (труднощі) завдань для конкретної групи піддослідних. Значення цих параметрів залежать від міри підготовки піддослідних і залежить від їхньої кількості. Один із положень педагогічної теорії вимірів у тому, що у тесті повинно бути завдань невідомої труднощі. Важливість отримання кількісних характеристик легкості (труднощі) запропонованих піддослідним завдань у тому, що з здобуття права ці завдання мали здатністю диференціювати піддослідних за рівнем їхньої підготовки, тобто служити засобом виміру цього рівня, їх складність має відповідати середнього рівня підготовки піддослідних групи. Тест загалом має включати у собі комплекс завдань різної складності – від досить простих до важких, проте очевидно, що занадто прості завдання, куди правильно відповідають все до одного піддослідних, і дуже складні завдання, куди неспроможна відповісти ніхто з піддослідних, що немає здатністю диференціювати їх за рівню підготовки й у сенсі вони є справжніми тестовими завданнями. Такі завдання мають «>отбраковиваться» і виключатимуться з тіста.

Читать еще:  Безопасность Microsoft Office: форматы документов

Маючи впорядковані значення індексу легкості (труднощі) завдань тесту, як і представлене малюнку 3, можна оцінити рівень відповідності складових тест завдань середнього рівня підготовки випробовуваної групи.

>Рис. 3. Значення індексу легкості завдань длятестируемой групи

Подані дані свідчать, що яка у прикладі база таки тестових завдань досить рівномірно представляє питання різного рівня складності, у своїй дуже легких – «очевидних всім» і дуже складних – «ніким нерозв’язних» (тобтонетестових завдань) у тому, що свідчить про відповідність комплексу завдань цього тесту середнього рівня підготовкииспитуемой групи.

Інший характеристикою, яку дозволяють вираховуватимуть вбудовані до системиMoodle кошти аналізу результатів таки тестових завдань, є дисперсія цих результатів (чи його середньоквадратичне відхилення).Дисперсия результатів виконання таки тестових завдань обчислюється за такою формулою:

навчання електронний тестовий завдання

>Дисперсия результатів (чи середньоквадратичне відхилення ) характеризує розкид балів, отриманих усіма N піддослідними у відповідях конкретну (>j-е) завдання тесту. Якщо всі випробовувані відповідають завдання однаково, то характерне цим параметром розкид отриманих піддослідними балів дорівнюватиме нулю. Нульове чи низька значення розкиду одержуваних і під час конкретних таки тестових завдань успіхів у групі піддослідних свідчить про низькоюдифференцирующей здібності цих завдань, тобто їх слабку здатність розділяти піддослідних групи за рівнем їхньої підготовки. Такі завдання підлягають виключення з тесту. Щодифференцирующая здатність таки тестових завдань (більше величина розкиду результатів), які входять у тест, то вище якість тесту.

На малюнку 4 наведено приклад графіка упорядкованих значень середньоквадратичного відхилення результатів тестування, нормоване на максимально можливу кількість балів x>макс j, тобто j/x>макс j, що можна отримати у виконанніj-го завдання.

>Рис. 4.Среднеквадратичное відхилення результатів виконання завдань

Як очевидно з малюнка 4, більшість як у прикладі таки тестових завдань середньоквадратичне відхилення має значення більше 0,3, що згідно з вимогами педагогічної теорії вимірів є гарним показникомдифференцирующей здібності таки тестових завдань. А завдання, котрим це значення менше 0,3, такий здатністю що немає, і тому вони мають виключатимуться з тесту.

Ще однією вагомою статистичної характеристикою якості таки тестових завдань, яку дозволяють вираховуватимуть коштиMoodle, є коефіцієнт кореляції безлічі значень відповідей, отриманих піддослідними і під час конкретного завдання, з результатами виконання цими самими піддослідними тесту загалом, який розраховується за такої формули:

де ; — дисперсія сумарних результатів піддослідних у виконанні всіх завдань тесту;sпорівн — середнє балів, отриманих усіма N піддослідними за тест загалом;sі — сума балівi-го випробуваного у виконанні всіх завдань тесту.

Це може приймати значення між –1 і +1 й у системіMoodle називаєтьсяКоеффициентомДифференциации (КБ). Його використання кронштейна як характеристики здібності конкретного тестового завдання правильно диференціювати піддослідних за рівнем їхньої підготовки, грунтується у тому, що у якісному тесті у середньому більше високі бали у відповідях кожне конкретне завдання тесту повинні будуть отримувати випробовувані, набираючі вищу суму балів у виконанні тесту загалом. Тобто стосунки між цими значеннями мусить бути позитивна кореляція. А негативні значення цього коефіцієнта свідчать, що з відповіді На цей завдання більш «слабкі» випробовувані загалом отримують вищі бали, що більш «сильні» випробовувані. Вочевидь, такі завдання, можливо, з допущених помилок у тому формулюванні або інших причин, не є справжніми тестовими завданнями, й також слід видаляти з тіста.

На малюнку 5 наведено приклад упорядкованих за величиною значень коефіцієнта диференціації, отримані тим ж таки тестових завдань, що у прикладі малюнку 6.

>Рис. 5. Коефіцієнт диференціації таки тестових завдань

>Cчитается прийнятним, якщо значення цієї коефіцієнта перевищує +0,3. З в прикладі малюнку 5 даних видно, що майже 30-ти як у експерименті таки тестових завдань не задовольняють наведеним вимогам (КБ Рис. 6.СкриншотMoodle зі статистичними характеристикамидистракторов тестового завдання

Наведені вище приклади показують, що що у системіMoodle кошти дають можливість практичної реалізації автоматизованого контролю рівня підготовки учнів, а й надають викладачеві ефективного механізму поліпшення якості таки тестових завдань і підвищення точності й діють об’єктивності оцінки рівня піддослідних.

Можливість виявлення які відповідають з необхідними вимогами завдань тесту, саме: занадто легень і занадто важких завдань; завдань із малоїдисперсией результатів; завдань із низьким або негативним значенням коефіцієнта диференціації, як дозволяє покращувати якість тесту з допомогою винятки з нього таких проблемних завдань. Сам собою аналіз таких завдань, з’ясування причин, від яких вони потрапили до «проблемну» групу, також має для розробляє тест викладача великим методичним потенціалом. Наприклад, виявлення те, що деяке завдання виявилося занадто важким для групи піддослідних, може не про дефекті самого завдання, йдеться про недоліках в опрацюванні викладачем під час занять чи запропонованих студентам навчально-методичних матеріалах відповідного розділу навчального курсу. Аналіз самих «проблемних» таки тестових завдань чи його неефективнихдистракторов може спонукати для переробки форми та змісту таких завдань із метою усунення їх дефектів.

Говорячи про вплив якості таки тестових завдань на здатність тесту служити засобом виміру рівня підготовки учнів, слід пам’ятати, що у похибки тесту як засобу виміру практично можуть істотно впливати зовнішні чинники, пов’язані із дуже процедурою тестування. Це першу чергу, чинники, пов’язані з порушенням принципу рівності вимог, і умов проведення тестування всім піддослідних.

Однією з трьох чинників є розпізнавання піддослідними результатів таки тестових завдань. Для таки тестових завдань, особливо завдань закритого виду (вибір однієї чи кількох правильних відповідей з кінцевого числа запропонованих варіантів), існує ненульова ймовірність угадування піддослідним правильних відповідей за її випадковому виборі. Вочевидь, чим більше така ймовірність, тим більша похибка вимірювання під час використання тесту, яка веде до дискримінації сумлінних піддослідних, тобто піддослідних, не вдаються доугадиванию.Висказивается гіпотеза — про тому, що нижча рівень знань випробуваного, тим більше він мотивованою на розпізнавання, й у компенсації цього ефекту пропонується запровадження поправок на розпізнавання в вихідний тестовий бал випробуваного.

У зв’язку з цим як з найважливіших завдань, розв’язуваних під час складання тестового завдання, має бути максимальне зниження ймовірності угадування правильної відповіді нею. Цим цілям служить, зокрема, збільшити кількістьдистракторов в тестових завданнях навчити закритого типу, оскільки очевидно, що найбільшої вразливістю у плані мають тестові завдання малим числомдистракторов, особливо завдання з одного правильної відповіді з цих двох запропонованих, котрим ймовірність угадування становить. Це серйозним недоліком подібного типу таки тестових завдань, завдяки якому їх використання у тесті є їх украй небажаним. Проблема, проте, у тому, у цілому деяких випадках специфіка предметної області конкретного тестового завдання Демшевського не дозволяє вийти далеко за межі вибору однієї з двох станів. Наприклад, у разі перевірки знання піддослідним функціонування цифрових логічних схем, сигнали на входах і виходах яких принципово можуть міститися у одному з цих двох станів – 0 чи 1 (>true чиfalse). У разі можна рекомендувати об’єднання щодо одного тестовому завданні кількох питань з однієї з двох станів. СистемаMoodle дозволяє будувати що така ускладнені завдання, приклад якого наводиться малюнку 7.

>Рис. 7. Приклад об’єднання одному тестовому завданні кількох питань з однієї з двох станів

Великі можливості з погляду складання таки тестових завдань з низькою можливістю угадування правильних відповідей у системіMoodle надає тип завдання, званий Вкладені відповіді, дозволяє об’єднувати щодо одного завданні питання з відповідями різних типів. Завдання типу Вкладені відповіді складаються з тексту, у який вставляються відповіді спрямовані на цей текст питання типів –Множественний вибір, Короткі відповіді й Числові

Анализ статистики выполнения тестовых заданий в среде дистанционного обучения Moodle Текст научной статьи по специальности «Науки об образовании»

Аннотация научной статьи по наукам об образовании, автор научной работы — Нестеров Сергей Александрович

В статье рассматриваются средства анализа статистики выполнения тестовых заданий в среде дистанционного обучения Moodle и варианты их применения в ходе преподавания дисциплины « Базы данных ».

Похожие темы научных работ по наукам об образовании , автор научной работы — Нестеров Сергей Александрович

Текст научной работы на тему «Анализ статистики выполнения тестовых заданий в среде дистанционного обучения Moodle»

Санкт-Петербургский политехнический университет Петра Великого, г. Санкт-Петербург, Россия.

АНАЛИЗ СТАТИСТИКИ ВЫПОЛНЕНИЯ ТЕСТОВЫХ ЗАДАНИЙ В СРЕДЕ ДИСТАНЦИОННОГО ОБУЧЕНИЯ MOODLE

В статье рассматриваются средства анализа статистики выполнения тестовых заданий в среде дистанционного обучения Moodle и варианты их применения в ходе преподавания дисциплины «Базы данных».

Дистанционное обучение; Moodle; анализ тестовых заданий; базы данных.

Peter the Great Saint-Petersburg Polytechnic University, St-Petersburg, Russia ANALYSIS OF QUIZ STATISTICS IN LMS MOODLE

The paper describes statistical measures of the test tasks quality, which learning management system (LMS) Moodle calculates. Examples of practical use of these indicators in teaching the discipline «Database Systems» are given.

E-learning; Moodle; teststatistics; database systems.

В 2016/2017 учебном году на кафедре «Системныи анализ и управление» СПбПУ в соответствии с принятыми в университете требованиями к объему материала, изучаемого на иностранных языках, начато поэтапное внедрение преподавания ряда специальных дисциплин на англииском. Среди них оказалась и дисциплина «Базы данных», читаемая бакалаврам 3-го курса. Предварительная оценка знании студентов показала, что уровень языковои подготовки студентов сильно различается, поэтому было приято решение в этом году читать на англииском языке только отдельные модули лекционного курса, предоставляя студентам доступ к аналогичным материалам на русском через портал дистанционного обучения СПбПУ которыи использует среду дистанционного обучения Moodle. Кроме того, через СДО Moodle проводится промежуточное тестирование уровня знании.

В связи с тем, что в таком формате курс проводится впервые, промежуточным тестам уделяется особое внимание, так как по их результатам можно вовремя определить, насколько хорошо студенты усвоили темы, и есть ли разница в понимании материалов, читавшихся на русском и на англииском. Планируется регулярно сравнивать результаты промежуточнои оценки знании студентов проводимои на русском (тесты, письменные проверочные работы, результаты сдачи лабораторных работ) с результатами промежуточного тестирования на англииском, и при необходимости, уделить дополнительное время отдельным темам. Использовать автоматизированные тесты в среде Moodle представляется удобным по ряду причин:

• студенты уже работают с материалами курса в этои среде;

• на проведение компьютерного теста требуется относительно немного аудиторного времени — тест в 15 небольших задании с выбором вариантов ответа можно провести за 10 минут;

• результаты теста автоматически обрабатываются, преподавателю доступны не только итоговые результаты, но и статистика по выполнению отдельных задании.

В качестве базового учебника для модулеи курса «Базы данных», читаемых на англииском, был выбран учебник Kroenke D., Auer D. Database Processing: Fundamentals, Design, and Implementation издательства Pearson Education [1]. Учебник относится к разряду классических, выдержавших много переиздании: в 2016-м году вышло 14-е издание, тогда как первое было выпущено в 1977. При этом, каждое издание существенно обновляется и в части излагаемого теоретического материала, и в

Читать еще:  Какие контакты замкнуть для запуска блока питания?

части лабораторного практикума (например, в последнем издании лабораторные работы по SQL Server даны уже для версии SQL Server 2014). Кроме того, издательством поддерживается комплект материалов для преподавателя, включающии презентации, учебные базы данных и наборы тестовых задании, которые можно импортировать в Moodle.

Объем предлагаемого с учебником банка тестовых задании достаточно большои — порядка 100 задании на главу учебника. Несмотря на то, что использование чужих задании в тестах преподавателю не всегда удобно, в данном случае для тестов на англииском это представляется оправданным. По краинеи мере, текст тестовых задании писался носителями языка и можно избежать проблем, вызванных языковыми неточностями в формулировках. Но правильность формулировки с лингвистическои точки зрения не решает всех проблем. И для тестовых задании как на русском, так и на англииском важно провести анализ качества самих задании, что можно сделать, изучая предоставляемые средои Moodle статистические показатели.

Статистические показатели качества тестовых заданий

В теории педагогических измерении для оценки качества тестовых задании широко используется анализ статистических показателеи, полученных в результате пилотного прохождения теста группои студентов. Некоторые из них используются СДО Moodle [2-5]. В частности, это индекс лёгкости (англ. facility index), которьш показывает, какая часть студентов ответила правильно на анализируемым вопрос. Для i-го тестового задания он определяется по формуле

где x¡ — среднее значение набранных студентами баллов за i-e задание, x¡ (max) — максимально

возможная оценка за i-e задание. Этот коэффициент в отчетах Moodle приводится в процентном представлении.

Хорошии тест должен включать задания разного уровня сложности. При этом, задании с индексом легкости близким или равным как 1, так и 0, лучше избегать. В первом случае задание является излишне простым — на него все ответили правильно, во втором случае — излишне сложным. В то же время, при анализе этого показателя надо учитывать уровень подготовки группы, проходившеи тестирование.

На рисунке 1 представлены результаты прохождения одинаковых тестов группами с разным уровнем подготовки [4].

Рис.1 Распределение оценок при прохождении теста: а) «сильная» группа студентов; б) «слабая» группа

Рис. 1-а) соответствует более сильной группе студентов, рис. 1-б) — более слабой группе. На представленных гистограммах по горизонтальной оси откладываются диапазоны оценки в баллах, по вертикальнои — количество студентов с оценкои в указанном диапазоне. Данная диаграмма формировалась системои, исходя из числа студентов и разброса получаемых оценок, настроить шаг изменения оценки не предлагалось, поэтому на гистограммах разное количество столбцов. Но общую картину они показывают: после приведения к пятибалльнои шкале, в первои группе основная часть оценок была 5, во второи — 3 и 4. Из 87 тестовых задании в использованном банке, индекс легкости равныи 100% в первом случае получился у 47 задании, во втором случае — только у двух. Исключить из банка задании больше половины, исходя только из результатов оценки первого теста, было бы неверно.

Следующии используемыи показатель — стандартное отклонение (англ. standard deviation).

Оно характеризует разброс значении оценок, полученных за данное задание теста. Если для какого-то задания этот показатель равен 0, это означает, что все тестируемые получили за этот вопрос одинаковую оценку. Такой вопрос следует признать неудачным. В литературе отмечается [3], что в соответствии с требованиями педагогическои теории измерении, задания со значением стандартного отклонения менее 0,3 лучше исключать из теста, так как они не обладают достаточнои дифференцирующеи способностью, то есть не способны разделить сильных и слабых учащихся.

Балл случайного угадывания (англ. random guess score) — оценка, которую мог бы получить студент при случаином угадывании ответов. Например, если требуется выбрать один вариант ответа из четырех возможных, это значение будет равно 25%.

Намеченный вес (англ. intended question weight, IQW) — вес, которьш назначается тестовому заданию при формировании сценария теста. Если за одно задание назначено 3 балла из 10 возможных за тест в целом, то намеченныи вес составляет 30%. Если обозначить через xp(max) и xp(min) максимально и минимально возможные оценки за задание, а Tmax и Ттт — максимальную и минимальную возможные оценки за тест (в текущеи версии xp(min) и, соответственно, Ттт всегда равны 0), получим формулу расчета этого показателя:

xp (max)-xp (min) ,„, IQW = 100% •-^-——-(2)

Здесь надо пояснить, что этот параметр рассчитывается не для конкретного вопроса, а для «позиции» задания в тесте. Например, тест может формироваться так, что на каждую позицию случаино выбирается один из нескольких альтернативных вопросов на заданную тему. И если индекс легкости может рассчитываться и для отдельного вопроса, и для «позиции» в тесте, то намеченныи и эффективным вес — это характеристики только «позиции» в тесте.

В даннои статье, так же как в документации Moodle v.2.0 и выше [5] для обозначения номера вопроса будет использоваться индекс i (все множество вопросов — I), для обозначения позиции в тесте — индекс p и множество P, для обозначения попытки сдачи теста — s и S, соответственно. Количество набранных студентом баллов за тест будет обозначаться Ts, оценка студента за конкретное задание теста — xp(s), оценка студента за все остальные задания Xp(s):

Дисперсия показателя будет обозначаться V(), например:

F(Xp) = ^T £ (Xp (s) — Xp )2. (4)

Ковариация будет обозначаться через C(), например:

C(Xp, Xp) = £ (Xp (s) — Xp)(Xp (s) — Xp). (5)

Вернемся к рассмотрению рассчитываемых Moodle показателей

Эффективный вес (англ. effective question weight, EQW) характеризует фактическую долю конкретного задания («позиции» в тесте) в итоговои оценке студентов за тест.

В идеале эффективный вес должен быть равен назначенному. Имея эти значения, преподаватель может скорректировать назначенные веса задании теста.

Индекс дискриминации (англ. discrimination index) обозначается в документации Dp и рассчитывается как:

Dp = 100% ■ ,С( Хр ‘ ХР ) . (7)

Этот коэффициент показывает, насколько взаимосвязаны правильность ответа на данныи вопрос и остальные вопросы теста. Предполагается, что для хорошего тестового вопроса, студенты с высокими оценками за него, также будут иметь более высокие оценки и за тест в целом. На это укажет положительное значение коэффициента. При этом отмечается [5], что если индекс легкости вопроса отличен от 50%, Dp не может быть 100%. Если индекс легкости близок к 0% или 100%, то индекс дискриминации всегда будет очень маленьким, а при равенстве индекса легкости 0% или 100% Dp будет не определен.

Эффективность дискриминации (англ. discriminative efficiency) — еще один показатель, которыи по назначению во многом аналогичен индексу дискриминации, но лишен указанного выше недостатка. Он рассчитывается по формуле

DEp = 100% • С (Хр ‘ ) , (8)

где C(xp,Xp) рассчитывается по формуле (5), а для расчета Cmax(Xp,Xp), множества значении xp(s) и Xp(s) предварительно сортируются по возрастанию, как будто первыи студент получил самые низкие баллы Xp и Xp, а последнии студент получил самые высокие Xp и Xp.

Индекс дискриминации и эффективность дискриминации рассчитываются как для позиции в тесте, так и для отдельного вопроса.

Предлагаемый вариант использования средств оценки тестовых заданий

Как уже отмечалось выше, оценивать планируется выполнение задании с формулировками на англииском и на русском, причем тестирование будет проводиться с интервалом 1-2 недели между тестами. Банк задании на русском использовался уже в течение 3 лет и по его заданиям в системе дистанционного обучения есть статистика. Задания на англииском будут использоваться в первыи раз.

Если результаты сдачи студентами тестов на русском и англииском будут близки, это будет указывать на то, что уровень владения иностранным языком в целом достаточен для изучения данного курса.

Существенно более плохие результаты тестов на англииском потребуют анализа: причина в сложности формулировки вопросов или в недостаточном понимании материала соответствующих тем. Здесь, по всеи видимости, надо будет использовать сравнение статистики выполнения задании по однои теме, а также дать сравнительную оценку сложности задании с точки зрения предметнои области.

Наоборот, более успешное прохождение тестов на англииском будет указывать на достаточныи уровень языковои подготовки и более низкии уровень сложности задании теста на англииском. Анализ таких показателеи, как коэффициент легкости и балл случаиного угадывания поможет выявить неудачные вопросы, чтобы убрать их из банка задании.

На момент подготовки материала был проведен первыи тест с заданиями на англииском. Тест включал 15 вопросов, продолжительность теста 15 минут. Вопросы выбирались случаиным образом из двух банков задании по 20 вопросов в каждом: семь вопросов брались из первого банка (по первои главе учебника Kroenke D., Auer D. Database Processing: Fundamentals, Design, and Implementation. Chapter 1: Introduction) и восемь вопросов — из второго (по второи главе учебника Chapter 2: Introduction to Structured Query Language). Использовались банки задании, предоставляемые издательством Pearson Education в комплекте материалов для преподавателя. Студентам данные задания ранее не демонстрировались. В банк задании брались только вопросы с выбором одного ответа из нескольких и вопросы с выбором «верно/неверно».

Тест проводился с ограничением по времени — 10 минут на 15 вопросов. Тест сдавался двумя учебными группами, в общеи сложности 45 человек. Среднии балл составил 2,77 из 5 возможных. Тест проходил в компьютерном классе в присутствии преподавателя. В ходе проведения теста пользоваться какими-либо материалам, а также словарями и компьютерными программами перевода не разрешалось. Один студент был остановлен при попытке скрыто посмотреть учебные материалы со смартфона. Т.к. эта попытка была через примерно 5 минут после начала теста (около 50% времени на попытку) студенту было предложено досрочно завершить тест, попытка была учтена.

Оценка за тест приводилась к оценке по пятибалльнои шкале. Все вопросы принимались равнозначными, таким образом, каждыи правильныи ответ приносил 0,33 балла (оценки приводятся с округлением до второго знака после запятои). Распределение оценок за тест представлено на рис. 2.

Минимальная оценка 1 балл — 3 вопроса правильно из 15 — была у одного человека (студент, досрочно закончившии тест из-за попытки списывания). Следующии результат с конца — 1,33 бала (4 правильных ответа из 15) — также у одного студента, далее — 1,67 баллов (5 правильных ответов из 15) — у пяти студентов. Максимальная оценка 4,33 — 13 вопросов правильно из 15 — была у 4 человек. Наиболее распространенная оценка 3 балла (9 правильных задании) — у 9 учащихся.

Если анализировать данные о времени, затраченном на тест, то 22 студента из 45 использовали все 10 минут. Но здесь, возможно, кто-то просто дожидался окончания счетчика времени, не отправляя тест досрочно. У остальных студентов время выполнения теста от 4 мин. 54 сек. и далее. Причем наименьшее время показал один из четырех студентов, набравших

наибольший балл. Все прочие студенты, набравшие наибольший балл, также закончили тест раньше 10 минут.

Ссылка на основную публикацию
Статьи c упоминанием слов:
Adblock
detector