Объективный структурированный клинический экзамен (ОСКЭ) - это метод, который используют для оценки клинической компетентности. Роналд Харден, впервые применивший его в 1975 г., дает следующее определение: "Подход к оценке клинической или профессиональной компетентности, в котором ее компоненты оценивают планомерно и структурированно, с особым акцентом на объективности оценки".
В основе метода лежит комплексная оценка с конечным множеством (обычно от 10 до 20) оценочных станций, моделирующих различные аспекты клинической компетентности. Все участники проходят одинаковые испытания, последовательно переходя от станции к станции в соответствии с расписанием, при этом результаты выполнения заданий оцениваются с помощью чек-листов. Для проведения ОСКЭ можно использовать различные тренажеры и симуляторы, стандартизированных или реальных пациентов. Суть ОСКЭ заключается в отборе примеров и имитации процесса обследования и лечения пациента, поэтому практические испытания на станциях ОСКЭ обычно представляют задания на интерпретацию исследований, оценку коммуникативных навыков (сбор анамеза, сообщение плохих новостей), а также технических навыков. Таким образом, ОСКЭ - это больше, чем комплексный экзамен. ОСКЭ позволяет проверить клиические компетенции, причем в процессе его выполнения оценивается уровень клинических навыков и способностей, связанных с компетентностью самостоятельного осуществления медицинской деятельности. В отличие от традиционных методов оценки ОСКЭ позволяет оценить и продемонстрировать, что учащиеся могут сделать, а не то, что они знают.
За 40 лет, прошедших со времени изобретения метода, наблюдается стабильный рост использования ОСКЭ для проведения экзаменов у студентов и у ординаторов во всем мире. ОСКЭ используется для экзаменов при повышении квалификации в системе непрерывного медицинского образования (НМО) и в качестве средства получения обратной связи для коррекции процесса обучения. Сегодня ОСКЭ используется в качестве средства оценки:
- для достижения минимального приемлемого стандарта для студентов и резидентов при переводных и выпускных экзаменах в большинстве медицинских школ США, Великобритании и Канады. В Казахстане ОСКЭ стал обязательным экзаменом после III, IV и VII курсов во всех медицинских вузах;
- интернов при назначении на более высокие должности в Королевских коллегиях врачей различных специальностей в Великобритании;
- для формативной оценки для коррекции обучения студентов-медиков;
- выпускников, претендующих на лицензию для занятия должности или на сертификат для практической деятельности.
На модели ОСКЭ основаны часть 2 экзамена PLAB в Великобритании, Квалификационный экзамен-II Медицинского совета Канады и раздел оценки клинических умений экзамена для получения медицинской лицензии в США (USMLE).
С 2016 г. методика ОСКЭ применяется в качестве второго этапа первичной аккредитации специалистов в России.
Сильные и слабые стороны метода ОСКЭ как инструмент для оценки клинической компетентности обладает множеством преимуществ по практичности, надежности и действенности. Некоторые авторы утверждают, что ОСКЭ с его многочисленными вариациями сегодня доминирует в сфере оценки успеваемости. Как правило, чем больше станций с различными практическими испытаниями в рамках ОСКЭ, тем выше степень надежности его результатов и обоснованности содержания. Результаты исследований, проведенных Аккредитационным советом по последипломному медицинскому образованию США (ACGME), указывают на то, что добиться необходимой степени надежности можно при внедрении ОСКЭ, состоящего из 20 практических испытаний. Исследование, проведенное ACGME, показывает корреляцию от 0,59 до 0,71 между результатами ОСКЭ и предаттестационных экзаменов. Таким образом, при наличии достаточного количества станций ОСКЭ может считаться надежным инструментом проверки знаний с достаточно высокой степенью надежности.
Преимущества объективного структурированного клинического экзамена
Валидность - степень, в которой содержание теста позволяет оценить действительно приобретенные или подлежащие проверке умения.
Как уже отмечалось выше, по сравнению с традиционным подходом к клиническим экзаменам ОСКЭ обеспечивает более достоверную оценку клинической компетентности. Экзаменаторы могут заранее определить, что необходимо проверить, и планировать содержание экзамена для проверки определенных знаний, умений и навыков. При этом можно контролировать не только содержание, но и степень сложности экзамена: более простые случаи для студентов младших курсов, более сложные для старших. При оценке акцент может быть смещен с проверки фактических знаний на тестирование широкого спектра умений и навыков, включая сбор анамнеза. Помимо наиболее распространенных методов клинического обследования можно включить методы исследований, которые применяют узкие специалисты: офтальмологи, оториноларингологи.
По мере накопления опыта проведения ОСКЭ, помимо традиционно охватываемых им доменов, таких как коммуникационные навыки, клинический осмотр, выполнение медицинских процедур и интерпретация данных, в содержание экзамена все больше включаются оценка профессионализма, безопасности пациентов и межпрофессиональных навыков.
Надежность - воспроизводимость результатов тестирования ОСКЭ характеризуется не только большей достоверностью, но и большей надежностью. Результат экзамена мало зависит от конкретного экзаменатора и стандартизированного пациента (СП) Использование экзаменаторами чек-листов и тестовых заданий закрытого типа (с выбором одного наилучшего ответа) обеспечивает более объективную оценку. Дополнительным преимуществом ОСКЭ является то, что большой набор станций позволяет оценить более широкий спектр навыков учащихся.
Высокую надежность ОСКЭ обусловливают следующие факторы:
- экзаменуемые проходят через набор станций, оценивающих разные аспекты клинической компетентности;
- все экзаменуемые получают одинаковый набор заданий;
- каждого экзаменуемого оценивает множество подготовленных экзаменаторов, наблюдающих за выполнением заданий на различных станциях;
- на станциях, включающих выполнение процедур, используются симуляторы с электронным или компьютерным контролем и объективной оценкой в реальном времени;
- в чек-листах, разрабатываемых для каждой станции отдельно, отражено то, что должно оцениваться в рамках экзамена.
Практичность
Еще одним преимуществом ОСКЭ является возможность оценивать большие группы студентов. При этом можно регулировать нагрузку экзаменаторов, оставляя их только на тех станциях, где их присутствие действительно необходимо: наблюдение за сбором анамнеза или обследованием пациента. Формирование четких инструкций и чек-листов для оценки на каждой станции в отличие от традиционных устных экзаменов позволяет привлекать в качестве экзаменаторов более широкий круг преподавателей и клиницистов. ОСКЭ позволяет заранее определить критерии сдачи экзамена и после его проведения предоставить обратную связь профессорско-преподавательскому составу и студентам.
Гибкость
Гибкость ОСКЭ как метода оценки стала причиной его широкого использования в самых разных дисциплинах и на различных этапах медицинского образования. Соблюдая общие принципы метода, можно широко варьировать количество станций и время выполнения задания, а соответственно, продолжительность экзамена, использование тренажеров, симуляторов, СП для оценки различных компетенций, формат заданий и ожидаемых от экзаменуемого ответов, использование экзаменаторов, формат обратной связи и т.д.
Справедливость оценки
Справедливость - характеристика метода оценки, демонстрирующая отсутствие влияния на результат и дискриминации экзаменуемых. Для обеспечения справедливости экзамена необходимо жестко следовать установленным правилам и стандартам. Справедливость, выгодно отличающая ОСКЭ от традиционных методов оценки, обеспечивается следующими факторами:
- в отличие от традиционных методов с вытягиванием билета все экзаменуемые выполняют одинаковый набор заданий;
- каждого экзаменуемого оценивают множество экзаменаторов с использованием заранее согласованных чек-листов и шкал оценки;
- используются симуляторы и тренажеры с объективной компьютерной или электронной оценкой правильности выполнения процедур;
- СП отобраны в соответствии с полом, возрастом, данным в задании, и стандартно общаются со всеми экзаменуемыми;
- содержание экзамена соответствует учебному плану и ожидаемым результатам обучения, а также профессиональным стандартам.
Недостатки объективного структурированного клинического экзамена
Нельзя не упомянуть о недостатках ОСКЭ, ограничивающих его применимость. При использовании ОСКЭ не проверяется способность студента рассматривать пациента как нечто целое - различные компетенции студентов тестируют с помощью отдельных блоков заданий. Поэтому, учитывая, что при оценке клинической компетентности каждый подход имеет свои преимущества, не нужно ограничиваться одним подходом к оценке, необходимо применять и другие методы, позволяющие оценить способность студента справляться с клиническим случаем в целом, а для этого можно применять виртуальных пациентов. При оценке клинической компетентности выпускников и ординаторов ОСКЭ можно дополнить оценкой работы в палате по отчетам наставников.
Существенным недостатком ОСКЭ для многих образовательных организаций может стать большая загруженность организаторов и экзаменаторов. Экзаменаторы должны быть готовы к тому, что им предстоит очень внимательно многократно наблюдать одно и то же задание. Можно попытаться снизить нагрузку на экзаменаторов, обеспечив их ротацию по станциям, однако при этом необходимо обеспечить экзаменаторам дополнительный брифинг и время для тщательного ознакомления с новыми станциями.
Если в процессе экзамена участвуют реальные пациенты, их следует тщательно подбирать, а инструкции для экзаменуемых должны минимизировать неудобства, причиняемые пациентам. При оценке владения определенной методикой в распоряжении экзаменатора должно быть несколько пациентов, чтобы обеспечить им отдых. При этом необходимо обеспечить однородность пациентов по полу, возрасту, проявления основного заболевания. Использование симуляторов значительно упрощает проведение экзамена.
Участие в ОСКЭ может быть стрессом для студентов, не знакомых с методикой его проведения, поэтому важно использовать этот метод не только для итоговой, но и для текущей оценки. Экзамен нужно проводить в специально подготовленных помещениях, максимально реалистично повторяющих клинические условия.
Для подготовки к ОСКЭ необходимо потратить больше времени, чем для традиционного экзамена, однако необходимо отметить, что эти усилия компенсируются не только вышеперечисленными преимуществами метода, так как при каждом последующем проведении ОСКЭ подготовка занимает меньше времени, а банк готовых блоков объективного экзамена и контрольных листов позволяет уменьшить затрачиваемое время и усилия.
Применение объективного структурированного клинического экзамена ОСКЭ можно использовать практически во всех ситуациях, в которых требуется оценить уровень клинической компетентности.
Этапы медицинского образования ОСКЭ широко применяется на стадии отбора абитуриентов в медицинские вузы, для профессиональной ориентации, а также используется в качестве итогового экзамена в конце курса обучения или как метод промежуточной оценки.
Отбор абитуриентов. Традиционно, факторами, определяющими отбор абитуриентов в медицинские вузы, являются их академические достижения по определенным дисциплинам, однако, оставляя в стороне методы их оценки, этих факторов недостаточно для отбора студентов, которые могут стать хорошими врачами. Дополнительные испытания при приеме абитуриентов, которые вузы имеют право вводить на собственное усмотрение, могут быть сосредоточены на выявлении таких характеристик, как навыки общения, способность к сопереживанию, мотивация к обучению, критическое мышление, поведение в кризисных ситуациях. ОСКЭ хорошо подходит для оценки таких категорий, и его модификации (Multiple Mini-Interview - MMI) применяются для отбора абитуриентов в ряде стран. Многолетнее исследование, проведенное в Канаде, показало прямую корреляцию между результатами, продемонстрированными абитуриентами на таком экзамене с их дальнейшими успехами при обучении и в национальном лицензионном экзамене. Систематический обзор исследований использования MMI показал его валидность, надежность и применимость в качестве метода отбора абитуриентов.
Додипломное образование (специалитет).
В Университете Данди (Шотландия), где метод был впервые применен, студентам присваиваются степени за клиническую компетентность в конце осеннего, весеннего и летнего триместров на 3-м и 4-м годах обучения. Данные степени учитываются экзаменаторами при заключительной оценке, проводимой в конце V курса. ОСКЭ также может быть подходящим методом для проведения последипломных экзаменов, для которых были описаны проблемы с оценкой клинической компетентности. В Казахстане ОСКЭ применяется в качестве переводного экзамена после III и V курсов - при завершении обучения в бакалавриате как итоговый экзамен, после VII курса - при итоговой аттестации после обучения в 2-летней интернатуре.
В США 101 из 130 аккредитованных медицинских школ используют ОСКЭ в качестве итогового экзамена и промежуточных экзаменов после клинических циклов. Вертикальная интеграция дисциплин с ранним включением в программы обучения на начальных курсах клинических аспектов позволяет использовать методику уже после первого года обучения.
ОСКЭ используется и для рутинной оценки прогресса студентов в процессе обучения как по отдельным дисциплинам, так и по общей успеваемости.
Обучение в ординатуре. ОСКЭ широко используется как наиболее релевантный инструмент оценки выпускников программ ординатуры (резидентуры). ACGME рекомендует использование ОСКЭ для оценки после каждого года резидентуры, а также для оценки отдельных структурных единиц EPA (Entrusted professional activities - самостоятельная профессиональная деятельность); помимо клинических компетенций это навыки, связанные с передачей и безопасностью пациента, а также с телефонными коммуникациями.
Непрерывное медицинское образование. Практика применения ОСКЭ в НМО чаще всего сосредоточенна на оценке программ обучения, а также на выявлении образовательных пробелов и потребностей. Например, в Великобритании ОСКЭ применяется для ревалидации лицензии при подозрении на наличие потенциальных проблем, а также при лицензировании врачей-иностранцев.
Области применения ОСКЭ особенно хорошо подходит для критериально-ориентированных, барьерных экзаменов, которые проводятся для принятия решения об успешности завершения программы обучения и заключения о достижении студентом критериев, предусмотренных программой обучения или стандартами, и его готовности к самостоятельной практической деятельности или переходу к следующей части курса. В ряде стран ОСКЭ является частью экзамена для допуска к специальности. Так, в США с 2004 г. ОСКЭ является частью национального лицензионного экзамена. Этап 2CS (Clinical Skills) включает 12 станций ОСКЭ по 15 мин, ранее разработанных Educational Commission for Foreign Medical Graduates (ECFMG) для оценки иностранных выпускников.
C 2016 г. ОСКЭ используется в качестве второго этапа первичной аккредитации в Российской Федерации.
ОСКЭ также широко используется в качестве инструмента формативной оценки для выявления областей знаний, в которых у студента имеются пробелы и в которых ему необходимо приобрести дополнительные навыки. Экзамен может быть составлен таким образом, чтобы отбирать студентов, обладающих определенными навыками или способностями, например, для выявления учащихся со способностями выше средних, как, например, в экзамене на членство в Королевском обществе терапевтов в Великобритании.
Для лучшего понимания областей применения ОСКЭ важно понять связь между компетентностью и способностью к выполнению клинической работы. Часто ОСКЭ характеризуют как инструмент для оценки практических умений. Это не совсем верно, так как умения - это только один аспект клинической деятельности. Любой инструмент оценки способности к клинической деятельности должен содержать задачи разного уровня сложности: для обучающихся, выпускников и для профессионалов/экспертов. Ключевое различие между ОСКЭ и оценкой на рабочем месте заключается в условиях, в которых проводится оценка, а не в том, что первый экзамен оценивает умения, а второй - способности к клинической деятельности, как часто считается. Тем не менее различие между ними очень существенно, так как выполнение одних и тех же задач одним и тем же человеком может существенно различаться в зависимости от контекста оценки. Поэтому для всех практических целей ОСКЭ следует рассматривать как инструмент для оценки выполнения задач в смоделированных условиях.
ОСКЭ следует использовать для оценки определенных знаний и умений, которые невозможно адекватно оценить с применением устного, письменного или компьютерного экзамена. Типичными примерами таких умений являются способность экзаменуемого собирать анамнез или выполнять медицинские манипуляции. В то же время существует риск того, что при проведении ОСКЭ может произойти выделение отдельных практических умений с целью их оценки. Это приводит к снижению генерализуемости - способности метода всесторонне оценивать выполнение задач экзаменуемым. Крайне важно, чтобы практические умения, необходимые для выполнения медицинских процедур, тестировались не изолированно, а в сочетании с другими умениями, например, с коммуникативными навыками или с умением составлять план лечения, что позволяет более глобально оценить способность экзаменуемого к самостоятельной клинической деятельности.
Применять ОСКЭ избыточно, например, для оценки способности экзаменуемого интерпретировать рентгеновский снимок или распознать повышенный уроень мочевины и назвать его возможные причины. Эти когнитивные навыки легко оценить при помощи методов письменной оценки, и они требуют привлечения меньших ресурсов. Планирование станции ОСКЭ для оценки способности экзаменуемого поставить мочевой катетер приводит к риску изолированного выполнения отдельного практического умения, тогда как в реальности экзаменуемым придется одновременно общаться с пациентом и применять знания о процедуре в процессе ее выполнения.
Воздействие на процесс обучения
Многочисленные исследования показывают положительное воздействие ОСКЭ на процесс обучения. Одним из очевидных преимуществ применения данного метода является то, что внимание учащихся сосредоточено на приобретении клинических умений и навыков. Знания учащихся испытывают в условиях, максимально приближенных к клиническим, в которых можно наиболее точно оценить их умения и компетенции, необходимые в клинической практике. Как упоминалось выше, ОСКЭ обеспечивает высокую достоверность и хорошую обратную связь при текущей оценке знаний учащегося. Исследователями было установлено, что участие в ОСКЭ улучшает степень владения компетенцией при прохождении последующих практических испытаний, а также улучшает качество учебного опыта испытуемых.
В то же время ОСКЭ может оказывать потенциально негативное воздействие на процесс обучения, так как он предполагает прохождение ограниченного количества практических испытаний, иллюстрирующих уровень компетенций в области клинической медицины. При этом существует опасность того, что учащийся может подготовиться к экзамену, сосредоточившись на освоении отдельных навыков к некоторым категориям, не связывая их с клинической деятельностью.
Участие СП, использование симуляторов и манекенов с объективной оценкой и немедленной обратной связью позволяют оценить практические и клинические компетенции в виде текущей (формативной) оценки, выявить пробелы и сосредоточить внимание учащегося на этих компетенциях.
Подготовка и планирование объективного структурированного клинического экзамена
Организационная структура
Для успешного осуществления ОСКЭ требуется многочисленный коллектив специалистов. Как правило, в медицинских вузах существуют подразделения или ответственные лица, контролирующие процедуры оценки знаний учащихся. Внедрение ОСКЭ должно осуществляться с помощью этого подразделения. Рациональным подходом может стать формирование отдельного подразделения, которое будет заниматься внедрением ОСКЭ в существующие программы оценки. После успешного внедрения ОСКЭ это подразделение должно осуществлять непрерывный анализ и обеспечение качества, используемые и в отношении других методик оценки.
В рамках этого подразделения рекомендуется назначить руководителя группы по проведению ОСКЭ, в обязанности которого будут входить контроль планирования, организации и проведения экзамена и соответствующая отчетность. Этот человек должен обладать знаниями экспертного уровня или предшествующим опытом проведения ОСКЭ. Если выполнить эти условия невозможно, назначенный руководитель должен пройти обучение, собирать необходимую информацию путем анализа литературы, посещения специализированных семинаров и обращения за помощью к специалистам из других центров.
Проектирование экзамена
Составление проекта - это процесс определения содержания экзамена. В случае ОСКЭ это подразумевает отбор совокупности компонентов оцениваемых компетенций и частоту, с которой каждый из них должен демонстрироваться в ходе экзамена. В каждом проекте ОСКЭ должны учитываться контекст экзамена, те знания и умения, которые необходимо оценить в соответствии с учебным планом, и необходимость повторения оценки тех или иных областей знаний с помощью различных методов.
Как мы уже отмечали ранее, в первую очередь ОСКЭ подразумевает оценку способности выполнять определенные манипуляции в смоделированных условиях и, таким образом, в основном определяет степень сформированности той или иной клинической компетенции.
Процесс проектирования должен обеспечить формирование необходимого набора элементов из учебного плана, относящихся к овладению предусмотренными образовательным и/или профессиональным стандартом компетенциями, таким образом, экзамен должен отражать содержание обучения. Как правило, проект ОСКЭ состоит из двумерной матрицы, в которой одна ось отражает основные подлежащие тестированию компетенции (например, сбор анамнеза, коммуникативные навыки, физикальное обследование, планирование тактики ведения больного и т.д.), а вторая представляет те проблемы или состояния, в отношении которых демонстрируются эти умения. Пример подобного проекта приведен в табл. 1 и, более подробно, в Приложении 2. Проектирование может проводиться аттестационной комиссией автономно, однако в случае проведения наиболее важных экзаменов, темы, включаемые в тестовый проект, можно согласовывать с помощью метода экспертной оценки Дельфи или других методик опроса экспертов.
Длительность экзамена (количество станций) Для разработки проекта экзамена предварительно необходимо определить его длительность. Это будет зависеть от числа станций ОСКЭ и продолжительности пребывания экзаменуемого на каждой станции. Как правило, станция ОСКЭ включает одно задание, выполнение которого четко ограничено по времени, - на его выполнение кандидатам дается 5-10 мин. Достоверность и валидность зависят от числа станций и общей длительности экзамена. Адекватное и реалистичное определение времени, необходимого для выполнения заданий, способствует повышению валидности тестирования. В то же время увеличение объема оцениваемых знаний и умений обычно за счет введения в экзамен необходимого числа станций способствует повышению достоверности. Доказано, что специфичность заданий является основной причиной недостаточной достоверности; таким образом, для проведения достоверного обобщения профессиональных способностей кандидата необходимо оценивать клинические компетенции в широком диапазоне.
Число станций, которое необходимо для получения достоверного показателя, отражаемое альфой Кронбаха или коэффициентом обобщаемости (G), определяет продолжительность экзамена. Значение коэффициента G в диапазоне от 0,7 до 0,8 отражает приемлемую достоверность в случае экзаменов особой важности. Подробное обсуждение этого предмета выходит за рамки данного руководства, заинтересованные читатели могут обратиться к руководствам AMEE № 49, 54 и 66.
В практическом плане при принятии решения о продолжительности теста необходимо учитывать, с одной стороны, коэффициенты достоверности, а с другой - проблемы, связанные с возможностями воплощения и наличием необходимых ресурсов. В большинстве случаев при наличии четко построенных станций ОСКЭ достаточной достоверности удается достичь с помощью 12-20 станций продолжительностью по 5-10 мин каждая.
Разработка банка станций объективного структурированного клинического экзамена
Прежде чем к банку заданий будут добавлены новые станции, они должны пройти процесс независимой оценки и пилотного включения. По возможности следует использовать психометрические данные на каждом отдельном этапе, включая оценку возможности дифференцировки экзаменуемых. Представленная схема содержит описание одного из подходов к формированию совокупности этапов ОСКЭ, обеспечивающих оценку выполнения расписания (см. рисунок). Эту схему можно использовать в качестве пошагового руководства или адаптировать ее к индивидуальным требованиям. Кроме того, используя эту схему, можно обновить существующий набор станций или оценить их качество путем выполнения определенных шагов алгоритма.
Выбор тем для новых станций
В тех организациях, где ОСКЭ предстоит использовать впервые, проект экзамена, в основе которого лежат результаты, предполагаемые учебным планом, может стать приемлемой стартовой точкой, определяющей задания, входящие в состав новых станций ОСКЭ. В тех случаях, когда последовательность станций ОСКЭ уже задана, руководитель группы по проведению ОСКЭ или эксперты в соответствующих учебных дисциплинах, могут проанализировать ее и определить недостатки в возможностях оценки тех или иных умений или разделов знаний.
Необходимость добавления новых станций может возникнуть и при внесении изменений в учебный план или коррекции задач обучения в рамках отдельных модулей или дисциплин. Оценку знаний и умений при этом необходимо сопоставлять с объемом обучения по выбранным темам в соответствии с учебным расписанием. При аккредитации специалистов содержание экзамена целесообразно определять единообразно на всей территории страны с утверждением требований к экзамену на федеральном уровне.
После того как определена область оцениваемых знаний, важно удостовериться в том, что в формате ОСКЭ в течение ограниченного времени, отведенного на каждую станцию, можно реально оценить компетенции, которыми, как предполагается, должны владеть экзаменуемые.
Выбор авторов для станции
Руководитель группы по проведению ОСКЭ отвечает за отбор сотрудников, которые будут планировать и составлять станции ОСКЭ. Если уже имеется группа опытных экзаменаторов, очевидным решением будет поиск добровольцев для составления вопросов в этой группе. В других случаях при составлении вопросов в качестве консультантов могут быть приглашены эксперты по тем или иным учебным дисциплинам. Для того чтобы специалист, занимающийся составлением тестовых материалов, мог выполнить эту работу надлежащим образом, важно, чтобы он был ознакомлен с фундаментальными принципами ОСКЭ. Для специалистов, впервые сталкивающихся с такой задачей, должны быть проведены краткие ознакомительные семинары или разработаны письменные инструкции.
Выбор типа станции
Руководитель группы по проведению ОСКЭ или лицо, координирующее составление вопросов, должен проконсультировать составителей вопросов о том, какие именно требуются вопросы. Понимание различных форматов вопросов ОСКЭ крайне важно при выборе необходимых типов станций, позволяющих оценить те или иные результаты обучения (табл. 2).
Выбор шаблона для станции объективного структурированного клинического экзамена
После того как выбран тип станции, необходимо разработать подходящий шаблон для составления задания или использовать уже имеющийся шаблон. Шаблон помогает авторам разрабатывать задания, имеющие общий формат, который соответствует формату других заданий банка. Подобная стандартизация позволяет избежать ситуации, при которой кандидаты оказываются в невыгодном положении за счет того, что задания предлагаются в непривычном формате, и помогает сохранить объективность оценок.
Руководство для экзаменатора
Содержание руководства для экзаменатора по оценке для каждой станции будет зависеть от раздела оценки, избранной в качестве стандарта для экзамена. Ниже подробно обсуждаются различные типы оценки. Если имеется список контрольных вопросов (чек-лист) или оценочная шкала, составителю следует дополнять их по мере составления вопросов. Если предполагается использовать единую оценочную шкалу, формировать критерии оценки для индивидуальных этапов не нужно.
Собрание экзаменаторов
Проведение собраний с экзаменаторами - один из методов обеспечения качества новых станций ОСКЭ. После того как экзаменаторы составят новые задания, им предлагается представить эти вопросы на собрании в небольших группах. Это дает возможность всем участникам изучить задания, составленные другими участниками. Благодаря присутствию авторов отдельных станций на этих заседаниях упрощается процесс внесения изменений в станции.
Помимо того, что процесс независимой оценки позволяет проанализировать клиническую точность и адекватность задач, предлагаемых на том или ином этапе экзамена, он помогает выявить проблемы, связанные с валидностью и генерализуемостью экзамена.