Вы находитесь на сайте журнала "Вопросы психологии" в девятнадцатилетнем ресурсе (1980-1998 гг.).  Заглавная страница ресурса... 

129

 

ТЕСТ ДИАГНОСТИКИ ПРОФЕССИОНАЛЬНЫХ ДОСТИЖЕНИЙ

(ДЛЯ ТКАЧИХ-КОВРОВЩИЦ)

 

Е. М. БОРИСОВА

 

Тесты достижений являются надежным инструментом для быстрого и эффективного выявления уровня овладения профессиональными знаниями и умениями. Эти методы помогают осуществлять контроль за процессом формирования профессиональной пригодности и находят свое применение для решения широкого круга проблем как научного, так и прикладного характера.

В нашей стране тесты достижений применяются преимущественно в педагогических исследованиях для выявления эффективности обучения [4]. Публикаций, посвященных проблемам разработки и использования тестов профессиональных достижений, найти не удалось.

За рубежом применение этих тестов широко распространено в следующих случаях: 1 — для выявления уровня профессиональных знаний и навыков работника либо при решении вопроса о его принятии на работу, либо при оценке

 

130

 

возможностей его продвижения; 2 — для сравнения эффективности разных программ, форм, методов обучения и тренировок; 3 — для выявления недостатков и пробелов в обучении работников и назначения дополнительных тренировок.

В отличие от всех других разновидностей тестов тесты профессиональных достижений высокоспецифичны, предназначаются для конкретных профессий, и поэтому область их применения ограниченна. Выделяют три группы тестов профессиональных достижений: тесты исполнения («образцы выполнения работы»), письменная и устная формы тестов.

В тестах первого типа от испытуемого требуется выполнить некоторые элементы профессиональной деятельности на настоящем промышленном оборудовании или на специально сконструированном тренажере. Учитывается скорость выполнения заданий и качество работы (например, число и качество деталей и т. д.).

В тех случаях, когда необходимо выявить не только уровень развития навыков, но и объем знаний или профессиональную информированность, используются устная и письменная формы теста. Письменные тесты достижений представляют собой набор вопросов, предъявляемых испытуемому на бланках. Достоинством этой формы теста является возможность проведения исследования одновременно с большой группой испытуемых. Устные тесты достижений представляют собой серию вопросов о специальных профессиональных знаниях и проводятся в форме интервью. Проблемы разработки этих тестов подробно рассматриваются в книге Тиффина и Маккормика «Индустриальная психология» [7].

Процедура создания валидных методик состоит в подборе для каждой профессии небольшого числа вопросов, обычно не менее 15—20, касающихся профессиональных знаний и установления надежности и валидности полученного теста.

В ходе изучения процесса формирования профессиональной пригодности ткачих-ковровщиц перед нами возникла необходимость в разработке удобных и надежных методов определения уровня квалификации работниц. В связи с этим и была предпринята попытка разработать тест профессиональных достижений для ткачих коврового производства1.

Создание любого теста достижений начинается с изучения той области учебного предмета или профессиональной деятельности, для которой методика предназначена. Задача облегчалась тем, что ранее нами был проведен психологический анализ профессии и составлена профессиограмма [2]. Анализ профессиографических данных и дополнительных сведений о программах и методах обучения показал, что для эффективной и безаварийной работы ткачиха должна обладать хорошими знаниями о принципах работы станка и технологии изготовления изделий, о видах брака и причинах их возникновения, о типах и свойствах сырья, о правилах техники безопасности. При составлении теста мы старались включить в него такие вопросы, которые относились бы к квалификационной подготовленности работниц и, по возможности, не требовали от них знаний, зависящих от их образовательного уровня. Вопросы строились так, чтобы ответы на них были кратки и однозначны. В тесте оказалось два возможных типа ответов: один в виде краткой фразы (в 2—5 слов), другой в виде перечисления нескольких слов-определений (например, причин возникновения брака). Если в первом случае правильность ответа устанавливалась легко и однозначно, то во втором пришлось провести специальную экспериментальную работу, чтобы на основе эмпирических данных установить критерий правильности ответов. Для каждого пункта теста устанавливался свой «эталон» ответа. При проведении тестирования мы старались создавать обстановку полного доверия между испытуемым и экспериментатором, так чтобы психолог выступал не как экзаменатор, а как внушающий симпатию собеседник. Как показал опыт прошлых исследований, без этого трудно рассчитывать на получение надежных результатов.

В первоначальный вариант теста вошло 73 вопроса, т. е. гораздо больше, чем планировалось для окончательного варианта. О необходимости иметь избыток вопросов в предварительном варианте говорят все исследователи, занимающиеся вопросами создания тестовых методов. Причины этого подробно обсуждаются в психологической литературе, касающейся проблем тестологии [1], [3], [6], [7]. Пользуясь одним из общепринятых правил, мы включили в наш тест задания, верно выполненные не более чем 80—85 % испытуемых и не менее чем 10—15% [1], [3], [6]. Таких вопросов оказалось 40. Следующим этапом разработки теста является установление его надежности. Для наших задач и условий наиболее адекватным является установление надежности самого измерительного инструмента, поэтому был использован способ расщепления теста на четные и нечетные задания и нахождения корреляций между двумя половинками теста (коэффициент ранговой корреляции подсчитывался по Спирмену).

Для того чтобы определить надежность теста, было предпринято экспериментальное исследование с использованием формы теста, включавшего 40 вопросов. Испытуемыми были 40 ткачих с образованием не менее 8 классов и со стажем работы от 8 до 18 лет. Коэффициент ранговой корреляции, вычисленный для этой группы,

 

131

 

оказался равным 0,722, т. е. недостаточно высоким для того, чтобы надежность теста признать удовлетворительной. Проанализировав внимательно наши задания по содержанию, мы обнаружили, что 4 из них ведут к значительному снижению коэффициента корреляции. Существуют два пути увеличения надежности теста: надо либо переделать такие задания и, вновь включив их в тест, перепроверить его надежность, либо просто исключить подобные задания из теста (если, разумеется, этим не будет снижена валидность теста). Нам пришлось пойти по второму пути из-за того, что мы испытывали дефицит испытуемых определенного контингента, поскольку проводили исследование только на одном предприятии. После изъятия вопросов вновь был подсчитан коэффициент корреляции между четными и нечетными заданиями теста, включавшего теперь 36 вопросов. Этот коэффициент оказался равным 0,83, что свидетельствует о достаточной надежности данного теста как измерительного инструмента.

Следующим этапом разработки теста является установление его валидности. Как указывают Тиффин и Маккормик [7], наиболее подходящим способом установления валидности тестов профессиональных достижений является способ, основанный на сравнении результатов тестирования по группам работников с различным профессиональным опытом. Он состоит в следующем: подбираются три группы работников — высококвалифицированные специалисты, новички и представители другой профессии. В последнюю группу могут входить только те работники, содержание труда которых близко к содержанию труда работников основной профессии, для которой и создается тест. Для того чтобы тест был признан валидным, необходимо, чтобы наибольшее количество правильных ответов было в группе I, меньше — в группе II и еще меньше — в группе III.

Для установления валидности созданного теста были отобраны 50 работниц. 20 из них, со стажем более 15 лет, составляли группу высококвалифицированных ткачих; 20, со стажем 1,5 года, были выпускницами ПТУ и относились к разряду начинающих; 10 работниц были представительницами другой профессии — ставильщицы (в обязанности этих работниц входит обеспечение бесперебойного снабжения пряжей специальных устройств — шпулярников, с которых пряжа поступает на ткацкий станок). В каждую группу подбирались работницы примерно равного возраста и уровня образования.

В среднем правильных ответов в группе I было 28, в группе II — 16, в группе III — 13. Работницы высокой квалификации дали верных ответов по 24—31, начинающие — по 10—23, ставилыцицы — по 8—17. Для того чтобы оценить статистическую достоверность полученных различий по успешности выполнения теста, подсчитывалась их значимость с помощью критерия Ван дер Вардена. При сравнении результатов тестирования испытуемых групп I и II значение X оказалось равным 14,8, что свидетельствует о статистической значимости полученных различий на уровне 0,01. На том же уровне значимости определялись различия между группами I и III (Х = 9,5). Сопоставление различий результатов тестирования по группам II и III показало, что их значимость находится на уровне 0,05 (Х = 5,1).

Таким образом, лучшие результаты по тесту профессиональных достижений оказались в группе высококвалифицированных работниц, более низкие — в группе новичков и самые худшие — в группе ставилыциц. Следовательно, разработанный тест можно признать валидным и пригодным для выявления уровня профессиональной квалификации работниц ткацкого производства (ткачих-ковровщиц).

Способ установления валидности теста профессиональных достижений, предложенный Тиффином и Маккормиком, оказался сравнительно несложным и удобным в условиях производства. Однако нельзя не отметить его ограниченности. Ведь с помощью такого способа создается тест с малой «разрешающей способностью», тест, который может производить лишь грубую дифференцировку работников высокой и низкой квалификации. Способом повышения дифференцирующей силы теста является метод установления валидности с помощью экспертных оценок, он достаточно широко распространен в психодиагностике [5]. Однако его применение в условиях производства очень затруднительно, так как требует длительной, кропотливой работы по подготовке экспертов, которые смогли бы достаточно компетентно оценить уровень профессиональной квалификации всех отобранных в экспериментальную группу работников.

Разработанный нами тест может найти практическое применение для работы с кадрами на предприятии. Так, он может быть использован в комплексе с другими методами для определения квалификации работницы на экзамене, проводимом для повышения разряда. Большую помощь тест может оказать для выявления слабых сторон в профессиональных знаниях молодых работниц после прохождения ими курса обучения в ПТУ. При этом тест не только дает информацию об индивидуальных особенностях усвоения знаний отдельными работницами, но помогает оценить уровень овладения знаниями группой в целом. Так, при проведении нами исследования обнаружилось, что наибольшую трудность для работниц представляют вопросы о назначении некоторых механизмов станка. Разумеется, что наиболее сложными эти разделы

 

132

 

оказались для начинающих работников. Учитывая важность этих знаний для эффективной работы на станке, умения вовремя заметить намечающиеся неисправности и тем предотвратить возможность появления брака, мы рекомендовали учитывать эти вопросы при построении учебных программ и назначать в случаях необходимости дополнительный курс профподготовки.

Разработанный тест можно использовать также для оценки методов и программ обучения работниц, для выявления наиболее эффективных из них.

При разработке теста мы столкнулись с целым рядом трудностей, которые в первую очередь связаны с особенностями выборки испытуемых. Так, например, оказалось, что некоторым работницам зачастую нелегко вербализовать свои профессиональные знания. Иногда приходилось сталкиваться с тем, что работница говорила в ответ на вопрос: «На станке покажу, а как сказать — не знаю». Это обстоятельство психолог обязан принимать во внимание. Мы в таких случаях старались объяснить работнице, что важны ее знания, а не форма изложения ответа. Случалось, что работницы не сразу улавливали смысл вопросов. Приходилось дополнительно объяснять вопрос, чтобы работница его правильно поняла. В связи с этими трудностями нам пришлось на начальном этапе подбора вопросов уделить специальное внимание их формулированию, максимально используя «профессиональную» терминологию, поступаться иногда литературной редакцией вопросов.

Вторая трудность в разработке теста связана с установлением критерия правильности ответов. Выше уже отмечалось, что этот критерий был найден нами эмпирически. Мы столкнулись с тем обстоятельством, что реальные ответы даже самых лучших работниц не совпадали полностью с эталонными: Дело в том, что трудовой опыт влияет на лучшее запоминание таких ситуаций, которые чаще повторяются или встречаются с большей вероятностью. Некоторые ситуации, теоретически возможные, могут вообще никогда не возникать в течение всего периода работы (например, некоторые виды брака). Это обстоятельство нельзя не учитывать при выборе критерия правильности ответа на тот или иной вопрос. Поэтому при разработке теста нами была проведена специальная работа по сопоставлению реальных ответов испытуемых и тех, которые «считаются» верными. При оценке правильности ответов на вопросы, включенные в тест, мы пользовались эмпирическими данными. Разумеется, это было согласовано со специалистами по подготовке ткачих.

Сложность разработки тестов профессиональных достижений во многом определяется узкой специфичностью, «прицельностью» содержания этих тестов. Они всегда направлены на четко очерченную область профессиональных знаний и могут применяться только в той специальности, для которой разработаны. Применение этих тестов, на наш взгляд, может быть очень полезным при решении ряда задач как теоретического, так и прикладного характера. Например, бесспорна необходимость постоянного совершенствования форм, программ, методов профессионального обучения. И здесь роль тестов профессиональных достижений выступает на первый план, так как они помогают определить эффективность разных подходов к обучению, выявить типичные пробелы в обучении при разных методах и т. д.

Основные проблемы, которые предстоит решать в дальнейшем, связаны с совершенствованием системы оценок правильности ответов, применением других способов определения валидности, а также с более внимательным рассмотрением связи между успешностью выполнения теста и уровнем образования. Важной задачей является и попытка разработки тестов других видов, а именно тестов исполнения и письменной формы тестов достижений.

В заключение следует отметить, что тесты, конечно же, не могут раскрыть полностью все стороны квалификации работника. Тесты профессиональных достижений целесообразно использовать в комплексе с другими способами определения уровня профессиональной квалификации. Однако для выявления профессиональных знаний и информированности о важнейших аспектах профессиональной деятельности этот тест является надежным и удобным методом.

 

1. Бернштейн М. С. К методике составления и проверки тестов. — Вопросы психологии, 1968, № 1, с. 51—66.

2. Борисова Е. М. Психологическое содержание труда и формирование профессиональной пригодности ткачих коврового производства. — В сб.: Психофизиологические вопросы становления профессионала. М., 1974, с. 28—51.

3. Гуревич К. М. Методы тестирования в дидактических исследованиях. — В сб.: Методы педагогических исследований. — М., 1979, с. 139—158.

4. Проблемы психологической диагностики. — Таллин, 1977. — 231 с.

5. Шошин П. Б. Психодиагностика и методы экспертных оценок. — В сб.: Проблемы психологической диагностики. — Таллин, 1977, с. 94—109.

6. Thorndike R., Hagen Е. Measurement and evaluation in psychology and education. N. Y., 1978. 693 p.

7. Tiffin J., McCormick E. Industrial psychology. L., 1968. 665 p.

 



1 Эксперимент проведен дипломниками факультета психологии МГУ М. Ф. Губаревой и Е. В. Кирюниным под руководством автора статьи.

2 Коэффициент надежности был вычислен с поправкой по Спирмену — Брауну.