170
ЗА РУБЕЖОМ
НЕКОТОРЫЕ ПОДХОДЫ И ПЕРСПЕКТИВЫ РАЗВИТИЯ
АВТОМАТИЗИРОВАННОЙ ПСИХОДИАГНОСТИКИ И ПРОГНОЗИРОВАНИЯ ЗА РУБЕЖОМ
И. В. ЕРМАКОВА
1. Особенности автоматизированного
психологического эксперимента. Психодиагностика и психологическое
прогнозирование являются важными и традиционными проблемами психологии [1],
[2]. Эти проблемы получили существенное развитие в последнее десятилетие в
связи с широким внедрением ЭВМ в практику психологических исследований. При
этом задачи психодиагностики и прогноза решаются путем разработки специальных
методик, основанных на обобщении экспериментальных данных современными методами
многомерной математической статистики, которые позволяют извлечь из имеющихся
экспериментальных данных максимум информации и представить ее в наглядном и
удобном для использования виде.
Разрабатываемые
автоматизированные методики психодиагностики и прогнозирования в значительной
степени формализованы, имеют, как правило, четкую структуру и интерпретацию,
что значительно упрощает и удешевляет их широкое применение. Как известно, эти
же задачи в традиционной психологии решаются на основе накопленного опыта,
знаний и интуиции психолога и вследствие этого носят зачастую эмпирический и
субъективный характер. В настоящее время более детально разработаны методы
автоматизированной психодиагностики; проблемы психологического прогнозирования
развиты слабее.
Автоматизированное
проведение психологических обследований и экспериментов, а также обработка
полученных данных (с использованием ЭВМ) широко распространены в современной зарубежной психодиагностике. Вопросам
применения ЭВМ в психологии посвящено большое количество публикаций, а также
ежегодно проводимая в США конференция, результаты которой печатаются в журнале
«Behavioral Research Methods and Instrumentations».
Автоматизированное
проведение психодиагностического обследования и психологического эксперимента
имеет по сравнению с традиционным ряд преимуществ [6],
[20], [22], [24]:
стандартное
предъявление задач, не зависящее от пола, возраста, степени привлекательности,
настроения и предвзятости как
психолога-экспериментатора, так и испытуемого;
однозначность
и точность фиксирования ответов испытуемого;
освобождение
психолога от трудоемких рутинных действий (предъявления вопросов, проверки
правильности ответов испытуемого, ведения протокола эксперимента, обработки
результатов тестирования);
возможность
проведения экспериментов нового типа, в частности адаптивных экспериментов
(поскольку ЭВМ успевает проводить сложный анализ ответов испытуемого и
сложившейся ситуации в реальном времени, не нарушая естественного хода
эксперимента, что практически невозможно при традиционном подходе);
возможность
проведения рандомизированного эксперимента, т.е.
предъявления всех равноценных по сложности заданий в случайной последовательности,
что весьма важно при многократно повторяемом эксперименте;
возможность
проведения в сжатые сроки массовых психологических экспериментов путем
одновременного тестирования многих испытуемых, а также тиражирования
автоматизированных методик;
использование
мощного математического аппарата при обработке и обобщении полученных данных;
быстрое
получение диагностических результатов тестирования, что в ряде случаев
(например, в клинике) особенно важно;
фиксирование большого количества дополнительной информации (времени
ответов,
171
количества и
типов допускаемых ошибок, числа обращений испытуемого к инструкциям и т.п.);
конфиденциальность
автоматизированного тестирования, что позволяет испытуемому быть более
откровенным и естественным в процессе эксперимента;
снижение
стоимости проведения эксперимента (в частности, поскольку при
автоматизированном тестировании не требуется высококвалифицированный персонал).
К
недостаткам автоматизированного эксперимента обычно относят следующее:
далеко
не все традиционные психодиагностические методики допускают перенос на ЭВМ;
автоматизированная
версия уже существующей методики нуждается в проверке на адекватность исходному
варианту, либо в повторной валидизации'й коррекции
норм;
некоторая
ограниченность способов взаимодействия испытуемого с ЭВМ в процессе
эксперимента (ЭВМ воспринимает только такие ответы испытуемого, которые могут
быть получены при помощи терминального устройства);
кроме
того, относительная легкость и простота получения результатов
автоматизированных психодиагностических обследований не стимулируют развитие
дифференциально-психологической теории.
2. Особенности
методик автоматизированной психодиагностики. Применение ЭВМ в практике
психологического тестирования относится к началу 60-х гг. В первую очередь был
автоматизирован трудоемкий и сопровождающийся большим количеством ошибок этап
подсчета очков и определения результатов тестирования. С начала 70-х гг.
вследствие широкого распространения мини-ЭВМ начали разрабатываться системы
автоматизированного психологического эксперимента, которые проводят
тестирование, сбор, хранение и обработку данных, в том числе подсчет очков и
интерпретацию результатов. Одной из первых систем подобного типа была система
для проведения теста MMPI.
Использование
ЭВМ дало мощный импульс развитию адаптивного эксперимента, в котором
последовательность предъявляемых испытуемому задач зависит от успешности
решения им предыдущих заданий. Вследствие этого испытуемому в процессе
многоступенчатого тестирования предъявляется гораздо меньше заданий с
сохранением надежности и валидности полного теста.
Это позволяет резко уменьшить трудоемкость и время тестирования, что в ряде
случаев особенно важно (например, при работе с детьми, больными, умственно
отсталыми).
Адаптивное
тестирование широко применяется в образовании при использовании индивидуальных
программ обучения, поскольку позволяет кратчайшим путем определить степень
овладения предметом, а также в клинике, поскольку заметно уменьшает время
тестирования [1], [6], [11], [13]. Особенности создания автоматизированных
адаптивных тестовых методик подробно рассматриваются в работах [25], [26],
[27].
При
разработке адаптивных критериально-ориентированных
тестов (в том числе для повторного тестирования) необходимо учитывать следующие
требования:
задачи
теста должны иметь разную сложность, которая характеризуется и управляется
минимальным количеством параметров (желательно выраженных математически);
уровень
сложности задачи должен легко изменяться без принципиального изменения ее
характера;
процедура
тестирования должна широко использовать ответы испытуемого (обратная связь) и
обеспечивать оптимальный уровень сложности заданий;
действия
испытуемого в процессе решения задачи (пути решения, характер ошибок и т.п.)
должны максимально выявляться и фиксироваться.
Автоматизация
психологического эксперимента во многом способствовала развитию исследований
когнитивных процессов. Первоначально ЭВМ использовались в
основном только для проведения стандартных психометрических тестов, которые
позволяли лишь разбивать людей на группы в соответствии с показанными
результатами относительно нормативной выборки, оценивать меру достижений и
способностей испытуемого, но не давали никакой информации о происходящих в это
время мыслительных процессах [2], [28]. Мыслительные процессы
исследовались в экспериментальной психологии на основе общих моделей, не
учитывающих, как правило, индивидуальных различий. Психометрические и
экспериментальные подходы к изучению когнитивных процессов развивались
независимо. В последнее время в экспериментальной психологии подобные
исследования стали проводить с учетом индивидуальных различий [7]. Основная
часть этих исследований проводилась на основе решения индивидуальных
лабораторных задач; значительно меньше встречается исследований, в которых в
качестве лабораторных задач использовались психометрические тесты.
172
Это
объясняется тем, что большинство психометрических тестов плохо приспособлены
для такого рода анализа.
Изучение
когнитивных процессов при выполнении психометрических тестов возможно, если:
тест обладает ясной структурой, позволяющей оценивать сложность каждой задачи и
различать этапы их решения; каждая задача допускает несколько решений разной
степени оптимальности; существует возможность изменения сложности задачи без
изменения ее существа. Подобным требованиям, в частности, удовлетворяет
известный лабиринтный тест Элиторна, который
рассматривался ранее как обычный психометрический тест интеллекта [6], [28].
Тест представляет собой треугольную решетку с сеткой дорожек, параллельных двум
сторонам треугольника. На пересечении некоторых дорожек находятся черные точки.
Необходимо, двигаясь без возвратов из вершины треугольника, пересечь
максимальное количество точек. Ранее было установлено, что этот тест очень
чувствителен к индивидуальным различиям, а также возрастным и клиническим
изменениям. Исследования, в которых лабиринтный тест применялся в качестве
задачи, показали, что уровень интеллекта тесно связан с общим временем решения
задачи, а характеристики личности — с распределением затраченного времени на
различных этапах ее решения: например, обнаружилось, что экстраверты
затрачивают очень мало времени на начальном этапе решений. Кроме того, была
установлена связь между уровнем интеллекта и стратегией решения: низкому уровню
интеллекта соответствовала более прямая траектория решения.
3. Аппаратное
обеспечение. Активное внедрение ЭВМ в практику
психологических исследований началось с широкого распространения цифровых машин,
в основном мини-ЭВМ, которые хорошо справлялись с проведением психологических экспериментов
и первичной обработкой полученных данных, однако их ресурсов (в первую очередь
оперативной памяти и быстродействия) явно не хватало для обработки и обобщения
результатов массового психологического эксперимента современными методами
математической статистики. Такую обработку оказалось удобным проводить
на мощных ЭВМ. Помимо большого быстродействия (до 2—10 млн операций в секунду) и большой (практически безграничной)
оперативной и внешней памяти мощные ЭВМ позволяют существенно повысить точность
расчетов из-за большего количества учитываемых знаков. Кроме того, большие ЭВМ
имеют богатый набор периферийных устройств, в том числе высокоскоростные
алфавитно-цифровые печатающие устройства (печатающие построчно вместо
посимвольной печати в мини-ЭВМ). Поэтому в дальнейшем стали создаваться сетевые
системы, в которых эксперименты проводятся с помощью мини-ЭВМ, установленных в
психологических лабораториях и связанных с мощной, быстродействующей ЭВМ,
которая и проводит окончательную статистическую обработку данных.
В
последнее время наряду с мини-ЭВМ для автоматизированного тестирования стали
повсеместно применяться более дешевые микро-ЭВМ (микрокомпьютеры), которые
используются либо как интеллектуальные терминалы вместе с большой ЭВМ, либо
отдельно. Вследствие компактности и малого веса микро-ЭВМ позволяют проводить
тестирование непосредственно в школах, учреждениях, клиниках. Микрокомпьютеры
имеют меньшие возможности, чем мини-ЭВМ, однако в сочетании с большой ЭВМ они
обеспечивают проведение автоматизированного тестирования на том же уровне.
Например, система APPLE II с объемом оперативной памяти 48К и возможностью
сегментации программ позволяет выполнять тесты, содержащие 1500 и более строк
текста, что вполне достаточно для большинства психометрических процедур.
Аналогичные возможности имеют и другие системы, распространенные среди
психологов, например система PET (Commodore), 380 Z (Research Machines), TRS80 (Tandy), MZ80K (Sharp).
Подавляющее
большинство микро-ЭВМ снабжены алфавитно-цифровыми дисплеями, которые могут
выводить на экран 24—25 строк текста длиной от 40 до 80 символов. Считается,
что для неискушенного в обращении с ЭВМ пользователя длина строк не должна
превышать 40 символов, а число строк на экране — 10—12 (в особенности при
работе с детьми или в клинике).
Для
упрощения взаимодействия испытуемого с ЭВМ иногда используют световое перо
[19]. К недостаткам этого метода относят быструю утомляемость испытуемых, а
также увеличение времени тестирования. Вместо светового пера для ответов
применяют так называемые сенсорные дисплеи, лишенные указанных недостатков.
Наконец, следует упомянуть о применении устройств голосового ввода, считывания
рукописных текстов и т.п., что значительно расширяет возможность
автоматизированных психодиагностических систем.
При
использовании сложных психологических методик, в особенности с применением
графических дисплеев, требования к
173
быстродействию и
оперативной памяти микро-ЭВМ значительно возрастают. Чем выше разрешающая
способность графического дисплея (т.е. количество высвечиваемых на экране
точек), тем более сложные картинки можно выводить на экран. Поскольку
информация для каждой точки хранится в памяти ЭВМ, с увеличением разрешающей
способности требуется больший объем памяти либо большее быстродействие для
формирования картинок на экране в процессе эксперимента. Поэтому применение
графического дисплея в психологическом тестировании с помощью микрокомпьютера
остается проблемой, еще не нашедшей приемлемого решения. Тем не менее с помощью современных графических дисплеев можно
получать картинки, вполне приемлемые для некоторых тестов. Например, дисплей с
разрешающей способностью 280Х 192 позволяет получать довольно сложные
изображения, содержащиеся в прогрессивных матрицах Равена.
Проведение
сложных психологических исследований в настоящее время реализуется на мощных
ЭВМ, обладающих большим быстродействием и разнообразным набором периферийного
оборудования. Одной из наиболее известных систем подобного типа является
американская универсальная адаптивная система, разработанная Давидом Вейсом (David Weiss) и его сотрудниками. Система предназначена для изучения
различных видов и способов проведения автоматизированного тестирования и
реализована на ЭВМ Control Data 6400 с объемом оперативной памяти 650К, режимом разделения
времени и 70 интерактивными терминалами. Для психологического тестирования и
социологических опросов в последнее время стали применять также
автоматизированные обучающие системы, в том числе систему PLATO-IV [8].
4. Программное
обеспечение. Первые программы, проводящие простейшую обработку данных, были
написаны на языках программирования низкого уровня (близких к машинным кодам).
Затем стали использоваться языки высокого уровня, в первую очередь Фортран и
ПЛ-1. Произошел переход от написания отдельных программ для каждого
эксперимента к созданию сначала универсальных программ, потом пакетов
прикладных программ, а затем к разработке специальных систем проведения
психологического эксперимента. Подобные системы представляют собой комплекс
специальных программ, а также пакетов прикладных программ, взаимодействующих
между собой и позволяющих психологу-экспериментатору подготавливать и проводить
психологические исследования, а также обрабатывать экспериментальные данные,
включая интерпретацию полученных результатов. Широкое использование диалоговых
процедур в таких системах привело к созданию специальных языков и метаязыков
программирования, приспособленных для описания задач автоматизированной
психодиагностики.
В
настоящее время в области программного обеспечения психологического
эксперимента наблюдается, с одной стороны, увеличение сложности и
«интеллектуальности» автоматизированных систем, ориентированных на большие ЭВМ.
С другой стороны, в автоматизированной психодиагностике с ее
относительно несложными задачами широкое распространение получили небольшие
системы на микро-ЭВМ, в которых психолог самостоятельно создает программу
проведения конкретного эксперимента.
Требования,
предъявляемые к автоматизированным системам психодиагностики, зависят от их
назначения. Хорошо разработанная система должна [5], [18], [19]:
1) обладать
высокой «интеллектуальностью», т.е. обеспечивать возможность гибкого и удобного
взаимодействия системы с разными категориями пользователей, как испытуемых, так
и экспериментаторов — психологов, клиницистов, лаборантов и т.п., в том числе
не имеющих навыка работы с вычислительной техникой. Система, как правило, сама
выдает испытуемому все необходимые объяснения и инструкции в
дружелюбно-вежливом тоне, использует обратную связь, подстраивая эксперимент
под конкретного пользователя и создавая иллюзию общения с живым человеком;
2) обеспечивать
в классе решаемых задач возможность выполнения большинства запросов
экспериментатора, включая подготовку, проведение и обработку психологического эксперимента,
хранение большого количества разнородного экспериментального материала,
осуществление поиска затребованных данных, подготовку выходных материалов в
нужном формате и т.п.;
3) обеспечивать
комплексную автоматизацию большинства этапов работы;
4) быть
надежной, не выходить из строя или непредсказуемо реагировать при любых (даже
невозможных с точки зрения психолога) ответах испытуемого или ошибочном нажатии
клавиш терминала. Это особенно важно при одноразовом тестировании: после сбоя продолжение
эксперимента должно начинаться с места прерывания;
5) обеспечивать
проведение экспериментов в интерактивном режиме, а также
174
предъявлять испытуемому
сложные стимулы;
6) обеспечивать
конфиденциальность собираемых данных, т.е. накопленная информация должна быть
защищена от несанкционированного доступа;
7) быть
недорогой.
В
настоящее время разработано большое количество специальных программ подготовки
и проведения автоматизированного психологического эксперимента практически для
всех типов ЭВМ. Например, описаны программы [16], позволяющие экспериментатору
формировать вопросник по шкале Ликерта и проводить
соответствующий эксперимент. Используется диалоговая экспериментальная
вспомогательная программа для планирования психологических экспериментов [4], [9],
[14], [15], [17].
Обработка
экспериментальных данных, в том числе собранных с помощью микро-ЭВМ или
полученных традиционными способами, как правило, проводится при помощи
высокоэффективных и широко распространенных пакетов прикладных статистических
программ на больших ЭВМ. Среди подобных пакетов наиболее
известны пакеты BMDP, SAS, SPSS, а также специально предназначенный
для обработки социологических и психологических данных — OSIRIS.
Существуют
многочисленные программы, реализующие тот или иной метод подготовки и
проведения психологического эксперимента, всевозможные программы сортировки и
фильтрации полученных данных, программы печати протоколов в заданном формате,
программы интерпретации результатов экспериментов и т.д. [21].
Одним
из важнейших вопросов при автоматизированном тестировании является правильная и
наглядная интерпретация полученных результатов. При автоматизированной
интерпретации определенные классы ответов выражаются с помощью хранящихся в
памяти ЭВМ словесных формулировок, близких к тем, которые дает в своем
заключении психолог.
Как
известно, один и тот же тест может применяться для разных целей и в каждом
случае психолог, интерпретирующий полученные результаты, выделяет те аспекты,
которые необходимы при решении конкретной задачи. Поэтому для одного и того же
теста может существовать несколько различных программ автоматизированной
интерпретации. Например, существует несколько программ
интерпретации результатов тестирования с помощью MMPI: одни программы предназначены для отсеивания
испытуемых (интерпретация проводится с помощью обобщенных высказываний), другие
— для выявления конкретных симптомокомплексов (и
выдают конкретное суждение о том или ином случае), третьи выдают заключения на
разных уровнях в соответствии с квалификацией и запросами пользующихся ими
специалистов [12].
В
частности, в практике широко распространена простая программа интерпретации
результатов MMPI, разработанная еще в 1965 г.
группой психологов из клиники Мэйо. В программе
основное внимание уделяется симптомам заболевания и эмоциональному состоянию
пациента (без постановки диагноза, а также прогнозов и рекомендаций по курсу
лечения). С 1974 г. функционирует автоматизированная система интерпретации
показателей методики чернильных пятен Роршаха,
основанная на клинических исследованиях Пиотровского. В выходной протокол
система помещает 50—80 предложений из 980 заложенных в ее память, касающихся
навыков межличностного общения, инициативности и независимости, характеристик
интеллекта, навыков решения проблемных ситуаций, личностных проблем и их
возможных причин. Описания в выходном протоколе адаптируются к дальнейшему
применению результатов (в клинике, в промышленности и т.п.).
Одним
из наиболее методически проработанных и широко используемых за рубежом личностных
опросников является Калифорнийский опросник CPI, вобравший в
себя примерно половину вопросов из MMPI.
Автоматизированная интерпретация результатов CPI производится на основании нескольких уравнений
.регрессии, прогнозирующих успеваемость в старших классах и в колледже,
вероятность ухода из школы, детскую преступность, успешность овладения
профессией и т.п. Известны программы интерпретации теста различных способностей
DAT, включающие прогнозирование школьных
успехов по программам общеобразовательной и профессиональной подготовки,
рекомендации по профессиональной ориентации с учетом информации о потребности в
кадрах [1].
Обучение
студентов-психологов основам вычислительной техники за рубежом началось еще в
60-е гг., сразу после внедрения первых ЭВМ в психологические исследования. В
настоящее время ЭВМ являются привычным инструментом для выпускников
психологических факультетов университетов: они владеют навыками написания
программ, знают современную технологию создания программного обеспечения, умеют
работать с пакетами прикладных программ (включая статистические). Кроме
175
того, в процессе
обучения студенты неоднократно взаимодействуют с разного рода диалоговыми
системами: ЭВМ выступает для них как учитель, консультант, экзаменатор [23].
Поэтому за рубежом широко распространены системы на микро-ЭВМ, в которых
программы проведения экспериментов и их обработки пишут сами психологи.
Таким
образом, современный уровень развития программных средств дает возможность
психологу-экспериментатору сосредоточиться на решении психологических, а не
программно-технических задач.
5. Взаимодействие
испытуемого и ЭВМ. Проблемы взаимодействия испытуемого с автоматизированной
системой (имеющие самостоятельное значение, но с которыми
приходится сталкиваться при автоматизированной психодиагностике)
рассматриваются частично в рамках изучения человеко-машинного взаимодействия,
однако они еще очень далеки от полного понимания. В первую очередь это
относится к разработке диалога, например, к исследованию влияния способа
представления визуальной информации на ответы испытуемого и к разработке
наиболее эффективных способов общения с машиной [10], [20]. Система должна
вести диалог с испытуемым непринужденно, в доброжелательно-вежливом тоне,
создавая иллюзию общения с живым человеком (что увеличивает мотивацию). Для
этого активно используется обратная связь, а также индивидуализация диалога:
перефразировка и использование в дальнейших сообщениях системы информации,
полученной от испытуемого (например, обращение к нему по имени), проверка
каждого ответа испытуемого и выдача сообщений об ошибках, подбадривание, оценка
проделанной работы и т.п.
При
разработке диалога большое внимание уделяется также темпу взаимодействия:
считается, что темп ведения диалога должен определяться естественной скоростью
решения задач испытуемым, машина не должна ни задерживать диалог, ни мгновенно
реагировать. Кроме того, система не должна подавлять человека демонстрацией
огромных возможностей ЭВМ.
Важным
свойством автоматизированной психодиагностической системы является ее
«разумность» с точки зрения испытуемого. Другими словами, при создании такой
системы необходимо рассмотреть всевозможные ситуации и в каждой из них найти
для системы такую реакцию, которая представляется естественной большинству
испытуемых. Подробно вопросы взаимодействия пользователя и ЭВМ рассмотрены в
работе [3].
1. Анастази А. Психологическое тестирование: В 2
т. М., 1982.
2.
Психологическая диагностика: Проблемы и исследования / Под
ред. К. М. Гуревича. М., 1984. 232 с.
3. Шнейдерман Б. Психология программирования:
Человеческие факторы в вычислительных и информационных системах. М.,
1984. 304 с.
4. Algarabel
Salvador. Memoria: A computer program for
experimental control of verbal learning and memory experiments with the Apple II
microcomputer // Behav. Res. Meth.
and Instrumentation. 1983. V.15. N 3.
P.394.
5. Beaumont J. G. System requirements for
interactive testing // Int. J. of Man-Machine Studies. 1982. V.17. N 3. P. 311—320.
6. Elithorn A., Mornington S., Stavrov A. Automated
psychological testing: Some principles and practice // Int. J. of Man-Machine
Studies. 1982. V.17. N 3. P. 247—263.
7. Friedman M., Das J.
P., O'Connor N. (eds). Intelligence and learning. N.Y.: Plenum press, 1981.
8. Holt R. W. Applications of the Plato
computer system to research in social psychology // Behav.
Res. Methods and Instrumentation. 1983. V.15. N 2. P. 145—147.
9. Howard J. H. RT-II Fortran
subroutines for on-line control // Behav. Research Methods and Instrumentation. 1981. V.13. N 3. P. 371—373.
10. Jagodzinski A.
P. A theoretical basis for the representation of on-line computer systems
to naive users // Int. J. of Man-Machine Studies. 1983. V.13. N 3. P. 215—252.
11. Kleinmuntz B. Computational
and noncomputational clinical information processing
by computer // Behav. Sci. 1982. N 27. P. 164—174.
12. Labeck L. J.,
Johnson J. H., Harris W. G. Validity of a computerized on-line MMPI
interpretive system // J. of Clin. Psychol. 1983.
V. 39. N 3. P. 412—416.
13.
14. Maxwell K. I., Schvaneveldt
R. W. The psych-lab programming system: A tool for developing experimental
control programs // Behav. Res. Meth.
and Instrum. 1983 (Feb.). V. 15 (I). P. 49—56.
15. Meyer E. G., Mills R. G., H. Rickets William. A
user-assisted automated experimental (test) de-sing computer to aid in the
development of human/machine system experiments // Proc. IEEE Nat. Aerosp. and Electron. Conf (NAECON
1983),
16. Morrison P. R. L. An applesoft
program for the construction, administration, and scoring of Likert scales // Behav. Res. Meth. and Instrum.
1983. V. 15. N 1. P. 97—98.
17. Peay E. R. Programs
for producing questionnaires with randomized ordering and sampling of
components / / Behav. Res. Meth.
and Instrum. 1983. V. 15. N 5. P. 551—552.
18. Rajaram N. S. Design
of intelligent systems with cooperating knowledge based components // Proc.
Trends and Appl.: Autom. Intell. Behav.
176
Appl. and Front.,
19. Ridway J., Macculloch M. J., Mills H. E. Some experiences in administering
a psychometric test with a light pen and microcomputer // Int. J. of Man-Mach.
Studies. 1982. V. 3. N 17. P. 265—278.
20. Sampson
21. Shelton B. R. Rapid calculation procedures
for maximum likelihood method of adaptive psychophysics // Behav.
Res. Meth. and Instrum. 1983. V. 15. N 1. P. 87—88.
22. Space L. G. The computer as psychometrician // Behav. Res. Meth and Instrum.
1981. N 13. P. 595—606.
23. Spivey J. E. Software development for
computer-assisted instruction in experimental psychology // Behav.
Res. Meth. and Instrum. 1983. V. 15. N 2. P. 183—186.
24. Thompson J. A., Wilson S. L. Automated psychological
testing // Int. J. of Man-Machine Studies. 1982. N 17. P. 279—289.
25. Vale C. D. Design and implementation of a
microcomputer-based adaptive testing system // Behav.
Res. Meth. and Instrum. 1981. N 13. P. 399—406.
26. Volans P. J. Pros
and cons of tailored testing: An examination of issues highlighted by
experience with an automated testing system // Int. J. of Man-Machine Studies.
1982. V. 17. N 3. P. 301—304.
27. Walls K., Baddeley
A., Williams M. Automated tailored testing using Raven's matrices and the
Mill Hill vocabulary tests: A comparison with manual administration // Int. J.
of Man-Machine Studies. 1982. N 17. P. 331—344.
28. Weinman J. A. Detailed
computer analysis of performance on a single psychological test // Int. J. of
Man-Machine Studies. 1982. V. 17. N 3. P. 312—330.
Поступила в редакцию 24.Х 1984 г.