НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ГОСТ Р исо 11064-7-2010

ЭРГОНОМИЧЕСКОЕ ПРОЕКТИРОВАНИЕ
ЦЕНТРОВ УПРАВЛЕНИЯ

Часть 7

Принципы оценки

ISO 11064-7:2006

Ergonomic design of control centres - Part 7: Principle for the evaluation

of control centres

(IDT)

Предисловие

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. № 184-ФЗ «О техническом регулировании», а правила применения национальных стандартов Российской Федерации - ГОСТ Р 1.0-2004 «Стандартизация в Российской Федерации. Основные положения»

Сведения о стандарте

1 ПОДГОТОВЛЕН Автономной некоммерческой организацией «Научно-исследовательский центр контроля и диагностики технических систем» (АНО «НИЦ КД») на основе собственного аутентичного перевода на русский язык международного стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 201 «Эргономика»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 25 ноября 2010 г. № 527-ст

4 Настоящий стандарт идентичен международному стандарту ИСО 11064-7:2006 «Эргономическое проектирование центров управления. Часть 7. Принципы оценки центров управления» (ISO 11064-7:2006 «Ergonomic design of control centres - Part 7: Principles for the evaluation of control centres»).

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2004 (подраздел 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты Российской Федерации, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

Информация об изменениях к настоящему стандарту публикуется в ежегодно издаваемом информационном указателе «Национальные стандарты», а текст изменений и поправок - в ежемесячно издаваемых информационных указателях «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет

Содержание

Введение

Настоящий стандарт устанавливает руководящие принципы, эргономические требования и рекомендации по оценке центров управления.

Настоящий стандарт позволяет наиболее полно учесть требования пользователей. Полная стратегия обеспечения выполнения требований пользователей представлена в ИСО 11064-1¹⁾.

В ИСО 11064-2²⁾ приведены руководящие указания по планированию и проектированию центров управления в части их технического обслуживания. В ИСО 11064-3³⁾ установлены требования и руководящие указания по размещению центров управления. Требования к конструкции рабочих станций, дисплеев и средств управления и физическим параметрам производственных условий приведены в ИСО 11064-4⁴⁾ и ИСО 11064-6⁵⁾.

¹⁾ ИСО 11064-1:2000 «Эргономическое проектирование центров управления. Часть 1. Принципы проектирования центров управления» (ISO 11064-1:2000 «Ergonomic design of control centres. Part 1. Principles for the design of control centres»).

²⁾ ИСО 11064-2:2000 «Эргономическое проектирование центров управления. Часть 2. Принципы организации центров управления» (ISO 11064-2:2000 «Ergonomic design of control centres. Part 2. Principles for the arrangement of control suites»).

³⁾ ИСО 11064-3:1999 «Эргономическое проектирование центров управления. Часть 3. Расположение зала управления» (ISO 11064-3:1999 «Ergonomic design of control centres. Part 3. Control room layout»).

⁴⁾ ИСО 11064-4:2004 «Эргономическое проектирование центров управления. Часть 4. Расположение и размеры рабочих мест» (ISO 11064-4:2004 «Ergonomic design of control centres - Part 4: Layout and dimensions of workstations»).

⁵⁾ ИСО 11064-6:2005 «Эргономическое проектирование центров управления. Часть 6. Требования ксостоянию окружающей среды для центров управления» (ISO 11064-6:2005 «Ergonomic design of control centres - Part 6: Environmental requirements for control centres»).

Все стандарты серии ИСО 11064 обеспечивают выполнение общих принципов эргономического проектирования при изготовлении и обслуживании центров управления.

Настоящий стандарт будет полезен для руководителей проектов, инженеров службы приемки, потребителей, поставщиков и регулирующих органов.

Пользователями настоящего стандарта являются также операторы центров управления и некоторые другие заинтересованные группы пользователей, потребности которых составляют основу эргономических требований, используемых разработчиками международных и национальных стандартов. Применение настоящего стандарта позволит обеспечить пользователю рабочую среду, которая в наибольшей степени соответствует его требованиям. Это способствует снижению количества ошибок и повышению производительности труда.

Международный стандарт, на основе которого подготовлен настоящий стандарт, разработан техническим комитетом ИСО/ТС 159 «Эргономика».

ГОСТ Р ИСО 11064-7-2010

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Дата введения - 2011-12-01

1 Область применения

Настоящий стандарт устанавливает эргономические критерии для оценки центров управления. Стандарт содержит руководящие принципы, эргономические требования и рекомендации по оценке элементов центров управления, т.е. аппаратных подсистем управления, помещений, рабочих станций, дисплеев и рабочей среды.

Стандарт предназначен для всех типов центров управления, включая центры управления промышленными процессами, транспортными системами и диспетчерскими пунктами аварийных служб. Несмотря на то, что настоящий стандарт затрагивает в основном стационарные центры управления, многие его принципы могут быть применены для мобильных центров, расположенных, например, на кораблях или на самолетах.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ИСО 11064-1:2000 Эргономическое проектирование центров управления. Часть 1: Принципы проектирования центров управления (ISO 11064-1:2000, Ergonomic design of control centres. Part 1. Principles for the design of control centres)

ИСО 13407:1999 Процессы проектирования, ориентированного на человека, в интерактивных системах(130 13407:1999, Human-centred design processes for interactive systems)¹⁾

¹⁾ Стандарт заменен на ИСО 9241-210:2010 «Эргономика взаимодействия человек - система. Часть 210. Ориентированное на человека проектирование интерактивных систем» (ISO 9241-210:2010 «Ergonomics of human - system interaction - Part 210: Human-centred design for interactive systems»).

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 процесс оценки (evaluation process): Действия по всем видам верификации и валидации проекта, в том числе выбранные методы и регистрация полученных результатов.

Примечание - Выражение «процесс оценки» в настоящем стандарте использовано в качестве синонима выражения «процесс верификации и валидации».

3.2 индивидуальная модификация, HED (human engineering discrepancy, HED): Изменение некоторой общепринятой конструкции системы, учитывающее особенности действий или возможностей человека - оператора и/или пользователя.

Примечание - Такой индивидуальной модификацией может быть, например, изменение конструкции, учитывающее определенные предпочтения оператора/пользователя.

3.3 резолюция (заключение, выводы) (resolution): Принятие решения по несоответствиям, выявленным в процессе проведения верификации и валидации.

3.4 понимание ситуации (situation awareness): Соотношение между пониманием оператором/пользователем состояния управляемой системы и/или процесса и их фактическим состоянием в каждый момент времени.

Примечание - Это понятие первоначально использовано Эндсли [4] по отношению к пилоту, находящемуся в кабине самолета, и определено как «восприятие элементов окружающей среды в пределах заданного времени и доступного пространства кабины, понимания значения этих элементов и прогнозирования их состояния на ближайшее будущее».

3.5 достоверность (validity): Степень, с которой измерительный прибор или методика измерений могут продемонстрировать свою способность измерять то, что они предназначены измерять.

Примечание 1 - Например, достоверность идентификации личности зависит от используемых процедур измерений. Критерий достоверности позволяет ответить на вопрос: является ли используемая процедура разумным способом получить необходимую информацию?

Примечание 2 - Достоверность прогноза характеризует возможность на основе измерений изучаемых характеристик прогнозировать реальные свойства рассматриваемой окружающей среды.

3.6 валидация (validation): Подтверждение на основе объективных данных, что установленные требования в условиях намеченного использования или применения выполнены.

Примечание 1 - Адаптированное определение по ИСО 9000:2005, пункт 3.8.5 [1].

Примечание 2 - См. рисунок 1.

Примечание 3 - Данный термин часто используют совместно с термином «верификация», и оба термина составляют аббревиатуру «V&V» (верификация и валидация).

3.7 верификация (verification): Подтверждение на основе объективных данных, что установленные требования были выполнены.

Примечание 1 -Адаптированный термин по ИСО 9000:2005, пункт 3.8.4 [1].

Примечание 2 - См. рисунок 1.

Примечание 3 - Данный термин часто используют совместно с термином «валидация», и оба термина составляют аббревиатуру «V&V» (верификация и валидация).

3.8 план верификации и валидации (V&VnnaH) (verification and validation plan): План, специально разработанный для управления процессом оценки.

Рисунок 1 - Роль верификации и валидации

3.9 рабочая нагрузка (workload): Физические и ментальные требования, установленные для пользователей системы и/или обслуживающего персонала.

4 Требования и рекомендации для процесса оценки

В 4.1 - 4.10 представлены общие требования и рекомендации, установленные для процесса эргономической оценки. В приложении А приведен лист проверки выполнения этих требований.

4.1 Основные требования к верификации и валидации

а) Верификация и валидация должны быть частью общего процесса проектирования в соответствии с ИСО 13407 и ИСО 11064-1 (см. рисунок 2).

Рисунок 2 - Верификация и валидация в процессе проектирования

b) Верификацию и валидацию следует проводить на всех этапах жизненного цикла проекта.

c) Испытания должны быть проведены на возможно более ранних этапах проектирования, чтобы можно было произвести необходимые корректирующие действия.

Результаты проведенных ранее работ по верификации и валидации могут быть повторно использованы в идентичных условиях. Окончательное решение относительно допустимых форм проведения верификации и валидации должно быть индивидуальным в каждом конкретном случае. Дополнительная информация приведена в приложении В.

4.2 План верификации и валидации

a) План верификации и валидации должен быть подготовлен на ранних этапах реализации проекта до проведения верификации и валидации.

Примечание - В плане верификации и валидации должны быть отражены, как минимум, следующие пункты:

- цели верификации и валидации, такие как максимизация производительности операторов, безопасность рабочих процессов, уменьшение совершаемых людьми ошибок, улучшение средств поддержки используемых оператором средств технического обслуживания, повышение удовлетворенности выполняемой работой, улучшение качества продукции;

- полномочия для проведения верификации и валидации и используемые термины;

- взаимосвязи и взаимодействия в процессе проведения верификации и валидации с другими элементами как внутри, так и вне проекта, например взаимосвязи и взаимодействия между процессом проектирования и программой обеспечения качества;

- состав группы по проведению верификации и валидации, распределение ответственности между членами группы и распределение имеющихся ресурсов;

- методы, регламентированные программой верификации и валидации;

- описание проведения верификации и валидации.

b) В плане должны быть указаны требования к затратам времени, взаимосвязи между рабочими заданиями процесса оценки. Эти требования должны охватывать весь проект и весь срок его выполнения.

c) План оценки должен охватывать все объекты обсуждения.

d) В плане должны быть задокументированы все критерии, методы и технические средства, используемые в процессе оценки.

e) План должен описывать выполняемые процессы и, в случае верификации, описывать каждый этап оценки, на котором либо устанавливают, либо проверяют требования.

f) В плане должны быть установлены цели в области функционирования и безопасности, проверяемые при валидации.

g) Должна быть произведена количественная оценка ресурсов, требуемых для проведения верификации и валидации, включая такие ресурсы, как персонал, оборудование, помещения и объекты испытаний.

4.3 Область применения верификации и валидации

a) Проведение верификации и валидации должно соответствовать выполняемой стадии проекта.

b) Процесс валидации должен включать в себя проверку проекта для установления того, что система функционирует приемлемо в полном диапазоне условий эксплуатации; валидация должна включать в себя анализ соответствующих сценариев или рабочих этапов, которые охватывают работу в нормальных условиях, включая появление различных отказов, неисправностей и аварийных условий.

c) Должно быть дано описание возможных ситуаций, адаптированных к выбранному методу верификации/валидации, и описание стадий проекта.

d) Применение верификации и валидации должно распространяться на технические средства, установленные в плане проекта.

Примечание - Область применения верификации и валидации может охватывать следующие вопросы:

- аппаратные средства, имеющие интерфейс «человек - система»;

- программное обеспечение интерфейса «человек - система»;

- средства коммуникации;

- процедуры (в бумажной или электронной форме);

- рабочие станции и конфигурации пульта управления;

- разработку рабочих условий;

- отбор и обучение персонала;

- рабочую группу;

- вспомогательные помещения и панели защитного (аварийного) выключения;

- локальный пункт управления;

- локальную панель управления или терминал управления;

- потребности в обслуживающем персонале;

- другие потребности операторов (место для личных вещей, комната отдыха и т.д.).

4.4 Критерии верификации и валидации

a) Разработанный набор критериев верификации и валидации должен соответствовать полному перечню эргономических требований проекта.

b) Критерии верификации и валидации должны быть определены для оценки каждого эргономического требования и степени достижения поставленных целей.

Примечание 1 - Критерии могут быть определены на основе документальных источников, используемых в проекте, таких как:

- описание функциональных характеристик и требований;

- принципы безопасности;

- требования надежности и эксплуатационной готовности;

- описание интерфейса оператора и принципов отображения информации;

- требования соответствующих нормативных документов;

- рекомендации и требования, взятые из литературы по эргономике.

Примечание 2 - Критерии функциональной пригодности могут быть классифицированы по нескольким их видам,например:

- критерии выполнения требований - сравнение функциональных характеристик системы с установленными требованиями;

- бенчмаркинговые критерии - сравнение функциональных характеристик системы с требованиями, установленными на основании бенчмаркинга (сравнения с лучшим);

- нормативные критерии - сравнение функциональных характеристик системы с требованиями, установленными на основании норм, базирующихся на оценке многих систем;

- критерии, основанные на экспертных оценках, - сравнение функциональных характеристик системы с требованиями, установленными на основании мнений экспертов.

4.5 Верификация и валидация входящей документации

a) Группа оценки конструкции должна собрать всю важную документацию, связанную с рассматриваемой областью и используемую при разработке конструкции.

Примечание -Документация является основой для оценки влияния человеческого фактора.

b) Группа оценки конструкции должна иметь доступ к соответствующей документации.

c) Группа оценки конструкции должна иметь возможность взаимодействия с персоналом, ответственным за проектирование и документацию.

d) Группа оценки конструкции должна иметь доступ к данным относительно влияния человеческого фактора.

4.6 Группа по верификации и валидации

a) Группа оценки влияния человеческого фактора должна быть независимой от группы оценки конструкции, но может осуществлять с ней взаимодействие; участники одной из групп не должны состоять в другой группе.

b) Необходимо поддерживать и стимулировать взаимодействия между независимой группой оценки влияния человеческого фактора и разработчиками конструкции.

c) Группа оценки влияния человеческого фактора должна иметь определенный статус в организации, т.е. иметь полномочия, ответственность и размещение для проведения процесса оценки.

d) Специальная экспертиза, проводимая в группе оценки влияния человеческого фактора, должна учитывать область применения оценки.

Примечание - Состав специалистов группы по верификации и валидации должен соответствовать следующим областям экспертизы проекта:

- проектирование систем;

- архитектурное проектирование и гражданское строительство;

- системный анализ;

- автоматизированные системы измерений и управления;

- информационные и компьютерные системы;

- инженерная психология/эргономика;

- средства эксплуатации и обучения (представители пользователей).

4.7 Ресурсы, необходимые для верификации и валидации

a) При разработке конструкции должны быть выделены необходимые ресурсы для работы группы по верификации и валидации.

b) Должны быть подготовлены соответствующие рабочие материалы для проведения верификации и валидации.

Примечание - Рабочие материалы могут включать в себя:

- документы по управлению документацией;

- информация об особенностях и компонентах центров управления;

- результаты измерений (шума, освещенности, температуры);

- записи анкетных опросов и интервью;

- записи реакций оператора на тесты (например, тесты и оценки, произведенные с использованием имитирующих устройств);

- записи об индивидуальных модификациях, позволяющие идентифицировать их размещение и особенности;

- решения, принятые по результатам анализа индивидуальных модификаций.

4.8 Методы верификации и валидации

При выборе методов верификации и валидации следует учитывать следующие положения:

a) используемые методы и процедуры оценки должны носить системный характер и быть хорошо документированными.

Примечание - Для эргономической оценки в условиях использования центра управления можно применить несколько методов. Некоторые из часто применяемых методов кратко описаны в приложении В (для получения дополнительной информации см. [10]). Методы оценки могут быть отнесены к одной из двух категорий, различающихся способом применения метода;

b) методы оценки должны быть практически применимыми и эффективными;

c) по возможности следует применять быстрые и недорогие в использовании методы, а применение более сложных и дорогих методов следует ограничить теми оценками, для получения которых требуются именно такие методы.

4.9 Измерения, проводимые при верификации и валидации

a) Процесс оценки должен в максимально возможной степени включать в себя количественные измерения требуемых свойств и функциональных характеристик.

Примечание 1 - В отношении верификации и валидации в некоторых случаях невозможно получить объективные свидетельства соответствия эргономическим требованиям. Для этих случаев в качестве альтернативы могут быть использованы экспертные оценки.

b) Общие цели, такие какбезопасность и пригодность, обычно измерить достаточно трудно, в этом случае при эргономической оценке центров управления и интерфейсов взаимодействия «человек - система» внимание должно быть обращено на другие аспекты. Можно привести следующие примеры критериев функциональной эффективности взаимодействия «человек - система», которые должны быть рассмотрены при оценке:

1) совместимость-способы представления объектов оператору и реакции, ожидаемые от операторов, должны быть совместимы с возможностями и ограничениями человека относительно операций ввода-вывода.

Примечание 2 - Совместимость означает, что операторы должны уметь считывать информацию с дисплеев, им должны быть доступны средства управления и т.д., независимо от общих целей системы;

2) понятность - отображенная информация должна быть легко понимаемой, а ручные управляющие воздействия должны вызывать ожидаемую ответную реакцию системы.

Примечание 3 - Понятность означает, что структура, формат и информационное наполнение диалога «человек - система» приводят к полному пониманию оператором своих действий с системой;

3) понимание ситуации - понимание ситуации должно обеспечивать на основе текущего состояния и совокупности имеющихся данных возможность прогнозирования ситуации;

4) управляемость - свойство системы, позволяющее оператору реализовывать свои решения.

Примечание 4 - Управляемость означает осуществление определенного контроля над реальной ситуацией и знание хронологии ее развития;

5) умственная нагрузка - ее измерение основано на гипотезе о том, что оператор имеет ограниченные ментальные возможности обработки информации.

Примечание 5 - В литературе умственная нагрузка описана как часть возможностей оператора по обработке информации, которая требуется для выполнения конкретного рабочего задания;

6) показатели групповой работы и их измерение.

Примечание 6 - Главными показателями, характеризующими эффективную работу в группе, являются ее потенциальные возможности. К потенциальным возможностям группы относятся взаимная поддержка членов группы, положительное социальное взаимодействие членов группы, распределение рабочей нагрузки, взаимодействие и сотрудничество в группе. Все эти факторы положительно влияют на результативность и производительность работы группы и удовлетворенность ее членов;

7) возможности самообучения и их измерение.

Примечание 7 - Возможность обучения означает, что неопытные пользователи могут легко научиться использовать систему, редко обращаясь при этом к справочникам или вообще не применяя их;

8) показатели повышения производительности, такие как результативность, эффективность и удовлетворенность, и их измерение.

Примечание 8 - Повышение производительности позволяет более легко выполнять сложные производственные задания или дает возможность оператору выполнить ранее невыполнимое задание. Результативность, эффективность и удовлетворенность совместно позволяют оценить пригодность использования. В ИСО 9241-11 [2] приведена детальная информация относительно того, как оценивать пригодность использования.

Примечание 9 - Результативность: среда взаимодействия «человек-система» результативна, если она помогает оператору (или группе) повысить качество выполнения производственного задания, например за счет снижения ошибок при выполнении установленных процедур.

Примечание 10 - Эффективность отражает полезность ресурсных затрат по отношению к точности и полноте достижения установленных целей (полученных результатов), например таких, как выполнение производственного задания в установленный срок.

Примечание 11 -Удовлетворенность проявляется в достижении максимального комфорта и позитивного настроения при выполнении деятельности, направленной на достижение намеченных целей;

9) функциональные характеристики систем, относящиеся к безопасности технологического оборудования (например, сохранение установленных параметров процесса в пределах определенного диапазона), и их измерение;

10) размещение рабочей станции с учетом оценок динамической антропометрии и взаимодействий.

4.10 Результаты верификации и валидации

a) Результаты оценки должны быть зарегистрированы и документированы с указанием всех несоответствий установленным требованиям.

b) Процесс оценки выявленных несоответствий должен быть систематическим и документированным.

c) Выявить воздействия обнаруженных несоответствий на работу системы.

d) Группа оценки должна проверять наличие риска воздействий всех изменений конструкции, выполненных для устранения обнаруженных отклонений или несоответствий.

Приложение А
(справочное)

Проверочный лист для оценки процесса верификации и валидации

Требования/рекомендации	Да	Нет	Нет данных	Примечание
4.1 Общие требования к верификации и валидации
а) Является ли проведение V&V неотъемлемой частью процесса проектирования?
b) Проводится ли V&V на всех этапах жизненного цикла проекта?
с) Проводятся ли испытания при V&V на ранних этапах процесса проектирования?
4.2 План верификации и валидации
а) Разрабатывается ли план V&V на ранних этапах реализации проекта?
b) Детализирует ли план V&V такие пункты, как требования к выполнению временных ограничений, взаимосвязи и взаимозависимости между рабочими заданиями в процессе оценки, и распространяется ли данный план на весь проект?
с) Охватывает ли план V&V все необходимые объекты обсуждения?
d) Содержит ли план необходимые документированные критерии, методы и технические средства, которые могут быть использованы в процессе оценки?
е) Описывает ли план виды работ, которые должны быть выполнены при верификации, позволяет ли описание каждого этапа установить или проверить требования?
f) Установлены ли цели в области функционирования и безопасности, проверяемые при V&V?
д) Произведена ли оценка необходимых ресурсов для выполнения заданий V&V, включая персонал, оборудование, помещения и объекты испытаний?
4.3 Область применения верификации и валидации
а) Соответствует ли область применения V&V стадиям выполнения проекта, в рамках которого V&V выполняется?
b) Рассматривает ли V&V все допустимые условия работы?
с) Документирована ли соответствующим образом проводимая работа, включая выбор стадии проекта и метода V&V?
d) Содержит ли область применения V&V верификацию технических средств, установленных в плане проекта?
4.4 Критерии верификации и валидации
а) Охватывают ли разработанные критерии V&V весь набор эргономических требований, имеющих отношение к рассматриваемому проекту?
b) Пригодны ли разработанные критерии для оценки каждого эргономического требования?
4.5 Верификация и валидация входящей документации
а) Собиралась ли важная документация, относящаяся к проекту и используемая группой по V&V на этапе разработки конструкции?
b) Имеет ли группа по V&V право доступа ко всей требуемой документации?
с) Имеет ли группа по V&V возможность взаимодействия с персоналом, ответственным за проектирование и документацию?
d) Имеет ли группа по V&V доступ к материалам по анализу влияния человеческого фактора?
4.6 Группа по верификации и валидации
а) Является ли группа по V&V независимой от группы оценки влияния человеческого фактора?
b) Поддерживаются и поощряются ли связи между независимой группой оценки влияния человеческого фактора и разработчиками конструкции?
с) Приемлемым ли образом размещена группа оценки влияния человеческого фактора в организации, осуществляющей выполнение проекта?
d) Соответствуют ли знания экспертов в группе оценки влияния человеческого фактора области применения V&V?
4.7 Ресурсы, необходимые для верификации и валидации
а) Выделены ли в соответствии с проектом необходимые ресурсы для обеспечения группы V&V?
b) Подготовлены ли необходимые рабочие материалы для проведения V&V?
4.8 Методы верификации и валидации
а) Документированы и используются ли систематически методы и процедуры оценки?
b) Являются ли методы оценки практически выполнимыми и эффективными?
с) Являются ли применяемые методы оценки приемлемыми?
4.9 Измерения, проводимые при верификации и валидации
а) Включает ли процесс оценки количественные измерения требуемых свойств и функциональных характеристик?
b) Проводятся ли другие измерения, связанные с влиянием человеческого фактора?
4.10 Результаты верификации и валидации
а) Документированы и зарегистрированы ли результаты оценки, включая любые несоответствия установленным требованиям
b) Является ли процесс оценки выявленных несоответствий систематическим и документированным?
с) Выявлены ли воздействия обнаруженных несоответствий на работу системы?
d) Производится ли проверка наличия риска воздействия всех изменений конструкции, выполненных для устранения обнаруженных отклонений и несоответствий?

Приложение В
(справочное)

Процесс оценки

B.1 Использование имеющейся информации для проведения верификации и валидации

Постоянное улучшение и соответствующие изменения находят свое отражение в проектной документации, процедурах и опытной эксплуатации. Информация, получаемая из указанных источников, является важной для проведения валидации. Эти данные могут быть учтены при оценке соответствия установленным требованиям при проведении верификации и валидации; кроме того, следует также принимать во внимание сведения о значимости проводимых изменений и используемых материалах. В МЭК61771 [9] установлено, что проводимая верификация и валидация должны быть адаптированы к особенностям проекта. Однако основная структура, используемая при проведении верификации и валидации, остается фиксированной. При этом сохраняются неизменными следующие стадии:

a) подготовка верификации и валидации;

b) оценка (фактическое проведение верификации и валидации);

c) принятие решения (выявление несоответствий и принятие относительно них решений). Дополнительная работа, которая может потребоваться на указанных стадиях, должна быть согласована и документирована.

Двумя важными аспектами требований верификации и валидации проектов являются степень инноваций (новшеств) и возможность оценки на основе аналогов. Степень инноваций зависит от объема изменений. Деятельность по верификации и валидации должна охватывать эти области. Степень инноваций изменяется непрерывно от точной копии существующего проекта, для которой не требуется практически никакой работы по верификации и валидации, до небольших изменений проекта, требующих отдельных действий по верификации и валидации, затем до новой разработки, требующей применения всего объема действий по верификации и валидации. При наличии существенных изменений особое внимание в процессе оценки должно быть обращено на области изменений и их интеграцию с существующими проверенными функциями и свойствами конструкции.

Кроме того, необходимо исследовать возможность влияния изменений на риск. Здесь могут быть использованы существующие методы анализа безопасности.

B.2 Верификация и валидация инноваций проекта

Для модернизации помещения, в котором расположен центр управления, необходимо провести верификацию и валидацию новых решений, включая их взаимосвязь с имеющимся оборудованием. Многие проблемы, относящиеся к процессу оценки в случае эволюционных изменений, могут быть идентифицированы, например, такие как:

- использование и рассмотрение текущих и предыдущих программ изменений, их целей и основных принципов (использование существующей документации);

- рассмотрение возможного влияния изменений на другие аспекты работы и организационные факторы;

- влияние изменений на моделирование, применяемые процедуры, требования к обучению и на другие важные элементы;

- направления будущих изменений и возможность параллельного использования имеющихся и новых систем;

- доступность использования возможностей моделирования оборудования для проведения верификации и валидации.

B.3 Изменение характеристик рабочих заданий, относящихся к центрам управления

Изменения в системах центра управления и оборудования могут влиять на должностные обязанности оператора и его производственное задание и в процессе обычной работы, и в аварийных ситуациях. Направления постоянных изменений (развития) включают в себя следующие тенденции:

- возрастание уровня автоматизации;

- снижение участия оператора в мониторинге, контроле и восстановлении автоматизированных систем;

- повышение концентрации средств управления и отображения с использованием рабочих станций и соответствующего оборудования в аппаратных пунктах центров управления;

- использование в центрах управления дисплеев с большим экраном, которые обеспечивают возможность совместного получения общей и высокоуровневой визуальной информации и наблюдения за критическими параметрами;

- изменение основного интерфейса оператора, заключающееся в отходе от прямого взаимодействия с компонентами системы и переходе к взаимодействию, основанному на общесистемных данных;

- возрастание применения графических и многофункциональных дисплеев;

- повышение использования средств обработки информации и принятия решений.

Примечание - Если в одном из указанных направлений роль оператора меняется, то в новых условиях становится более трудным обосновать его квалификацию на основании подобия выполняемой работы или заявления о том, что степень вводимых инноваций незначительна.

Указанные тенденции изменений оказывают влияние на проектно-технические решения как для нового оборудования, так и для действующих пунктов управления. Может существовать определенный выбор технологий и решений при разработке интерфейса взаимодействия «человек - система» для любого его местоположения, в том числе и для новых центров управления. Для действующего оборудования могут быть установлены несколько степеней обновления. Принцип постоянного улучшения, приводящий к непрерывным изменениям, требует, чтобы любая программа по эргономике и соответствующая верификация и валидация в рамках этой программы включали возможность применения различных подходов к управлению и индикации.

Дополнительные проблемы могут возникать из-за того, что появляются новые типы ошибок человека, которые приводят к понижению надежности человека в системе. Поскольку такие ошибки имеют тенденцию отличаться по виду от обычных ошибок, допускавшихся до обновления в центре управления, то они первоначально менее очевидны и менее понятны или даже менее обнаруживаемы. Программа по эргономике должна быть направлена на решение этих проблем. Нижеследующие пункты отражают некоторые из этих новых аспектов проблемы надежности человека.

a) Недостаток знаний

Когнитивные¹⁾ аспекты являются более значимыми по сравнению с физическими. Они должны доминировать в проектах в соответствии с принципами эргономики.

¹⁾ Когнитивный (от лат. cognitio) - познавательный.

b) Изменения в распределении функций

Повышение уровня автоматизации способствовало появлению тенденции к смещению акцента от физической рабочей нагрузки к когнитивной рабочей нагрузке. В результате появилась опасность возникновения таких ошибок, как, например, потеря бдительности, потеря понимания ситуации и, в конечном счете, даже полная потеря понимания процессов, поскольку оператор все больше и больше времени не участвует в рабочем цикле.

c) Изменения в когнитивных последствиях решений

Наблюдается тенденция к предварительной систематизации информации и размещению ее на рабочей станции или в компьютерной системе, а не на бумажных носителях в помещении; большее количество информации в электронном виде приводит к дополнительной когнитивной нагрузке на оператора при работе с интерфейсом оборудования. В такой ситуации возникает большая потребность определять требования к системе через когнитивные, а не физические показатели. Это, в свою очередь, требует применения такого метода, как когнитивный анализ производственного задания.

d) Изменение требований к квалификации оператора

Поскольку системы становятся все более и более автоматизированными, они способствуют разработке новых, требующих более высокой квалификации производственных заданий. Операторы должны быть способны понять и оценить функционирование автоматической системы или даже брать на себя некоторые ее функции в случае отказа системы. С другой стороны, трудно ожидать от операторов наличия требуемого уровня квалификации, поскольку автоматизация приводит к тому, что их ежедневные производственные задания становятся более скучными и монотонными.

Рассмотрение этих положений приводит к пониманию того, что изменяющиеся характеристики центров управления и оборудования изменяют обязанности, функции и производственные задания персонала центров управления. Это в свою очередь приводит к установлению требований по проведению определенного вида работ по эргономике.

В этой связи многие организации начали более серьезно смотреть на разработку и применение более эффективных систем центров управления. Однако часто трудно установить критерии принятия/отклонения новых решений и предложить методы решения этих проблем. Следовательно, для обеспечения качества акцент может быть сделан на сопоставлении экспертных мнений компетентных пользователей относительно структуры/полезности процесса разработки новых систем и их оценки для обеспечения доверия к решению о соответствии конструкции установленным требованиям.

В.4 Источники данных о качестве конструкции

При рассмотрении человеческого фактора важно удостовериться, что:

- конструкция удовлетворяет принятым эргономическим принципам;

- конструкция обеспечивает поддержку выполнения работы оператором;

- конструкция обеспечивает поддержку надежности работы оператора;

- конструкция обладает устойчивостью к изменениям и обновлениям.

Верификация и валидация влияния на конструкцию человеческого фактора является только одним из источников обеспечения уверенности в том, что конструкция является удовлетворительной. Существуют несколько источников доказательства адекватности конструкции с учетом человеческого фактора (см. таблицу В.1).

Дальнейшая уверенность в эффективности конструкции может быть подтверждена положительными результатами реализации детализированной программы испытаний реального оборудования и его успешной работы. Записи о функционировании аналогичных конструкций могут быть источником информации для валидации на ранних стадиях проектирования или модернизации.

Таблица В.1 - Виды информации для оценки адекватности влияния человеческого фактора

Тип подтверждающих данных	Минимальное подтверждение	Лучшее подтверждение
Планирование влияния человеческого фактора	Группа по обеспечению эргономики конструкции, план и методы проведения работы	Компетентная группа по обеспечению эргономичности конструкции, обладающая всеми необходимыми навыками и ресурсами, использующая установленный план и методы работы, предусмотренные программой по эргономике
Работа по анализу конструкции	Анализ требований к функциям, анализ производственного задания, синтез производственного задания, оценка альтернативных технологий	Результаты изучения соответствующих эргономических факторов; результаты анализа, направленного на обеспечение точности и полноты входных данных для рабочих процессов, и определения критериев процесса оценки конструкции
Данные о конструкции	Описание конструкции и требований к ней	При проектировании использованы проверенные технологии, учитывающие характеристики оператора и требования производственного задания, а также требования применимых стандартов и руководящих указаний по эргономике
Верификация и валидация конструкции	Соответствие требований эргономики требованиям к конструкции, работа интегрированной системы в реальных и смоделированных условиях	Проведена оценка конструкции по программе испытаний при верификации и валидации при проектировании
Использование обратной связи, поступающей от других систем	Простой сбор данных об опыте работы предыдущих конструкций или систем	Выполнение всестороннего анализа опыта работы систем

В.5 Определение сроков проведения верификации и валидации конструкции

Практически отсутствуют рекомендации относительно того, когда при проектировании лучше всего может быть проведена верификация и валидация. Исторически сложилась тенденция проведения верификации и валидации в конце процесса проектирования, после завершения разработки конструкции. Позднее сложилось общее мнение экспертов, что проведение верификации и валидации должно быть итеративным процессом и более интегрированным в процесс проектирования, однако точные указания относительно времени и частоты проведения верификации и валидации обычно отсутствуют.

Предлагается на ранних этапах проектирования использовать испытательные стенды с более низкой точностью для учета влияния человеческого фактора и анализа работы человека с системой для того, чтобы изменения могли быть произведены с минимальным влиянием на все типы взаимодействий «человек - система». Предлагается также использовать различные виды технологий моделирования и имитации отдельных и частично интегрированных наборов компонентов-прототипов. Также может быть использовано моделирование динамики отдельных частей процесса. Такое моделирование должно быть проведено как можно раньше, как только оно становится осуществимым.

Приложение С
(справочное)

Методы оценки, используемые при верификации и валидации

С.1 Применяемые методы

В зависимости от области применения центра управления могут быть использованы различные методы оценки воздействия человеческого фактора. Применение какого-то одного метода обычно не может полностью решить задачу оценки. Это приводит к необходимости использования комбинации нескольких методов.

Некоторые часто используемые методы кратко описаны в настоящем приложении (для получения дополнительной информации см. [10]). Настоящее приложение содержит несколько примеров методов оценки, но не приводит их полный список. Описанные ниже методы оценки разделены на пять категорий в соответствии со способом использования метода:

- методы карандаша и бумаги (см. С.2);

- методы наблюдений (см. С.3);

- методы экспертных оценок (см. С.4);

- экспериментальные методы (см. С.5);

- методы физических измерений (см. С.6).

С.2 Методы карандаша и бумаги

При использовании методов карандаша и бумаги не требуется наблюдений за реальным выполнением работ. Для большинства из этих методов обычно не требуются специальные аппаратные средства/программное обеспечение, а результат может быть простым решением (принять/отклонить) или ранжированием.

С.2.1 Проверочный лист (опросник) по эргономике

Этот достаточно общий метод состоит в использовании проверочного листа для верификации того, что конструкция соответствует определенным эргономическим критериям. Опросник является наилучшим методом оценки совместимости. Данный метод часто используют в процессе разработки конструкции, но он может быть применим и для подтверждения соответствия.

Данный метод удобен в применении и имеет высокую достоверность. Он очень чувствителен к тем характеристикам системы, которые имеют легко измеряемые параметры, такие как высота и цвет. Затраты на использование метода проверочного листа небольшие, а полученные выводы, как правило, категоричны.

С.2.2 Исторический анализ

Данный метод включает в себя исследование архивных записей, относящихся к функционированию систем, идентичных исследуемой или близких к ней аналогичных систем. В прикладных областях данный метод обычно предполагает использование отчетов о важных событиях или аварийных ситуациях, отключениях механизмов, данных журналов учета работы системы, опросов операторов и т.д.

Исторический анализ особенно удобен для оценки проблем, связанных с результативностью системы в реальных условиях, когда производительность системы может быть оценена в процессе ее функционирования. Достоверность оценки высока, однако обоснованность прогноза зависит от имеющихся данных и степени близости между условиями применения системы в прошлом и исследуемой системой. Выводы, сделанные на основе данного метода, обычно носят качественный характер.

С.2.3 Анализ производственного задания

Анализ производственного задания относится к любому процессу и предусматривает идентификацию и исследование производственных заданий, которые должны быть выполнены пользователем при его взаимодействии с оцениваемой системой. Анализ производственного задания часто рассматривают как один из основных инструментов проектирования системы, но такой анализ может быть использован также для ее оценки. Однако необходимо тщательно исследовать пригодность использования метода анализа производственного задания как средства оценки, если этот метод применяется при проектировании.

Анализ производственного задания следует проводить в начале процесса проектирования для исследования аспектов совместимости и понятности. Метод может потребовать больших временных затрат, если для достоверных выводов необходима достаточная детализация. Применение метода требует большого количества человеческих ресурсов и финансовых затрат в диапазоне от умеренных до очень значительных. Результаты анализа производственного задания обычно используют как основу для дальнейшего анализа.

Он чувствителен ко всем аспектам проектирования, за исключением аспектов межличностных взаимодействий в группе пользователей и временных зависимостей. Анализ производственного задания дает возможность идентификации проблем взаимодействия «человек - система», а его результаты представляют собой комбинацию качественных и количественных оценок.

С.2.4 Применение древовидной логической схемы

Методы вероятностной оценки риска (PRA)¹⁾ и оценки влияния на надежность человека (HRA²⁾) используют схему дерева событий. Методы применяют прежде всего для оценки частоты появления ошибок человека и, в особенности, для идентификации доминирующих или наиболее вероятных сценариев развития событий в случае возникновения аварий и опасных ситуаций.

¹⁾ PRA - Probabilistic risk assessment.

²⁾ НРА- Human reliability assessment.

Данные методы применяют для оценки результативности существующих или планируемых систем. Методы являются весьма полезными на этапе проектирования, если требуется спрогнозировать влияние новой или модернизированной системы на безопасность. Методы обладают умеренной достоверностью.

С.3 Методы наблюдений

Метод наблюдений используют в ситуациях, когда эксперты оценивают выполнение оператором работы с исследуемой системой. Одним из главных рассматриваемых факторов являются параметры работы системы, при которых производится наблюдение. Эти параметры оказывают влияние на стоимость и легкость применения метода. Возможно использование трех базовых установок (системных конфигураций):

- применение макетов;

- использование полнофункциональных моделей;

- реальные условия работы системы.

С.3.1 Метод сквозного маршрута

Наиболее широко используемым методом наблюдения является метод «все обойти/все описать». Метод предполагает тестирование потенциальных пользователей в соответствии с принципом «посмотреть и выразить мнение» (т. е. физический осмотр системы и устное описание) относительно одного или нескольких производственных заданий, которые должны быть выполнены при работе системы. Сквозной контроль/описание используют при проектировании при наличии системы-прототипа.

Достоверность метода очень высока и зависит от степени соответствия условий проведения испытаний реальным условиям работы. Затратность этого метода зависит от условий, в которых его применяют. Метод позволяет делать качественные выводы.

С.3.2 Анализ временного графика

Метод анализа временного графика очень похож на метод сквозного маршрута, но он используется при определении времени, необходимого для выполнения производственного задания с применением исследуемой системы с учетом их взаимозависимости. Анализ временного графика может быть проведен в любых условиях, указанных ранее (макет, полнофункциональная модель, реальные условия). Требования к сбору данных в этом случае являются более строгими, поскольку каждое действие должно быть ограничено по времени для обеспечения необходимой точности. Метод может быть использован или при отработке конструкции, или в условиях функционирования системы.

Анализ временного графика является методом ресурсоемким и дорогим. Он обладает высокой достоверностью, достоверность прогноза в этом случае также высока. Выводы являются количественными, а точность определяется точностью используемых измерений. Ценность метода определяется тем, что с его помощью можно идентифицировать такие ситуации, когда оператор должен выполнить два или более действий одновременно. Он достаточно трудоемок в применении из-за необходимости обеспечения точности исходных данных.

С.3.3 Автоматизированное прослеживание функционирования

Метод объединяет некоторые свойства методов анализа временного графика и сквозного маршрута. Метод автоматизированного прослеживания функционирования предусматривает, моделирование части производственного задания или его полномасштабное моделирование, позволяющее собрать данные о функционировании при участии пользователей, взаимодействующих с системой в условиях испытаний. Автоматизированная система слежения за функционированием производит запись всех операций управления, манипуляций, переключений с фиксированием времени. Слабость метода состоит в необходимости обработки большого количества сделанных записей, которые должны быть проанализированы, чтобы выявить всю значимую для оценки информацию. Метод может быть использован только в условиях работы аппаратных средств. Его достоверность высока, и он является неинтрузивным/неинвазивным методом (не меняющим основной режим работы при применении).

Достоверность метода автоматизированного прослеживания функционирования обычно высока и также зависит от близости среды тестирования и реальных условий выполнения производственного задания. Этот метод является самым дорогим из-за высоких требований к системе, обеспечивающей испытания.

С.4 Методы экспертных оценок

Методы экспертных оценок включают получение в процессе экспертизы мнений (оценок) экспертов об оцениваемой системе. Все описанные ниже методы направлены на повышение объективности и точности экспертных оценок.

С.4.1 МетодДельфи

Метод Дельфи является процедурой проведения экспертизы с целью достижения согласованности мнений экспертов. Эту процедуру используют для оценки адекватности среды интерфейса «человек - система». Метод предполагает использование оценочных шкал, которые включают в себя совокупности значений отдельных характеристик, относящихся к функционированию системы (вероятность ошибки, четкость отображаемой дисплеем информации, понятность и т.д.). Метод основан на процедуре анкетирования (анкетные опросы), когда анкеты заполняются каждым экспертом независимо от других экспертов. Аналитик собирает и сравнивает ответы, затем проводят второй этап анкетирования, который позволяет уточнить мнения, полученные ранее (без идентификации опрашиваемых лиц). Этот процесс повторяют до тех пор, пока не будет достигнуто согласованное мнение.

Метод полезен для применения при проектировании в отсутствие оборудования. Полученные выводы являются качественными и неточными, однако этот метод позволяет быстро выявить вероятные экстремальные значения функциональных характеристик. Прогнозируемая достоверность метода невысока, но она в большой степени зависит от уровня компетентности привлекаемых экспертов. Это утверждение также справедливо для достоверности метода. Метод является низкозатратным.

С.4.2 Метод номинальной группы¹⁾

¹⁾ Метод группового принятия решения, предполагающий письменное изложение идей и их последующее обсуждение в небольшой группе (5-9 человек).

Метод похож на метод Дельфи тем, что группа экспертов оценивает среду интерфейса «человек - система» в соответствии с оценочными шкалами, включающими одну или более конструктивных характеристик системы.

Главное отличие между этим методом и методом Дельфи заключается в том, что данный метод направлен на установление согласованности мнений экспертов при непосредственном обсуждении в группе. При применении метода должны быть предприняты специальные организационные меры для обеспечения такой согласованности мнений. В других отношениях характерные особенности этой методики и метода Дельфи очень похожи.

С.4.3 Парные сравнения

Существует несколько вариантов метода парных сравнений, однако основу всех методов составляет процедура, когда каждому эксперту предоставляют пару каких-либо объектов для сравнения и задают вопрос, какой из этих двух объектов превосходит другой по указанной характеристике (больше по размеру, яркости и т.д.). Эту процедуру повторяют для всех возможных пар оцениваемых объектов. Затем мнения сортируют и сравнивают для определения шкалы экспертных оценок и ее диапазона. Метод парных сравнений ограничен получением относительно неточных качественных данных. Результат применения метода более достоверен по сравнению с методом Дельфи и методом номинальной группы, но метод парных сравнений является более дорогим.

С.4.4 Оценка в виде отношения

При применении метода оценки в виде отношения эксперты не высказывают своего мнения в виде абсолютных числовых оценок и не сравнивают два объекта с использованием сравнительной шкалы. Эксперты оценивают, является ли один объект, например, вдвое меньше или вдвое больше по сравнению с одним из элементов набора, который представлен как стандартный. В соответствии с инструкциями от экспертов требуют, чтобы они дали заключение относительно этого коэффициента. Данные, собранные методом оценки в виде отношения, являются в большей степени количественными по сравнению с другими методами экспертных оценок, однако недостатки метода совпадают с недостатками других экспертных методов.

С.5 Экспериментальные методы

Все экспериментальные методы могут быть использованы для оценки статистически значимых различий среды взаимодействия «человек - система» для нескольких вариантов конструкций при использовании макетов или полнофункционального моделирования в лаборатории. Методы могут быть использованы для валидации среды «человек-система» при наличии единственной системы. Методы включают в себя такие приемы, как анкетирование и интервьюирование.

Отличительным признаком экспериментального метода является требование осуществления строгого контроля всех источников функциональных отклонений/ несоответствий. Для выполнения этого требования необходимо привлечение довольно больших и хорошо сбалансированных групп потенциальных пользователей, применение хорошо контролируемых исходных установок и сложных методов регистрации данных. Данные методы преимущественно применяют при проектировании. Они требуют тщательного планирования, являются трудоемкими и очень дорогими. Достоверность методов обычно низка вследствие влияния посторонних источников функциональных отклонений, сложности производственного задания и трудностей обеспечения соответствия условий испытаний реальной ситуации. Методы обладают хорошей чувствительностью. Их результат является количественным, но обычно категорическим.

С.6 Методы физических измерений

В месте расположения центра управления при наличии соответствующих условий могут быть проведены физические измерения его основных характеристик, включая:

- местоположение и размеры помещения, в котором расположен центр управления;

- размеры рабочей станции и занимаемое пространство;

- тепловой режим;

- качество воздуха;

- освещенность;

- акустические характеристики;

- уровень вибрации.

Результаты проведенных измерений следует сравнить с экологическими нормами и требованиями к конструкции системы.

Приложение ДА
(справочное)

Сведения о соответствии ссылочных международных стандартов
ссылочным национальным стандартам Российской Федерации

Таблица ДА.1

Обозначение ссылочного международного стандарта	Степень соответствия	Обозначение и наименование соответствующего национального стандарта
ИСО 11064-1:2000	-	*
ИСО 13407:1999	-	*
* Соответствующий национальный стандарт отсутствует. До его утверждения рекомендуется использовать перевод на русский язык данного международного стандарта. Перевод данного международного стандарта находится в Федеральном информационном фонде технических регламентов и стандартов.

Библиография

[1]	ISO 9000, Quality management systems - Fundamentals and vocabulary1)
1) Стандарт ИСО 9000:2005 соответствует ГОСТ Р ИСО 9000-2008.
[2]	ISO 9241-11, Ergonomic requirements for office work with visual display terminals (VDTs), Part 11: Guidance on usability2)
2) Стандарт ИСО 9241-11:1998 соответствует ГОСТ Р ИСО 9241-11-2010.
[3]	ANSI/AIAA G-035-1992, Human Performance Measurement, Washington D.C., 1993
[4]	ENDSLEY, M.R. (1988). Design and Evaluation for Situation Awareness Enhancement. In Proceedings of the Human Factors Society 32nd Annual Meeting (pp. 97-101). Santa Monica, CA, Human Factors and Ergonomics Society
[5]	FINK, A., Ed., (1995). How to measure survey reliability and validity, v. 7. Thousand Oaks, CA, Sage
[6]	Handbook of Human Factors and Ergonomics, (1997). Second Edition, G. Salvendy, Ed., John Wiley & Sons, Inc., New York, NY
[7]	Handbook of Human Factors Testing and Evaluation, (1996). T.G. O'Brien and S.G. Charlton, Ed., Lawrence Erlbaum Ass. Publishers, Mahwah, New Jersey
[8]	IEC 60964, Design for control rooms of nuclear power plants
[9]	IEC 61771, Nuclear power plants - Main control-room - Verification and validation of design
[10]	IEEE Standard 845, Guide to Evaluation of Human-System Performance in Nuclear Power Generating Stations
[11]	IEEE Standard 1023, Guide for the Application of Human Factors Engineering to Systems, Equipment, and Facilities of Nuclear Power Generating Stations
[12]	Interim DEFSTAN 00-25 (Part 4, Part 12)/lssue 1, Ministry of Defence, UK, 1989, Human Factors for Designers of Equipment. Part 4: Work Place Design. Glasgow: Ministry of Defence, Directorate of Standardization
[13]	NUREG/CR-6393, 1996, Integrated System Validation: Methodology and Review Criteria. Washington: U.S. Nuclear Regulatory Commission Office of Nuclear Regulatory Research. Authors O'HARA, J., STUBLER, W., HIGGINS, J., BROWN, W.
[14]	NUREG-0700, Rev. 2, 2002, Human System Interface Design Review Guidelines. Washington DC: U.S. Nuclear Regulatory Commission, Office of Nuclear Regulatory Research
[15]	NUREG-0711, Rev. 1, 2004, Human Factors Engineering Program Review Model. Washington DC: U.S. Nuclear Regulatory Commission, Office of Nuclear Regulatory Research
[16]	O'DONNEL, R.D. and EGGEMEIER, FT. (1986). Workload assessment methodology. In K.R. Boff et al Eds., Handbook of Perception and Human Performance, Volume II. Cognitive Processes and Performance. John Wiley, Chapter 42, New York