시험요인은 총 15수준으로, 가방 종류 5수준, 폭발물 종류 5수준, 가방 방향 2수준, 폭발물 위치 3수준을 설정한다. 가방과 폭발물의 외형 및 무게, 가방의 지퍼를 여닫는 방법 등이 시험 중 작업자가 사용하는 힘의 크기를 크게 달라지게 하므로 가방과 폭발물의 종류는 최대한 모양과 재질이 다른 것으로 선택한다.

시험에 사용한 가방 종류는 총 5수준으로 캐리어, 백팩, 보스턴백, 핸드백, 크로스백이 있고, 각 가방의 무게 단위는 파운드(lb)로, Table 1에 표현하였다. 폭발물의 종류는 총 5수준이고, 모양과 크기, 재질, 무게가 상이하며 Table 2에 표현하였다. 무게의 단위는 가방과 같은 파운드(lb)이다. Table 3은 가방 방향 요인의 설명이다. Normal, Upside-down 2수준으로 나누어지고, 가방을 똑바로 놓았을 경우 Normal, 위아래 거꾸로 뒤집어 놓은 경우를 Upside-down이라고 정의한다. 폭발물 위치는 폭발물을 가방 안에 어떤 방법으로 숨기느냐에 따라 Normal, Hidden, Concealed 3수준으로 나누어진다. 폭발물의 위치가 Hidden과 Concealed일 때 Table 4와 같이 가방 안에 폭발물과 함께 들어가는 물건들의 종류가 상이하므로 추가되는 무게가 다르게 발생한다. 폭발물 위치 Hidden은 특정 종류가 아닌 여러 가지 물건들을 폭발물과 함께 가방 안에 숨기는 방법이다. 반면 폭발물 위치 Concealed는 폭발물탐지장비가 폭발물을 인식하지 못하게 하려고 전자기기인 노트북 사이에 폭발물을 끼워 넣고 가방 안에 숨기는 방법이다. 폭발물 위치에 따라 추가되는 물품들의 무게는 Hidden일 때 5.964 lb, Concealed일 때 3.781 lb이다.

요인별 가중치를 도출하기 위해서 AHP를 활용하여 요인별로 쌍대비교를 한다. 이를 위해 요인들을 비교하는 기준 수립이 요구되며, 수립된 기준은 총 4개로 시험 도중 작업자의 힘이 많이 요구되는 요인에 더 큰 가중치를 부여할 수 있도록 설계하였다. 기준 1은 가방 내에 폭발물 삽입의 어려움으로, 가방 내에 폭발물을 넣을 때 전체적으로 힘이 많이 들거나 신경을 써야 하는 부분이 많은 요인에 가중치를 부여한다. 기준 2는 가방 내에 폭발물 삽입 시 폭발물의 손상 가능성으로, 폭발물의 재질이 무르거나, 가방이 단단하지 않아 폭발물의 손상 가능성이 큰 경우 가중치를 부여한다. 기준 3은 시험 준비 완료된 가방을 컨베이어 벨트로 이동 시 힘듦 정도로, 가방 방향 또는 종류에 따라 가방을 이동하기 힘든 경우 가중치를 부여한다. 기준 4는 가방 내에 폭발물 삽입 시 신체 사용의 불균등한 정도로, 손목 사용 정도나 손동작이 다른 요인에 비해 더 많이 필요한 경우 가중치를 부여한다.

AHP 모형 수립을 하기 위해 1차 평가인 수행도 평가를 진행한다. 수행도 평가를 이용하는 작업자는 다음 2개의 기준으로 판단한다. 첫째, 수행되는 작업에 대한 경험이 있어야 한다. 작업자는 사용되는 작업방법의 세부내용을 완전히 이해하기 위해 작업에 익숙해 있어야 한다. 실제 작업에 경험이 있는 사람을 작업자로 설정하는 것이 많은 도움이 되리라 판단되지만, 반드시 지켜야 하는 해당 사항은 아니다. 본 연구에서는 작업자 3명 모두 미리 작업방법에 대해 충분히 인지하였지만, 작업 경험이 있는 것은 아니었다.

둘째, 3회 이상의 독립된 연구의 평균 또는 3명 이상의 작업자 평균을 이용해야 한다. 이러한 표본은 동일 작업자로부터 시간을 달리하여 얻거나, 각기 다른 작업자로부터 얻을 수 있다. 중요한 점은 표본의 수가 증가함에 따라 오차가 줄어든다는 것이다. 본 연구에서는 3명의 작업자가 시험을 수행하였으며, 미리 설정한 시험순서대로 실제 시험을 진행하면서 각 시험의 관측시간과 총 무게를 측정한다. 사전에 설정한 시험순서는 50번의 시험 중 중복되는 것이 없고, 4가지의 요인들이 최대한 균일한 빈도로 설정될 수 있도록 하였다. 시험순서에 따른 시험요인 설정은 Table 6에 정리하였다.

요인별 가중치를 도출하기 위해 실제로 시험을 수행한 후, 난이도에 영향을 끼치는 기준 4가지를 활용하여 가중치를 도출한다. AHP의 쌍대비교를 통해 가중치를 부여할 때 난이도 수치 즉, 점수가 갖는 의미는 Table 7과 같다.

먼저, 난이도 기준 4가지 중 어느 기준이 더 중요하다고 판단되는지 쌍대비교를 통해 기준의 가중치를 얻는다. Table 8을 참고하여 기준 1과 기준 2를 비교했을 때, 기준 1이 더 중요하다면 1행 2열에 정수의 수치를 입력하고, 2행 1열에는 1행 2열에 입력한 정수의 역수를 입력한다. 반대로 기준 2가 더 중요하다면 2행 1열에 정수의 수치를 입력하고, 1행 2열에 그의 역수를 입력한다. 쌍대비교행렬은 주 대각선에 있는 값이 모두 1이 되는 성질을 가지므로 1행 1열 및 2행 2열은 1의 값을 갖는다. 한 명의 작업자가 난이도 수치를 입력한 결과를 Table 8에 표현하였고, 각 값을 해당 열의 합으로 나누어서 표준행렬 Table 9를 만든다. Table 9의 같은 행의 평균값을 해당 행에 있는 기준의 가중치로 설정하여 가장 오른쪽 열에 입력한다.

Saaty(1980)는 일관성 검정을 통해 행렬의 불일치성의 정도를 측정하며 이를 행렬의 크기에 따라 정규화하여 일관성지수(CI: Consistency Index)를 얻을 수 있다고 하였다. 일관성지수를 얻기 위해 먼저 쌍대비교행렬의 각 값과 해당 기준의 가중치를 행렬 곱셈하여 Table 10의 2열인 가중치 곱(Weighted Product)을 구한다. 다음으로, 가중치 곱의 값을 해당 기준의 가중치로 나누어 일관성측도(CM: Consistency Measure)를 구한다. 일관성지수는 Table 10의 4열에 있는 값 0.153으로, 구하는 식은 (CM 평균값- n)/(n - 1)이다. n은 행렬의 크기이며, 본 논문에서 n의 값은 4다.

마지막으로, CI를 무작위지수(RI: Random Index)로 나누어 일관성비율(CR)을 도출한다. RI란 1에서 9까지의 정수들을 무작위로 추출한 후 역수 행렬을 작성하여 CI를 구한 것으로 Table 11에 표현하였다. CR 값이 0.1 이하일 경우 일관성이 높고, 0.1~0.2 사이일 경우 자료로 사용되는 것이 용납되는 수준으로 판단한다. 본 논문에서 사용한 모든 쌍대비교행렬의 CR 값은 0.2 이하로 용납할 수 있는 수준의 일관성을 가졌다고 판단하여 연구에 사용되었다.

이처럼 일관성비율을 도출하는 과정을 3명 모두 진행한 후, 집단의사결정을 위한 의견취합 과정을 수행한다. 가중치를 산정하는 의사결정을 위한 집단의 의견취합 방법은 작업자 개별 가중치 도출 과정을 통해 얻은 개별적인 가중치를 취합하는 방식이다. 가중치 산정과 같은 개인의 의견을 취합하여 집단의 의견으로 도출하는 방식은 어떻게 취합하느냐에 따라 결과가 바뀔 수 있으므로 신중히 선택해야 한다. 본 연구에서는 개인별 쌍대비교행렬의 기하평균법(GMM: Geometric Mean Method)을 사용하여 집단의 쌍대비교행렬을 구성한 후 집단의 우선순위를 산정하는 방법인 AIJ(Aggregate Individual Judgments) 방식을 활용하였다.

AIJ 방식을 사용할 때, 기준 1과 기준 2에 대해 쌍대비교를 수행한 3명의 작업자의 응답 값이 각각 (1/4, 1/3, 1/4)이라면 1/4×1/3×1/43의 값이 기준 1과 기준 2에 대한 집단의 쌍대비교 값이 된다. 이 방식으로 도출한 집단 전체의 기준별 가중치는 Table 12에 나타냈으며, 각 행의 평균값을 각 기준에 해당하는 가중치로 설정하였다. 각 기준의 가중치 값은 0.547, 0.113, 0.191, 0.149인 것을 확인하였다. 기준별 가중치 값을 통해 작업자가 시험요인의 가중치를 부여할 때 기준 1, 기준 3, 기준 4, 기준 2 순서로 영향력이 크다는 것을 알 수 있다.

요인별 가중치를 도출할 시 기준별 가중치를 도출하는 방법을 똑같이 적용하면 Table 13과 같이 총 15수준의 요인별 가중치를 얻을 수 있다. 15수준의 요인을 쌍대비교하므로 ₁₅C₂인 105개의 값을 직접 얻어야 한다. 기준별 가중치를 도출할 때와의 차이점은 요인별 가중치를 얻는 과정의 마지막 단계에서 Table 13의 마지막 행에 삽입된 기준별 가중치와 각 요인의 기준별 가중치를 합산하여 최종적인 요인의 가중치를 얻어야 한다는 것이다. 최종 가중치는 해당하는 요인의 마지막 열에 작성하였다.

AHP를 통해 구한 가중치를 활용하여 1차 조정 작업시간을 도출한다. 3명의 작업자 모두 시험을 수행한 후 작업시간의 평균값을 도출한 것과 각 시험에 사용된 요인들의 가중치의 합을 Table 14에 나타냈다. (작업시간×(1+가중치 합))을 계산하여 각 시험의 조정된 작업시간을 도출하여 Table 14의 마지막 열에 작성하였다.

여러 가지 수행도평가 중, Mundel과 Danner의 객관적 평가를 활용하여 작업난이도를 평가한다. 각 시험의 정미 시간을 계산하기 위해 작업난이도 조정계수(%)를 설정해야 한다. 작업난이도 조정계수는 중량 기본 조정계수(%)와 사용 신체에 따른 조정계수(%)로 이루어져 있다. 먼저, 중량의 조정계수를 도출하기 위해 각 시험의 1차 조정 작업시간을 1차 조정 작업시간의 합으로 나누어 작업시간 비율인 R(%)을 계산한다. 이를 통해 얻은 R 값이 5% 이하면서 중량이 20 lb 미만이면 중량의 조정계수로 기본 조정계수만 더한다. 반면, R 값이 5% 초과면서 중량이 20 lb 이상일 경우에는 기본 조정계수에 추가로 더해줄 수치가 존재한다. 본 논문에서는 모든 시험의 R 값이 5% 이하며 중량이 20 lb 미만이므로 기본 조정계수만 더한다. 중량은 소수점 첫째 자리에서 반올림하고, 해당 시험의 중량에 맞는 중량 기본 조정계수는 Table 15와 같다.

다음은 사용 신체에 따른 조정계수를 도출하는 방법이다. Table 16을 참고하여 해당 시험에서 사용하는 신체 부위를 먼저 찾는다. 사용 신체 부위 E(몸통 등), 눈과 손의 조화 K(집중할 필요는 없으나 눈을 떼지는 말아야 한다), 취급상의 주의 O(적당히 조심만 하면 된다)가 본 시험에 사용된 신체 부위 3가지이다. 3가지의 사용 신체에 따른 조정계수는 각각 8%, 4%, 1%이므로 총합은 13%이다. 모든 시험의 기본적인 동작이 같으므로 사용 신체에 따른 조정계수는 시험 1~50번까지 모두 13%로 같다. 50개 시험의 중량 기본 조정계수와 사용 신체에 따른 조정계수를 합한 것이 작업난이도 조정계수가 된다. Table 17의 2열에 작성한 각 시험의 무게를 소수점 첫째 자리에서 반올림하여 3열의 중량 기본 조정계수를 설정하고, 중량 기본 조정계수와 사용 신체에 따른 조정계수 13%를 더한 작업난이도 조정계수를 4열에 표현하였다. 각 시험의 (1+작업난이도 조정계수)를 조정된 작업시간에 곱하여 정미시간을 도출할 수 있다.