측정도구 개발 (Scale Development and Validation)

언제 쓰나요?

기존 설문이 연구하려는 개념을 충분히 담지 못하거나, 다른 언어·대상·맥락에서 점수의 의미를 다시 확인해야 할 때 선택합니다.
문헌·기존 도구·대상자 면담으로 개념의 하위영역을 정의하고, 영역별로 여러 문항 후보를 만듭니다. 문항의 출처와 수정 이유를 기록합니다.
전문가와 실제 응답자의 검토로 내용과 표현을 다듬고, 예비조사에서 응답 분포·이해도·중복을 살핀 뒤 문항을 추립니다.
문항 구조는 탐색적 요인분석과 가능하면 독립 표본의 확인적 요인분석으로 검토합니다. 점수의 신뢰도와 내용·응답 과정·다른 변수와의 관계 등 타당도 근거를 모읍니다.
문항별 기능과 응답 범주의 작동을 더 자세히 볼 필요가 있으면 라쉬분석을 추가할 수 있습니다. 최종 결과는 문항·채점 방법·사용 가능한 대상과 해석 범위까지 제시합니다.

예를 들면

개념은 AI 협업역량이고, 후보 하위영역은 AI 결과 검토·업무 적용·동료와의 조율입니다.
선행연구와 실무자 면담에서 각 영역의 행동 표현을 모아 문항 후보를 만들고, 전문가 검토와 직원 인지면담으로 뜻이 겹치거나 모호한 문항을 고칩니다.
예비조사에서 응답이 한쪽으로 몰린 문항과 중복 문항을 살피고, 본조사에서 요인구조·신뢰도·디지털 리터러시와의 구별을 확인합니다.
5점 응답 범주가 실제로 구별되는지 또는 어떤 문항이 역량 수준에 맞지 않는지 궁금하면 라쉬 평정척도 모형 등을 적용해 문항 적합도·범주 기능·사람-문항 분포를 점검합니다.

선택할 때 확인할 점

신뢰도는 해당 표본에서 얻은 점수의 일관성에 대한 근거이고, 타당도는 그 점수를 의도한 의미로 해석해 사용해도 되는지에 대한 여러 근거입니다.
문항을 통계 수치 하나로 자동 삭제하지 마세요. 중요한 하위영역이 빠지면 점수가 개념을 충분히 대표하지 못할 수 있습니다.
라쉬분석은 척도마다 필수는 아닙니다. 문항별 응답 방식·측정 범위·집단 간 공정성을 점검하려는 목적과 모형 가정이 맞을 때 선택합니다.

측정도구 개발 (Scale Development and Validation)에서 처음 볼 용어를 확인하세요 (절차·분석·해석)

먼저 질문과 핵심 개념을 확인하고, 설계·절차에서 분석과 결과 해석으로 이어서 읽어 보세요. 이 방법의 주요 용어를 이해하고 연구문제에 맞는 선택을 돕는 학습 안내입니다. 아래 분석 순서와 점검표도 함께 확인하세요.

1. 질문과 핵심 개념

구성개념과 영역 정의: 측정하려는 추상 개념의 뜻과 포함·제외 범위를 이론·선행연구로 정합니다. 영역 정의가 모호하면 좋은 통계치가 나와도 문항이 개념을 빠뜨리거나 다른 것을 섞을 수 있습니다.
문항 청사진과 문항 풀: 개념의 하위영역과 각 영역을 대표할 문항 유형을 미리 정리한 표가 청사진입니다. 다양한 문항 후보를 만든 뒤 연구 목적·응답자·맥락에 맞춰 검토합니다.
문항 추출과 청사진: 문헌·기존 도구·대상자 면담에서 개념에 해당하는 행동이나 경험 표현을 모으고, 하위영역별로 어떤 내용의 문항이 필요한지 표로 정합니다. 출처와 채택·수정 이유를 기록해 내용이 빠지지 않게 합니다.
연역·귀납적 문항 생성: 연역적 생성은 이론·선행연구·기존 도구에서 개념의 내용을 문항으로 옮깁니다. 귀납적 생성은 대상자 면담·현장 기록에서 실제 표현과 행동을 찾아 문항을 만듭니다. 두 출처를 비교해 개념의 중요한 부분이 빠지지 않게 합니다.

2. 설계와 절차

내용타당도 검토: 전문가와 대상자 검토로 문항이 개념 영역을 적절하고 충분히 대표하는지 살핍니다. 전문가 합의 수치만으로 전체 타당성이 확정되는 것은 아닙니다.
인지면담과 예비조사: 응답자가 문항을 어떻게 이해하고 답을 고르는지 확인하고 표현·응답범주·절차 문제를 찾습니다. 통계 분석 전에도 문항이 의도한 의미로 읽히는지 확인해야 합니다.
문항 선별 기준: 전문가의 관련성·대표성 검토와 응답자 인지면담을 먼저 반영합니다. 예비조사에서는 결측, 응답 쏠림, 문항 중복, 수정된 문항-총점 관계 등을 함께 보되 숫자 한 가지로 자동 삭제하지 않습니다.
내용타당도 지수(CVI·CVR): 전문가가 문항의 관련성이나 필수성을 평가한 결과를 요약하는 지표입니다. 수치가 높아도 하위영역의 대표성, 전문가 선정, 응답자의 이해 가능성을 별도로 검토해야 합니다.

3. 분석과 결과

문항분석: 응답 분포, 결측·천장/바닥효과, 문항 간 관계와 문항 내용 중복을 함께 점검합니다. 숫자 기준만으로 핵심 영역 문항을 삭제하지 않습니다.
탐색적 요인분석(EFA): 자료의 상관 패턴에서 잠재 차원 수와 문항 구성을 탐색합니다. 요인 수 결정에는 이론·평행분석·해석 가능성을 함께 활용하고 회전·추정법을 보고합니다.
확인적 요인분석(CFA): 미리 정한 문항-요인 구조가 새 자료와 부합하는지 검토합니다. 같은 자료에서 EFA와 CFA를 모두 하면 확인 결과가 독립적으로 재현된 것으로 볼 수 없습니다.
신뢰도 계수(α·ω): 문항 점수의 일관성에 관한 근거입니다. α 또는 ω 하나가 높다고 단일차원성·타당성·시간 안정성이 모두 입증된 것은 아니며 적용 가정을 밝혀야 합니다.
수렴·판별·준거 관련 근거: 관련 개념과의 관계, 구별되어야 할 개념과의 차이, 외부 기준과의 연관 등 여러 근거를 예상 방향과 함께 평가합니다. 타당도는 도구에 붙는 단일 합격 도장이 아닙니다.
측정동일성: 집단·시점별로 문항이 같은 개념을 비슷한 방식으로 측정하는지 검토합니다. 비교 목적에 맞는 수준의 동일성이 확보되지 않으면 점수 차이 해석에 제한이 생깁니다.
라쉬분석(Rasch 분석): 사람의 특성 수준과 문항의 응답하기 어려운 정도를 같은 척도에서 다루는 문항반응모형입니다. 문항별 기능과 측정 범위를 알고 싶을 때 사용하며, 이분형과 다범주 문항에 맞는 모형을 구별합니다.
문항 적합도와 사람-문항 지도: infit/outfit은 응답이 라쉬모형의 예상에서 얼마나 벗어나는지 보여 줍니다. 사람-문항 지도는 어떤 수준의 응답자에게 문항이 모자라거나 몰려 있는지 시각적으로 확인하게 합니다.
응답 범주와 문턱값: 5점 척도에서 각 범주가 구별되어 사용되고 문턱값이 순서대로 나타나는지 살핍니다. 범주가 제대로 작동하지 않으면 문구나 범주 수를 다시 검토할 수 있습니다.
수정된 문항-총점 상관: 한 문항과 그 문항을 제외한 나머지 점수의 관계입니다. 낮게 나오면 역채점 오류·문항의 다른 의미·중요한 별도 하위영역 여부를 살펴보고, 낮은 수치만으로 자동 삭제하지 않습니다.
재검사 신뢰도: 안정적이어야 하는 특성을 일정 간격을 두고 다시 측정했을 때 점수가 얼마나 일관되는지 살핍니다. 실제로 빠르게 변하는 상태를 측정할 때에는 낮은 일치도가 곧 문항의 결함을 뜻하지 않을 수 있습니다.
라쉬 평정척도 모형과 부분점수 모형: 둘 다 여러 순서형 응답범주를 다루는 라쉬모형입니다. 평정척도 모형은 문항들이 같은 범주 단계 구조를 공유한다고 가정하고, 부분점수 모형은 문항마다 다른 단계 구조를 허용합니다. 응답 형식과 가정을 보고 선택합니다.

4. 해석과 보고

교차검증과 재현: 개발에 쓴 표본과 다른 표본에서 요인 구조와 신뢰도·타당도 근거가 재현되는지 확인합니다. 표본 특성과 언어·조직 맥락을 바꾸어 적용할 때 추가 검증이 필요합니다.
점수 해석과 사용 범위: 총점·하위척도 점수가 뜻하는 바, 사용 대상과 목적, 해석하지 말아야 할 범위를 설명합니다. 측정도구의 근거를 넘어 개인 진단이나 선발 결정을 정당화하지 않습니다.
차별적 문항 기능(DIF): 같은 특성 수준의 사람이라도 집단에 따라 특정 문항에 답할 확률이 다른지 확인합니다. DIF는 문항을 더 살펴볼 신호이며 발견만으로 문항의 편향 원인이 확정되는 것은 아닙니다.

이 용어를 각 방법의 연구 맥락에서 더 확인하려면 해당 방법론 논문을 보세요: 추천논문 1 · 추천논문 2.

01 · 목적

언제, 어떤 목적으로 선택하나요?

연구할 개념은 있지만 기존 설문으로 그 의미를 충분히 담기 어렵다면 측정도구개발을 검토합니다. 무엇을 측정할지 정의하고, 문항과 점수를 믿고 해석할 수 있는 근거를 만드는 것이 연구의 중심입니다.

이 방법으로 답하는 연구 목적

측정할 개념과 사용 목적을 먼저 정하고, 기존 도구가 놓치는 내용을 찾습니다. 그다음 문항 생성과 선별, 점수 해석에 필요한 근거를 모읍니다. AI 협업역량처럼 새 개념의 척도를 만들거나 기존 도구를 새 집단에 쓰기 전에 검토할 때 씁니다. 라쉬분석은 문항 수준의 질문이 있을 때 선택해서 추가합니다.

대표 연구 질문

연구하려는 개념을 설문 문항으로 어떻게 측정할 수 있는가?

필요한 변수·자료의 형태

측정하려는 구성개념과 하위영역을 먼저 정의하고, 각 응답자×문항의 원자료를 준비합니다. 문항 청사진·출처·수정 이력과 전문가·인지면담 의견도 기록합니다.
응답은 보통 리커트 순서형입니다. 요인분석·신뢰도·라쉬분석의 목적에 맞는 표본과 추정법을 계획하고 가능하면 탐색 표본과 독립 확인 표본을 구분합니다.
기존 도구를 번안·새 집단에 적용한다면 원척도, 번역·문화 적응 절차, 대상자 특성, 비교할 관련 척도와 준거를 함께 확보합니다.

분석에서는 무엇을 하나요?

문헌·이론·대상자 면담에서 문항 후보를 만들고, 청사진으로 개념 영역의 누락을 살핍니다. 전문가 평정과 인지면담에서 관련성·대표성·이해도를 점검하고 예비조사로 표현과 응답범주를 다듬습니다.
문항별 결측·응답 쏠림·중복·수정 문항-총점 관계를 확인한 뒤 EFA로 차원과 문항 구성을 탐색하고 별도 표본 CFA로 구조를 확인합니다. 순서형 자료의 상관·추정법을 밝힙니다.
하위척도별 α·ω와 재검사 신뢰도 등 목적에 맞는 신뢰도를 보고하고, 내용·응답 과정·내적 구조·다른 변수와의 관계에서 타당도 근거를 모읍니다. 문항 수준 작동이 질문이면 적합한 라쉬모형과 DIF 분석을 더합니다.

결과를 어떻게 해석하나요?

최종 문항·하위척도·채점법, 문항별 유지·수정·삭제 이유와 문항 출처를 제시하고 신뢰도 계수·불확실성 및 여러 타당도 근거를 연결합니다.
라쉬분석을 했다면 문항 적합도, 응답범주 문턱값, 사람-문항 지도, 문항·사람 분리도와 DIF를 보고합니다. 이상 신호 하나만으로 문항을 자동 삭제하지 않습니다.
점수를 사용할 대상·목적·맥락과 확인된 한계를 밝힙니다. 높은 α·ω, CFA 적합도 또는 라쉬모형 적합 중 하나만으로 척도의 타당성을 선언하지 않습니다.

이런 상황이면 이 분석을 고려하세요

1. 개념을 제대로 측정하는 문제

AI 협업역량처럼 개념의 의미와 하위영역을 명확히 하고, 이를 실제 응답으로 측정할 도구를 만드는 것 자체가 연구의 기여인 경우입니다.

2. 기존 척도의 한계를 설명

새 맥락에 적용하거나 새 이름을 붙인 것만으로 새 척도가 필요한 것은 아닙니다. 기존 도구가 놓치는 내용·문화적 맥락·해석상의 문제를 구체적으로 제시해야 합니다.

3. 내용 검토와 양적 검증을 연결

문헌·현장 자료로 문항을 만들고 전문가 검토·인지면담·예비조사에서 문항을 추립니다. 별도 표본으로 구조를 확인하고, 문항별 기능이 연구질문이면 라쉬분석을 추가할 수 있습니다.

4. 문항과 점수 해석의 근거 제시

개념 정의·개발 과정·요인구조·신뢰도·관련 개념 및 준거와의 관계·사용 범위를 제시합니다. 점수를 의도한 의미로 해석할 수 있는 근거를 축적하는 목적에 맞습니다.

어떤 질문이면 다른 방법을 비교해야 하나요?

구조방정식모형 (Structural Equation Modeling, SEM): 이미 측정 근거가 갖춰진 개념들 사이의 구조경로를 검증하는 것이 핵심이면 SEM을 검토합니다. 새로운 도구 개발이 자동으로 필요한 것은 아닙니다.
현상학 연구 분석: 새 문항을 만들기 전에 당사자의 체험 의미 자체를 깊이 이해하는 것이 주목적이라면 현상학 등 질적 접근의 질문과 비교해 보세요.

선택 기준의 방법론 근거: 추천 논문 1 · 추천 논문 2. 아래 자료·해석 범위까지 확인해 최종 방법을 정하세요.

02 · 자료와 분석 구조

어떤 자료와 변수로, 어떤 구조를 분석하나요?

새 측정도구의 문항 풀을 만들고 문항 분석·요인분석·신뢰도·타당도 검증을 거쳐 ‘어떤 문항이 어떤 하위영역을 재는가’를 확정하는 구조입니다. 탐색(EFA)과 확인(CFA)은 서로 다른 표본에서 하는 것이 좋습니다.

분석 구조 한눈에 보기

개념 정의 → 문항 풀 → 전문가 검토(CVI) → 예비조사
→ 문항분석·EFA(구조 탐색) → CFA(구조 확인, 새 표본)
→ 신뢰도(α, ω) → 타당도(수렴·판별·준거) → 최종 도구

식으로 보면

문항 = 부하량 × 요인 + 오차
α = (k/(k−1)) × (1 − Σ문항분산/총점분산)

필요한 변수와 역할

역할	무엇인가요	예시	형태
문항(항목)	응답자가 답하는 개별 질문	ps1~ps12	5점·7점 리커트(순서형)
하위영역(요인)	문항들이 함께 재는 개념의 한 측면	정서·인지·행동	문항 묶음
준거 변수	타당도 검증에 쓰는 관련 척도	직무만족, 소진	연속형 점수
표본 구분	EFA용과 CFA용을 나누는 표시	sample(1=EFA, 2=CFA)	범주(1/2)

분석용 자료 파일은 이렇게 만듭니다

ID	sample	ps1	ps2	ps3	ps4	jobsat
A01	1	4	5	4	3	4.1
A02	1	2	2	3	2	2.8
B01	2	5	4	4	4	4.6

예시 값입니다(실제 자료가 아님). 한 행은 한 사람의 응답입니다.

자료 파일을 만들 때 지킬 규칙

문항 수준 자료(문항별 열)로 분석합니다. 문항 번호는 개념 접두어와 순번(ps1, ps2, …)으로 통일합니다.
역문항은 먼저 뒤집고 코드북에 표시합니다. 5점 이하 응답은 순서형으로 처리합니다.
EFA와 CFA를 서로 다른 표본에서 하려면 무작위로 나누거나 따로 모집하고 표본 구분 열을 둡니다.
문항 삭제 이력(어떤 단계에서 어떤 기준으로 삭제했는지)을 별도 표로 기록합니다.

분석 프로그램에서 이렇게 설정합니다

SPSS EFA: [분석 > 차원 감소 > 요인분석] 추출 ‘주축 요인’, 회전 ‘프로맥스’(요인 간 상관 시), KMO·Bartlett 출력, 병렬분석은 별도 매크로나 R(psych::fa.parallel)로 합니다.
CFA: lavaan 예시 f1 =~ ps1+ps2+ps3+ps4; f2 =~ ps5+ps6+ps7+ps8; cfa(model, data = d2, ordered = TRUE)
신뢰도: SPSS [분석 > 척도 > 신뢰도 분석] 또는 R psych::omega().

자료 조건과 주의점

개념 정의 자료: 이론·선행연구·기존 척도, 대상자의 면담이나 실제 업무 장면 기록을 모아 포함할 하위영역과 제외할 내용을 정합니다.
문항 검토 자료: 문항 청사진, 문항별 출처, 전문가의 관련성·명료성 평가, 대상자의 인지면담과 예비조사 의견을 남깁니다.
양적 검증 자료: 응답자별 문항 원자료, 관련 개념 척도, 행동·성과 준거와 가능하면 재검사 자료가 필요합니다. 표본을 탐색용과 확인용으로 나눌지 계획합니다.
라쉬분석을 하려면 사람×문항 응답 원자료와 응답 범주 정의가 필요합니다. 이분형 문항과 다범주 평정 문항에는 각각 맞는 라쉬 모형을 고릅니다. 집단 비교가 목적이면 집단을 나타내는 변수도 수집합니다.
문항 수·하위영역·범주 사용 빈도, 요인분석과 문항반응모형의 추정 계획에 맞춰 표본을 계획합니다. 하나의 고정된 표본 수 기준이 모든 도구에 통하지는 않습니다.

문항 개발 · 검증 절차

문항을 어떻게 만들고 추리나요?

개념과 목적 정하기: 누구에게 어떤 결정을 위해 점수를 쓸지, 기존 도구가 왜 부족한지 밝히고 포함·제외할 하위영역을 정의합니다.
문항 후보 만들기: 이론·선행연구·기존 문항·대상자 면담에서 표현을 모아 영역별 문항 청사진을 만듭니다. 한 문항에 한 가지 생각이나 행동을 담고 출처를 기록합니다.
내용·이해도 검토: 전문가가 관련성·대표성·명료성을 평가하고, 실제 응답자 인지면담에서 문항을 어떻게 읽고 답했는지 확인해 표현을 수정합니다.
예비조사와 문항 선별: 문항별 결측률·응답 범주별 빈도·천장/바닥효과를 표로 정리합니다. 같은 하위영역 안에서 문항 간 중복과 수정된 문항-총점 상관을 확인하고, 삭제 후보가 영역의 중요한 내용을 없애지는 않는지 함께 판단합니다.
구조 확인: 구조가 불확실하면 탐색적 요인분석(EFA)에서 요인 수와 문항의 요인부하·교차부하를 검토합니다. 5점 등 순서형 응답은 적절한 상관·추정법을 선택하고, 가능하면 독립 표본의 확인적 요인분석(CFA)으로 미리 정한 구조를 다시 검토합니다.
신뢰도 확인: 전체 점수와 각 하위척도에 대해 α·ω와 불확실성 범위를 보고합니다. 시간이 지나도 안정적이어야 하는 특성은 적절한 간격의 재검사 자료로 안정성도 확인합니다.
타당도 근거 모으기: 내용·응답 과정·내적 구조·관련 개념과의 수렴 및 구별·외부 준거와의 관계를 연구목적에 맞게 평가합니다.
라쉬분석이 필요한 경우: 이분형 또는 다범주 자료에 맞는 모형을 골라 문항 적합도, 응답 범주 순서, 사람-문항 분포, 집단별 문항 기능 차이(DIF)를 검토합니다.
최종 도구 보고: 문항 유지·수정 근거, 최종 문항과 채점법, 점수의 해석·사용 범위와 다른 표본에서의 재현 결과를 공개합니다.

문항 하나를 만드는 예시

아래 문항과 응답은 절차를 보여 주기 위한 가상 예시입니다.

문헌과 직원 면담에서 “AI 답을 업무에 쓰기 전에 근거를 확인한다”는 행동을 찾고, 문항 청사진의 ‘AI 결과 검토’ 영역에 배치합니다.
초안 “AI 답의 출처를 확인하고 동료와 논의한다”는 두 행동을 한 문항에 묻습니다. 이를 나누어 “AI가 제시한 정보의 출처를 확인한다”처럼 한 행동만 묻는 문항으로 고칩니다.
전문가에게 이 문항이 영역을 대표하는지 묻고 직원 인지면담에서 ‘출처’가 어떻게 이해되는지 확인합니다. 예비조사에서 응답 쏠림·문항 중복·문항-총점 관계를 살펴 유지·수정 이유를 기록합니다.
라쉬분석을 추가했다면 5점 응답 범주가 구별되지 않거나 특정 직군에서만 문항이 다르게 작동하는지 살핍니다. 문제가 보이면 문구·범주·집단 맥락을 먼저 확인하고 수정 후 다시 검토합니다.

어떤 근거로 문항을 유지·수정·삭제하나요?

1차 · 내용과 이해: 문항 청사진에서 빠진 영역이 없는지 보고, 전문가가 관련성·필수성·표현을 평가합니다. 대상자가 인지면담에서 다른 뜻으로 이해하거나 한 문항에 두 행동이 섞여 있으면 수정합니다.
2차 · 예비조사 분포: 문항마다 결측과 각 응답범주의 사용 빈도를 확인합니다. 대부분 같은 답만 고르거나 특정 범주가 거의 사용되지 않으면 대상과 문구·응답 선택지를 재검토합니다.
3차 · 중복과 문항-점수 관계: 같은 하위영역의 문항 간 상관·내용 중복, 수정된 문항-총점 상관을 봅니다. 낮은 관계는 역채점 실수나 다른 하위개념 때문일 수도 있어 바로 삭제하지 않습니다.
4차 · 구조와 최종 결정: EFA에서 문항이 의도한 요인에 주로 연결되는지, 여러 요인에 걸치는지 확인하고 별도 표본 CFA로 다시 검토합니다. 유지·수정·삭제 이유와 삭제 후에도 남는 영역을 표로 기록합니다. 한 가지 통계 기준을 모든 문항에 기계적으로 적용하지 않습니다.

신뢰도는 어떻게 확인하나요?

전체 점수와 하위영역 점수를 구분하고, 각 점수를 구성하는 문항만으로 내적 일관성(α·ω)을 추정합니다. 계수와 함께 신뢰구간·문항 수·표본 특성을 보고하고, α와 ω의 가정이 자료에 맞는지 확인합니다.
문항이 거의 같은 말을 반복해 계수가 높아진 것은 아닌지 내용 중복과 문항 간 상관을 확인합니다. 계수 하나로 단일차원성이나 타당도를 판단하지 않습니다.
시간에 따라 안정적이어야 하는 역량이라면 적절한 간격으로 같은 사람을 다시 조사해 두 시점 점수의 일치 정도를 평가합니다. 상태처럼 실제로 변하는 특성에는 시간 안정성을 기계적으로 요구하지 않습니다.

타당도 근거는 어떻게 모으나요?

내용: 하위영역별 문항 청사진을 전문가에게 보여 주고 문항의 관련성·필수성·빠진 내용을 평가받습니다. CVI·CVR을 쓰더라도 전문가 수와 평가 척도·문항 수정 이유를 함께 보고합니다.
응답 과정: 대상자 인지면담에서 문항을 자신의 말로 설명하게 하고, 실제로 무엇을 떠올려 응답했는지 확인합니다. 의도와 다르게 읽힌 표현은 수정하고 다시 점검합니다.
내적 구조: EFA의 요인 수·부하·교차부하를 내용 해석과 함께 검토하고, 독립 표본 CFA에서 미리 정한 문항-요인 관계와 적합도를 살핍니다. 순서형 응답에 맞는 상관·추정법을 밝힙니다.
다른 변수와의 관계: 비슷한 역량과는 예상한 방향으로 관련되는지(수렴), 다른 개념과 구별되는지(판별), 실제 과제 수행 같은 외부 준거와 연결되는지 사전에 가설을 세워 확인합니다.
집단 비교·번안이나 개인별 의사결정이 목적이라면 측정동일성·DIF와 점수 사용의 결과도 검토합니다. 타당도 근거는 점수를 쓰려는 목적에 맞춰 종합하며 단일 수치로 합격을 선언하지 않습니다.

라쉬분석은 왜, 언제 추가하나요?

합산점수와 요인구조만으로는 문항이 응답자의 낮은·중간·높은 특성 수준을 골고루 측정하는지 알기 어려울 때.
요인분석이 문항들이 어떤 차원으로 묶이는지를 주로 본다면, 라쉬분석은 정한 모형에서 개인의 특성 수준에 따라 각 문항과 응답 범주가 어떻게 작동하는지 살핍니다. 두 분석은 서로를 대신하지 않습니다.
5점 척도 등의 응답 범주가 실제로 순서대로 쓰이는지, 특정 문항이 같은 특성 수준의 집단마다 다르게 작동하는지(DIF) 확인할 때.
이분형이면 기본 라쉬 모형, 여러 순서형 응답범주가 있으면 평정척도 모형 또는 부분점수 모형처럼 자료에 맞는 모형을 선택할 수 있을 때.

라쉬분석에서는 무엇을 확인하나요?

하위영역별로 문항들이 한 차원을 측정하는지와 문항 간 국소독립성 등 모형 가정을 먼저 점검합니다. 여러 하위영역을 아무 근거 없이 하나의 라쉬모형에 넣지 않습니다.
문항 적합도(infit/outfit)는 문항별 응답이 모형의 예상과 얼마나 다른지, 사람-문항 지도는 쉬운·중간·어려운 문항이 응답자 수준에 맞게 분포하는지 보여 줍니다. 기준값은 표본과 모형에 맞춰 사전에 정하고 내용과 함께 해석합니다.
다범주 문항은 범주별 응답과 문턱값의 순서를, 집단 비교가 중요하면 같은 특성 수준에서 문항 응답이 다른지 DIF를 확인합니다.
이상 문항을 바로 삭제하지 않고 내용·응답자 이해도·표본을 재검토한 뒤 수정 또는 유지 이유를 기록합니다. 문항·사람 분리 신뢰도와 측정 범위도 보고하되 모형 적합만으로 타당도가 완성되지는 않습니다.

라쉬분석의 적용 예시는 추천 논문 4에서 확인할 수 있습니다.

03 · 예시 연구모형

이런 연구모형으로 분석합니다

연구모형은 연구에서 다룰 변수와 변수 사이의 가설 관계를 그림으로 나타낸 것입니다. 아래 예시에서 변수의 역할(독립·매개·조절·종속·외생·내생 등)과 화살표의 방향을 읽어 본 뒤, 내 연구의 변수를 같은 방식으로 배치해 보세요. 그 구조가 이 방법과 맞는지 보면 알맞은 분석 방법을 고를 수 있습니다.

모형 1. 1차 요인 3개 모형 (하위요인이 상관하는 구조)

연구문제 예 새로 만든 AI 활용 태도 척도의 9개 문항이 정서·인지·행동 세 하위요인으로 묶이는가?

하위요인 (잠재)

그림 속 숫자는 이해를 돕기 위한 예시 값입니다. * p < .05 · ** p < .01 · *** p < .001 · n.s. = 유의하지 않음(점선 경로). 실선 경로는 유의한 경로입니다.

가설

H1: 각 문항은 설계한 하위요인에만 유의하게 부하될 것이다.
H2: 세 하위요인은 서로 구별되면서 정(+)으로 상관할 것이다.

예시 분석 결과 읽기

H1 지지: 요인부하량이 .69~.81로 모두 .50 이상입니다.
H2 지지: 요인 간 상관이 .49~.63으로 서로 구별되면서 관련됩니다(.85 미만이므로 판별타당도에 문제 없음).
적합도 CFI·TLI ≥ .90, RMSEA ≤ .08, SRMR ≤ .08을 충족하고 α·ω가 .70 이상(.79~.85)이므로 구조와 신뢰도가 확인됩니다.

이렇게 읽습니다 EFA로 구조를 탐색한 뒤 서로 다른 표본에서 CFA로 확인하는 구조입니다. 이 모형이 적합하면 하위척도 점수를 따로 사용할 수 있습니다.

모형 2. 2차 요인 모형 (총점 + 하위요인 구조)

연구문제 예 하위요인 점수와 총점을 모두 쓸 수 있는가? 세 하위요인이 하나의 상위 개념으로 설명되는가?

2차 요인 (상위 잠재)
1차 요인 (하위 잠재)

그림 속 숫자는 이해를 돕기 위한 예시 값입니다. * p < .05 · ** p < .01 · *** p < .001 · n.s. = 유의하지 않음(점선 경로). 실선 경로는 유의한 경로입니다.

가설

H1: 세 하위요인은 하나의 상위 요인(AI 활용 태도)의 하위 차원일 것이다.
H2: 1차 요인 모형보다 2차 요인 모형이 간명하면서도 자료에 적합할 것이다.

예시 분석 결과 읽기

H1 지지: 2차 요인의 부하량 γ가 .71~.82로 모두 유의합니다(총점이 하위요인을 대표함).
H2 지지: 1차 요인 모형과의 적합도 차이가 크지 않고(ΔCFI = −.01) 모수는 더 적으므로 간명한 2차 요인 모형을 선택할 수 있습니다.
γ가 낮은 하위요인(.71)은 총점에 덜 대표됩니다. 총점 사용이 정당한지 이론적으로 논의합니다.

이렇게 읽습니다 하위요인 사이의 상관(φ)을 상위 요인이 설명하는 구조입니다. 2차 요인 모형은 1차 요인 모형과 적합도를 비교해 선택합니다.

변수, 가설, 계수는 이해를 돕기 위해 교육·HRD 맥락으로 만든 학습용 예시이며 실제 연구 결과가 아닙니다. 특정 논문의 모형을 옮긴 것은 아닙니다. 이 방법을 실제로 쓴 논문의 예: Tims, M., Bakker, A. B., & Derks, D. (2012).

04 · 제시하고 싶은 결과

분석 후 무엇을 보여 줄 수 있나요?

개념과 하위영역의 정의, 문항의 출처·초안·수정·삭제 기준, 최종 문항과 채점 방법을 제시합니다.
탐색·확인 요인구조와 하위척도별 신뢰도, 내용·응답 과정·관련 변수에 근거한 타당도 증거를 제시합니다.
라쉬분석을 했다면 문항 적합도·응답 범주 순서·사람-문항 분포·집단별 문항 기능 차이를 보고합니다.
다른 표본에서의 재현성과 점수의 사용 대상·목적·해석 한계를 설명합니다.

유의한 결과나 높은 적합도를 얻는 것 자체가 연구의 목적은 아닙니다. 결과가 연구문제에 어떤 답을 주는지, 무엇이 아직 불확실한지 함께 설명해야 합니다.

결과는 이렇게 제시합니다 (예시)

결과 그림 1. 요인부하량 패턴행렬

문항이 어느 요인에 강하게 부하되는지와 교차부하, 공통성을 한 표에 제시합니다.

이렇게 읽습니다 파란 칸이 주요 부하(.40 이상)이고 나머지 칸은 교차부하입니다. 모든 문항이 한 요인에만 높게 부하되고 교차부하가 .30 미만이면 구조가 명확합니다. 공통성이 낮은(.30 미만) 문항은 삭제를 검토합니다.

결과 그림 2. 신뢰도와 타당도 표

각 하위요인의 신뢰도(α, ω)와 수렴·판별타당도 지표를 제시합니다.

이렇게 읽습니다 α·ω와 CR이 .70 이상이고 AVE가 .50 이상이면 수렴타당도가 양호합니다. 판별타당도는 AVE가 다른 요인과의 상관 제곱(φ²)보다 크고 HTMT가 .85 미만이면 확보됩니다(Fornell–Larcker, HTMT).

그림의 값은 이해를 돕기 위해 만든 예시이며 실제 연구 결과가 아닙니다.

05 · 궁극적으로 밝힐 것

내가 끝까지 답하고 싶은 질문과 맞나요?

“이름만 있는 개념을 타당하게 측정하여 후속 연구에 사용할 수 있게 하고 싶다.”

이 질문에 답하는 분석 구조

문항 분석(문항-총점 상관·α), 탐색적·확인적 요인분석으로 문항이 묶이는 구조를 확인하고, 신뢰도와 타당도 근거를 쌓아 새 측정도구를 만듭니다.

왜 하나요? ‘기존에 쓸 만한 측정도구가 없는 개념을 어떻게 재는가’를 알고 싶을 때. 이후 분석에서 쓸 점수의 질을 먼저 확보하기 위해 합니다.

알고 싶은 내용이 다르다면, 아래 방법은 이렇게 다른 질문에 답합니다

구조방정식모형 (Structural Equation Modeling, SEM): 분석 구조 여러 문항으로 잰 잠재변수를 측정모형(요인분석)으로 나타내고, 그 잠재변수들 사이의 구조 경로를 한 번에 추정해 모형 전체 적합도를 평가합니다.이럴 때 선택 ‘직접 잴 수 없는 개념들이 서로 어떻게 연결되는가’를 알고 싶을 때. 측정오차를 반영해 개념 간 관계를 추정하고 이론 모형 전체가 자료와 맞는지 보려고 합니다.
다집단 분석 (Multigroup Analysis): 분석 구조 같은 측정·구조 모형을 두 개 이상의 집단에 적용해, 먼저 측정동일성을 확인한 뒤 경로계수를 같게 둔 모형과 자유롭게 둔 모형을 비교합니다.이럴 때 선택 ‘이 모형이 집단마다 같은가’를 알고 싶을 때. 이미 정해진 집단(정규직/비정규직 등)의 관계 차이가 측정 때문인지 실제 차이인지 검증하기 위해 합니다.
현상학 연구 분석: 분석 구조 통계 모형 없이 참여자의 체험 진술을 의미 단위 → 주제 → 체험의 본질 구조 순으로 분석합니다.이럴 때 선택 ‘이 현상을 겪는 사람에게 그 경험이 어떤 의미인가’를 알고 싶을 때. 변수 사이의 관계보다 체험 자체의 의미를 깊이 이해하기 위해 합니다.

06 · 분석 순서

분석은 어떤 순서로 진행하나요?

사용 도구 SPSS(문항 분석·EFA) + AMOS·Mplus·lavaan(CFA) + Winsteps·R eRm/TAM(라쉬분석) 기준.

기준의 출처 DeVellis(2017), Clark·Watson(1995), Hinkin(1998), Worthington·Whittaker(2006), Lynn(1986), Polit·Beck(2006), Costello·Osborne(2005), Fabrigar 외(1999), Koo·Li(2016), Linacre, Bond·Fox(2015).

개념 정의와 이론적 틀 정하기
어떻게 하나요
측정할 개념의 정의, 하위영역(차원), 대상자, 사용 목적, 기존 도구가 부족한 이유를 문서로 정리합니다.
확인할 값과 해석 기준
개념 정의가 모호하면 문항이 흩어집니다. 하위영역마다 한 문장으로 정의하고, 비슷한 개념과의 경계(예: 몰입과 열의)를 가릅니다.
왜 하고, 무엇을 알 수 있나요
무엇을 재려는 도구인지 근거를 갖춰 정합니다.
문항 후보 만들기(문항 풀)
어떻게 하나요
이론·선행연구·기존 도구·대상자 면담에서 표현을 모아 하위영역별 문항 청사진을 만들고, 최종 문항 수의 2~3배를 초안으로 씁니다. 응답 형식(리커트 5~7점 등)을 정합니다.
확인할 값과 해석 기준
한 문항에는 한 가지 생각만 담고(이중질문 금지), 부정문·이중부정·전문용어·유도 표현을 피하며 대상자 읽기 수준에 맞춥니다. 모든 하위영역에서 충분한 문항 수(보통 4~6개 이상)를 둡니다.
왜 하고, 무엇을 알 수 있나요
개념 전체를 덮는 문항 풀을 확보합니다.
내용타당도 검토(전문가 평가)
어떻게 하나요
전문가 패널(보통 5~10명)이 문항의 관련성·명료성을 평가(예: 4점 척도 중 3~4점 비율)하게 하고 CVI를 계산합니다.
확인할 값과 해석 기준
문항 수준 CVI(I-CVI)는 전문가 6명 이상일 때 .78 이상, 척도 수준 평균 CVI(S-CVI/Ave)는 .90 이상이 일반적 기준입니다(Lynn, 1986; Polit & Beck, 2006). Lawshe의 CVR은 전문가 수에 따라 기준이 다릅니다(예: 10명이면 .62 이상). 기준 미달 문항은 수정·삭제합니다.
왜 하고, 무엇을 알 수 있나요
문항이 개념을 제대로 대표한다는 전문가 근거를 얻습니다.
인지면담(예비 이해도 검토)
어떻게 하나요
대상자 5~10명에게 문항을 소리 내어 풀게 하고 ‘이 문항이 무엇을 묻는다고 생각하는지’를 묻습니다.
확인할 값과 해석 기준
여러 사람이 다르게 해석하거나 어려워하는 문항은 표현을 고칩니다.
왜 하고, 무엇을 알 수 있나요
응답자가 문항을 의도대로 이해하는지 봅니다.
연구설계와 표본 크기(검정력) 계획
어떻게 하나요
자료를 모으기 전에 분석 모형, 넣을 변수 수, 기대하는 효과 크기를 정해 필요한 표본 수를 계산합니다. G*Power(F 검정, 선형 다중회귀 등)나 해당 방법의 시뮬레이션 지침을 사용합니다. EFA·CFA를 서로 다른 표본에서 하려면 두 표본의 크기를 각각 계산합니다.
확인할 값과 해석 기준
보통 유의수준 α = .05, 검정력 .80 이상으로 잡습니다. 효과 크기는 Cohen(1988)의 참고치(회귀 f² = .02 작음·.15 중간·.35 큼, 상관 r = .10·.30·.50, 평균차 d = .20·.50·.80)나 선행연구에서 가져옵니다. 기대하는 효과가 작을수록 표본이 많이 필요합니다. EFA는 문항당 5~10명(최소 200명, 300명 이상 양호)이 일반적 권고입니다. CFA는 부하량이 높고 모형이 단순하면 200명 안팎도 가능합니다.
왜 하고, 무엇을 알 수 있나요
표본이 충분한지는 자료를 모으기 전에 따져 봐야 합니다. 표본이 부족하면 실제 효과가 있어도 유의하지 않게 나올 수 있고(제2종 오류), 나중에 표본 수를 끼워 맞추면 결과를 믿기 어렵습니다.
예비조사 자료 점검과 문항 기초 분석
어떻게 하나요
결측, 문항별 평균·표준편차·왜도·첨도·응답 분포, 상관행렬을 확인합니다.
확인할 값과 해석 기준
한 응답 범주에 80~90% 이상 몰린 문항은 변별력이 부족하고, 총점에서 최저·최고점 응답자가 15% 이상이면 바닥·천장효과를 의심합니다. 문항 간 상관이 .85~.90 이상이면 중복 문항, .30 미만이면 다른 개념일 수 있습니다.
왜 하고, 무엇을 알 수 있나요
문항이 사람을 구분해 주는지, 중복되거나 이상한 문항은 없는지 봅니다.
문항-총점 상관과 1차 신뢰도(Cronbach α)
어떻게 하나요
[분석 > 척도 > 신뢰도 분석]에서 하위영역별로 α, ‘수정된 항목-전체 상관’, ‘항목 삭제 시 α’를 출력합니다.
확인할 값과 해석 기준
수정된 항목-전체 상관이 .30(엄격하게 .40) 미만이거나 삭제 시 α가 올라가는 문항을 먼저 봅니다. 다만 지우면 개념의 중요한 내용이 빠지는지부터 판단합니다. α .70 이상 수용, .80 이상 양호, .95 초과는 중복 의심입니다.
왜 하고, 무엇을 알 수 있나요
문항이 같은 영역을 일관되게 재는지, 어느 문항이 영역과 어긋나는지 봅니다.
탐색적 요인분석(EFA)의 적합성 확인
어떻게 하나요
[분석 > 차원 감소 > 요인분석]에서 KMO와 Bartlett의 구형성 검정을 출력합니다.
확인할 값과 해석 기준
KMO .60 이상(.80 이상 양호), Bartlett 검정 p < .05이어야 요인분석이 적절합니다. 문항별 KMO(대각 MSA)가 .50 미만이면 해당 문항을 제외합니다.
왜 하고, 무엇을 알 수 있나요
자료가 요인분석에 맞는지 먼저 봅니다.
EFA: 추출 방법·요인 수 결정·회전
어떻게 하나요
추출은 주축분해(PAF) 또는 최대우도, 순서형 응답이면 다분상관(polychoric) 기반 분석을 사용합니다. 요인 수는 병렬분석·스크리 도표·MAP 검정·해석 가능성으로 정하고, 요인 간 상관이 예상되면 사각회전(Promax·Oblimin)을 선택합니다.
확인할 값과 해석 기준
고유값 1 이상(Kaiser 기준)만으로 요인 수를 정하면 과대 추정되기 쉽습니다. 요인 간 상관이 .32 이상이면 사각회전이 적절합니다. 설명 분산은 50~60% 이상이 바람직합니다.
왜 하고, 무엇을 알 수 있나요
문항이 몇 개 하위 영역으로 묶이는지, 이론이 예상한 구조와 같은지 봅니다.
EFA: 문항 유지·삭제 기준 적용
어떻게 하나요
패턴행렬에서 요인부하량·교차부하·공통성을 확인해 문항을 반복적으로 정리합니다(한 번에 한 문항씩 삭제하고 다시 분석).
확인할 값과 해석 기준
요인부하량 .40 이상(느슨하게 .32), 다른 요인에도 .30~.32 이상 걸리는 교차부하 문항은 모호하므로 삭제·수정합니다. 공통성 .30~.40 미만 문항도 점검합니다. 한 요인에 최소 3개 문항이 필요합니다.
왜 하고, 무엇을 알 수 있나요
하위 영역을 명확하게 대표하는 문항만 남깁니다.
확인적 요인분석(CFA)으로 구조 검증
어떻게 하나요
EFA와 다른 독립 표본에서 정해 둔 구조를 AMOS·Mplus·lavaan으로 적합합니다. 순서형(5점 이하) 문항은 WLSMV 추정을 고려합니다. 대안 모형(1요인, 2차 요인, 이중요인)과 비교합니다.
확인할 값과 해석 기준
CFI·TLI .90 이상(양호 .95), RMSEA .08 이하(양호 .06), SRMR .08 이하(Hu & Bentler, 1999)와 표준화 부하량 .50 이상(이상적으로 .70)을 참고합니다. 수정지수로 오차상관을 허용할 때는 같은 문항 내용 중복 같은 이유가 있어야 합니다.
왜 하고, 무엇을 알 수 있나요
탐색에서 찾은 구조가 새로운 사람들에게도 재현되는지 봅니다.
신뢰도 확인 (α, ω, 재검사)
어떻게 하나요
최종 구조에서 전체와 하위척도별 α, McDonald의 ω를 구하고, 시간에 따라 안정적이어야 하는 특성은 1~2주 간격 재검사 자료로 ICC를 구합니다.
확인할 값과 해석 기준
α·ω .70 이상 수용, .80 이상 양호입니다. 재검사 신뢰도(ICC)는 .75 이상 양호, .90 이상 우수로 해석합니다(Koo & Li, 2016). 문항이 적은 하위척도는 α가 낮게 나오기 쉬워 문항 간 평균 상관도 봅니다.
왜 하고, 무엇을 알 수 있나요
점수가 반복 측정에서도 일관되는지 봅니다.
타당도 근거 모으기
어떻게 하나요
(1) 수렴타당도: AVE·CR 계산, 같은 개념을 재는 척도와의 상관 (2) 판별타당도: Fornell–Larcker, HTMT (3) 준거타당도: 이론적으로 관련되는 변수와의 상관·회귀 (4) 집단 간 차이(알려진 집단 비교).
확인할 값과 해석 기준
AVE .50 이상, CR .70 이상, HTMT .85~.90 미만이 일반 기준입니다. 이론이 예측한 방향과 크기(예: 관련 개념과 r = .30~.60)로 상관하고, 무관해야 하는 척도와는 상관이 낮아야 합니다. 근거 하나로 타당하다고 결론 내리지 말고 여러 근거를 쌓으세요.
왜 하고, 무엇을 알 수 있나요
점수가 ‘재려는 개념’을 제대로 대표한다는 근거를 얻습니다.
측정동일성 점검 (집단 간 공정성)
어떻게 하나요
성별·직급·기관 등 집단별로 다집단 CFA(형태→측정단위→절편)를 적용합니다.
확인할 값과 해석 기준
ΔCFI ≤ −.010 등의 기준으로 동일성을 판단합니다(다집단 분석 참조).
왜 하고, 무엇을 알 수 있나요
도구가 집단마다 같은 의미로 쓰이는지 봅니다.
라쉬분석 (필요한 경우)
어떻게 하나요
Winsteps·R에서 이분형은 기본 라쉬 모형, 다범주는 평정척도·부분점수 모형을 선택해 단일차원성, 문항·사람 적합도, 응답범주 구조, 사람-문항 지도, 신뢰도·분리지수, DIF를 확인합니다.
확인할 값과 해석 기준
Infit·Outfit MNSQ는 0.6~1.4(느슨하게 0.5~1.5)이 허용 범위입니다. 첫 대비 PCA 잔차 고유값 < 2이면 단일차원성이 지지됩니다. 사람·문항 신뢰도 .80 이상, 분리지수 2.0 이상, 응답범주 임계값은 오름차순이며 각 범주에 10개 이상의 관찰이 필요합니다. DIF 대비가 0.5 logit 이상이고 p < .05이면 집단에 따라 다르게 작동하는 문항으로 봅니다.
왜 하고, 무엇을 알 수 있나요
문항 난이도와 사람의 수준을 같은 눈금에서 비교합니다. 응답 범주가 의도대로 작동하는지, 특정 집단에 불리한 문항은 없는지도 봅니다.
최종 도구 정리와 보고
어떻게 하나요
최종 문항, 채점 방법(역채점·하위척도 점수), 점수 해석 기준, 사용 범위와 한계를 정리합니다.
확인할 값과 해석 기준
문항 유지·수정·삭제 근거와 표본별 결과(EFA·CFA·신뢰도·타당도)를 표로 공개합니다. 다른 표본에서의 재현 결과를 후속 연구로 제안합니다.
왜 하고, 무엇을 알 수 있나요
다른 연구자가 이 도구를 쓰고 평가할 수 있게 됩니다.

방법 선택을 위한 안내입니다. 실제 실행에서는 해당 방법의 원문과 교과서, 소프트웨어 문서를 함께 확인하세요.

07 · 사례

사례를 통해 내 연구에 어떻게 적용할지 살펴보세요

학습용 연구설계 사례입니다. 실제 논문의 연구 결과나 수집된 자료를 재현한 것이 아닙니다. 분석 방법의 근거는 아래 추천 문헌에서 확인할 수 있습니다.

사례 1 · HRD · 조직심리

AI 협업역량 척도 개발

연구목적

AI와 함께 일할 때 필요한 역량을 개념화하고 측정 가능한 도구로 만듭니다.

알고 싶은 것

AI 협업역량은 어떤 영역으로 구성되고 디지털 리터러시와 구별되는가?

사용할 자료

문헌·실무자 면담
전문가 검토
인지면담
예비·본조사 문항 응답
관련 척도와 준거

방법을 적용하는 방식

문헌·실무자 면담에서 하위영역별 문항 후보를 만들고 전문가·직원 인지면담으로 추립니다. 예비조사에서 분포·중복을 확인하고 EFA, 별도 표본 CFA, 신뢰도·타당도 검토를 진행합니다. 응답 범주나 문항 난이도가 문제라면 라쉬분석을 추가합니다.

제시할 결과

문항별 출처와 삭제·수정 이유
최종 문항과 채점법
요인구조·신뢰도·타당도 근거를 제시합니다. 라쉬분석을 적용했다면 문항 적합도·범주 기능·사람-문항 분포도 함께 보고합니다

이 사례에서 밝힐 수 있는 것

개발 자체가 연구목적입니다. 완성된 척도는 후속 연구에서 경로모형의 측정변수로 쓸 수 있습니다.

사례 2 · 학습분석

AI 의존적 학습의 측정

연구목적

단순 AI 사용빈도와 구별되는 의존적 학습을 측정합니다.

알고 싶은 것

스스로 판단을 점검하지 않고 AI 답변을 수용하는 경향은 빈도와 구별되는가?

사용할 자료

학습자 면담·인지면담
문항 응답
AI 이용빈도·메타인지 척도
타당화된 행동 준거

방법을 적용하는 방식

학습자 면담에서 의존적 학습의 행동 표현을 추출하고 전문가·인지면담으로 문항을 정제합니다. 요인구조·신뢰도와 AI 이용빈도·메타인지·행동 준거와의 관계를 확인하고, 필요하면 라쉬모형에서 범주 기능과 DIF를 점검합니다.

제시할 결과

AI 의존적 학습의 개념 경계·최종 문항과 요인구조
사용빈도와의 구별 및 행동 준거와의 관련성 증거를 제시합니다

이 사례에서 밝힐 수 있는 것

로그는 외부 준거로 활용할 수 있지만 사용빈도만으로 의존이라는 심리적 속성을 확정하지 않습니다.

08 · 해석 범위

이 결과로 어디까지 말할 수 있을까요?

Cronbach α가 높다는 사실만으로 타당한 척도라고 결론 내리지 않습니다.
통계적 적합도를 높이려고 핵심 개념 영역의 문항을 모두 삭제하면 내용타당성이 손상될 수 있습니다.
새 개념의 이름만 붙이고 기존 척도 문항을 모으면 새로운 도구 개발의 근거가 부족합니다.
라쉬분석에서 부적합 문항이 나와도 통계 수치 하나로 자동 삭제하지 않습니다. 문항의 의미·내용 범위·응답 과정과 모형 가정을 함께 살펴야 합니다.
라쉬모형에 맞는다고 모든 집단에서 공정하거나 원점수가 곧 간격척도가 되는 것은 아닙니다. 범주 기능·DIF·측정 범위를 자료와 목적에 맞게 확인합니다.

09 · 나의 연구에 대입하기

이 방법의 선택 조건을 스스로 확인해 보세요

자신의 연구목적과 자료를 떠올리며 답해 보세요. 세 조건이 모두 맞더라도 실제 연구를 시작하기 전에는 표집·측정·윤리·분석 가정을 구체적으로 검토해야 합니다.

함께 비교하면 좋은 방법

이 방법을 이해하는 추천 연구논문

아래 논문에서 방법의 논리와 실제 연구에 적용하는 방식을 확인할 수 있습니다. 읽을 초점을 따라 연구목적·자료·결과를 비교해 보세요.

방법 설명SSCI
Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7(3), 309-319.
읽을 초점 문항의 수나 신뢰도만으로 끝나지 않는 개념·내용·구조·타당도 문제를 살펴보세요.
DOI: 10.1037/1040-3590.7.3.309 · ISSN: 1040-3590 / 1939-134X
방법 설명SSCI
Van Zile-Tamsen, C. (2017). Using Rasch Analysis to Inform Rating Scale Development. Research in Higher Education, 58(8), 922-933.
읽을 초점 평정척도 문항의 응답 범주·문항 적합도·사람-문항 분포를 라쉬분석으로 어떻게 점검하고 수정하는지 살펴보세요.
DOI: 10.1007/s11162-017-9448-0 · ISSN: 0361-0365 / 1573-188X
교수님 Research listSSCI
Joo, J., Park, M., Yim, S. M., & Song, J. H. (2025). Validation of Psychological Entitlement Measurement in South Korea. Asian Journal of Social Psychology, 28, e70042. https://doi.org/10.1111/ajsp.70042
읽을 초점 연구실의 관련 연구가 이 방법을 어떤 목적으로 사용했는지 읽어 보세요. 제목과 서지에서 방법과의 관련성을 확인한 논문이며, 구체적인 표집·분석 절차·결과는 원문에서 확인해야 합니다.
논문 찾아보기 ↗ · 교수님 목록 확인
적용 논문KCI
Suk, I., & Kang, E. (2007). Development and Validation of the Learning Flow Scale. 교육공학연구, 23(1), 121-154.
읽을 초점 이 방법을 어떤 연구문제와 자료에 적용했고, 결과를 어떻게 보고했는지 읽어 보세요. 제목이나 초록에서 방법을 확인한 논문을 골랐으며, 구체적인 절차와 결과는 원문에서 확인해야 합니다.
DOI: 10.17232/kset.23.1.121 · Crossref 인용 수 20회 (2026-11-02 확인)
적용 논문SSCI
Tims, M., Bakker, A. B., & Derks, D. (2012). Development and validation of the job crafting scale. Journal of Vocational Behavior, 80(1), 173-186.
읽을 초점 이 방법을 어떤 연구문제와 자료에 적용했고, 결과를 어떻게 보고했는지 읽어 보세요. 제목이나 초록에서 방법을 확인한 논문을 골랐으며, 구체적인 절차와 결과는 원문에서 확인해야 합니다.
DOI: 10.1016/j.jvb.2011.05.009 · Crossref 인용 수 1653회 (2026-11-02 확인)

확인일 2026-11-02 · ‘방법 설명’ 논문의 SSCI 표시는 확보한 학술지 목록의 ISSN 대조 결과입니다. 다만 일부 문헌은 이 목록으로 대조하지 못했으니 Clarivate Master Journal List에서 다시 확인해 주세요. 표시는 현재나 출판 당시의 등재를 보증하지 않습니다. ‘적용 논문’은 Crossref 서지로 확인했고, SSCI·KCI 표시는 학술지 기준이며 목록과 전수 대조하지 않았습니다.

← 연구 고민 다시 살펴보기 나의 연구 발전시키기(실습) →

1. 질문과 핵심 개념

2. 설계와 절차

3. 분석과 결과

4. 해석과 보고

언제, 어떤 목적으로 선택하나요?

이 방법으로 답하는 연구 목적

대표 연구 질문

필요한 변수·자료의 형태

분석에서는 무엇을 하나요?

결과를 어떻게 해석하나요?

이런 상황이면 이 분석을 고려하세요

1. 개념을 제대로 측정하는 문제

2. 기존 척도의 한계를 설명

3. 내용 검토와 양적 검증을 연결

4. 문항과 점수 해석의 근거 제시

어떤 질문이면 다른 방법을 비교해야 하나요?

어떤 자료와 변수로, 어떤 구조를 분석하나요?

분석 구조 한눈에 보기

식으로 보면

필요한 변수와 역할

분석용 자료 파일은 이렇게 만듭니다

자료 파일을 만들 때 지킬 규칙

분석 프로그램에서 이렇게 설정합니다

자료 조건과 주의점

문항을 어떻게 만들고 추리나요?

문항 하나를 만드는 예시

어떤 근거로 문항을 유지·수정·삭제하나요?

신뢰도는 어떻게 확인하나요?

타당도 근거는 어떻게 모으나요?

라쉬분석은 왜, 언제 추가하나요?

라쉬분석에서는 무엇을 확인하나요?

이런 연구모형으로 분석합니다

모형 1. 1차 요인 3개 모형 (하위요인이 상관하는 구조)

가설

예시 분석 결과 읽기

모형 2. 2차 요인 모형 (총점 + 하위요인 구조)

가설

예시 분석 결과 읽기

분석 후 무엇을 보여 줄 수 있나요?

결과는 이렇게 제시합니다 (예시)

결과 그림 1. 요인부하량 패턴행렬

결과 그림 2. 신뢰도와 타당도 표

내가 끝까지 답하고 싶은 질문과 맞나요?

이 질문에 답하는 분석 구조

알고 싶은 내용이 다르다면, 아래 방법은 이렇게 다른 질문에 답합니다

분석은 어떤 순서로 진행하나요?

개념 정의와 이론적 틀 정하기

문항 후보 만들기(문항 풀)

내용타당도 검토(전문가 평가)

인지면담(예비 이해도 검토)

연구설계와 표본 크기(검정력) 계획

예비조사 자료 점검과 문항 기초 분석

문항-총점 상관과 1차 신뢰도(Cronbach α)

탐색적 요인분석(EFA)의 적합성 확인

EFA: 추출 방법·요인 수 결정·회전

EFA: 문항 유지·삭제 기준 적용

확인적 요인분석(CFA)으로 구조 검증

신뢰도 확인 (α, ω, 재검사)

타당도 근거 모으기

측정동일성 점검 (집단 간 공정성)

라쉬분석 (필요한 경우)

최종 도구 정리와 보고

사례를 통해 내 연구에 어떻게 적용할지 살펴보세요

AI 협업역량 척도 개발

AI 의존적 학습의 측정

이 결과로 어디까지 말할 수 있을까요?

이 방법의 선택 조건을 스스로 확인해 보세요

함께 비교하면 좋은 방법

이 방법을 이해하는 추천 연구논문