روایی (Validity) دقیقاً یعنی چی؟
روایی یعنی اینکه ابزار اندازهگیری (اینجا پرسشنامه) واقعاً همون چیزی رو میسنجه که قرار بوده بسنجه. یعنی اگه پرسشنامهتون قراره «انگیزانندههای غیرمالی» رو بسنجه، روایی نشون میده که گویهها واقعاً همین مفهوم رو اندازه میگیرن، نه یک مفهوم دیگه یا بخشی ناقص از اون.
روایی چند نوع داره و هرکدام روش محاسبهی خودشو داره:
۱. روایی صوری (Face Validity)
چیه: آیا پرسشنامه در نگاه اول، برای یک فرد عادی یا متخصص، «به نظر» درست و مرتبط میاد؟ ظاهر و قابلفهم بودن سؤالات رو میسنجه.
چطور محاسبه میشه: معمولاً کمّی نیست؛ چند نفر (متخصص یا حتی چند نفر از جامعه هدف) پرسشنامه رو میخونن و نظر میدن که آیا واضح، بدون ابهام و از نظر ظاهری قابل قبول هست یا نه. گاهی هم با «ضریب تأثیر» (Impact Score) کمّیسازی میشه:
ضریب تأثیر = (فراوانی × اهمیت) هر گویه در طیف ۵ درجهای (خیلی کم اهمیت تا خیلی با اهمیت) نمره میگیره؛ اگه ضریب تأثیر ≥ ۱.۵ باشه، گویه قابل قبوله.
نسخهی فرمولها با نگارش صحیح و استاندارد:
روایی محتوا (Content Validity)
تعریف:
روایی محتوا نشان میدهد که آیا مجموعه گویههای پرسشنامه، همه ابعاد مفهوم مورد نظر را بهصورت کامل و متوازن پوشش میدهند یا خیر. این نوع روایی معمولاً با استفاده از نظر پنل متخصصان ارزیابی میشود.
الف) نسبت روایی محتوا (Content Validity Ratio: CVR) — روش لاوشه (Lawshe)
برای هر گویه، تعداد متخصصانی که آن را «ضروری» تشخیص دادهاند، در فرمول زیر قرار میگیرد:
که در آن:
(n_e): تعداد متخصصانی که گویه را ضروری دانستهاند.
(N): کل تعداد متخصصان.
مقدار بهدستآمده با مقادیر بحرانی جدول لاوشه مقایسه میشود. برای مثال، اگر تعداد متخصصان ۱۰ نفر باشد، حداقل مقدار قابل قبول CVR = 0.62 است. اگر مقدار محاسبهشده کمتر از این حد باشد، گویه باید حذف یا اصلاح شود.
ب) شاخص روایی محتوا (Content Validity Index: CVI) — روش والتز و باسل (Waltz & Bausell)
در این روش، هر متخصص میزان مرتبط بودن هر گویه را در مقیاس ۴ درجهای (۱ تا ۴) ارزیابی میکند.
۱. شاخص روایی محتوا برای هر گویه (Item-level CVI یا I-CVI)
معیار پذیرش:
۲. شاخص روایی محتوا برای کل پرسشنامه
که در آن:
(k): تعداد کل گویههای پرسشنامه.
CVI_i: مقدار I-CVI گویه (i).
معیار پذیرش:
۳. روایی سازه (Construct Validity)
چیه: آیا گویههایی که قرار بوده یک «بعد» یا «سازه» مشترک (مثل «قدردانی») رو بسنجن، واقعاً با هم در یک راستا حرکت میکنن و از سازههای دیگه (مثل «استقلال») متمایزند؟ این نوع روایی با روشهای آماری روی دادههای واقعی (نه نظر متخصص) سنجیده میشه.
معمولاً با تحلیل عاملی تأییدی (CFA) یا اکتشافی (EFA) بعد از جمعآوری داده از نمونه واقعی محاسبه میشه:
- بار عاملی (Factor Loading): هر گویه باید روی بعد خودش بار عاملی ≥ ۰.۴ (ترجیحاً ≥ ۰.۵) داشته باشه.
- روایی همگرا (Convergent Validity): با شاخص AVE (میانگین واریانس استخراجشده) سنجیده میشه؛ باید ≥ ۰.۵ باشه.
- روایی واگرا (Discriminant Validity): با روش فورنل-لارکر یا HTMT بررسی میشه که هر بعد از بقیه ابعاد بهاندازه کافی متمایز باشه.
۴. روایی ملاکی (Criterion Validity)
چیه: آیا نمرهی این پرسشنامه با یک معیار بیرونی معتبر (مثلاً یک پرسشنامه استاندارد مشابه، یا شاخص عملکردی) همبستگی داره؟
چطور محاسبه میشه: ضریب همبستگی پیرسون بین نمره پرسشنامه شما و نمره ابزار ملاک. اگه همزمان سنجیده بشه، «همزمان» و اگه در آینده سنجیده بشه (مثلاً پیشبینی ترک شغل)، «پیشبین» نامیده میشه.
رای روایی محتوا به روش لاوشه (CVR) تعداد متخصصان باید مشخص باشد، چون مقدار حداقل قابل قبول CVR به تعداد متخصصان بستگی دارد. جدول زیر بر اساس مقادیر بحرانی لاوشه (Lawshe, 1975) است و در اکثر پایاننامهها و مقالات استفاده میشود.
| تعداد متخصصان (N) | حداقل مقدار قابل قبول CVR |
|---|---|
| 5 | 0.99 |
| 6 | 0.99 |
| 7 | 0.99 |
| 8 | 0.75 |
| 9 | 0.78 |
| 10 | 0.62 |
| 11 | 0.59 |
| 12 | 0.56 |
| 13 | 0.54 |
| 14 | 0.51 |
| 15 | 0.49 |
| 20 | 0.42 |
| 25 | 0.37 |
| 30 | 0.33 |
| 35 | 0.31 |
| 40 | 0.29 |
چند متخصص مناسب است؟
در عمل، بیشتر پژوهشهای علوم انسانی، مدیریت، روانشناسی و علوم پزشکی از ۱۰ تا ۱۵ متخصص استفاده میکنند، زیرا:
- تعداد کمتر از ۵ یا ۶ نفر توصیه نمیشود.
- ۱۰ نفر یکی از رایجترین انتخابهاست و حداقل CVR آن 0.62 است.
- ۱۵ نفر دقت بیشتری ایجاد میکند و حداقل CVR آن 0.49 است.
برای CVI نیز معمولاً بین ۶ تا ۱۰ متخصص کافی است و در بسیاری از منابع ۸ تا ۱۰ متخصص پیشنهاد میشود.
با توجه به اینکه پرسشنامهتون محققساخته و تازه طراحیشده:
| مرحله | نوع روایی | روش |
|---|---|---|
| ۱ | صوری + محتوا | پنل متخصصان → CVR و CVI |
| ۲ (اختیاری، اگه نمونه کافی دارید) | سازه | تحلیل عاملی تأییدی روی داده جمعآوریشده |
پایایی (Reliability)
تعریف:
پایایی یا قابلیت اعتماد، به میزان ثبات، دقت و قابلیت تکرار نتایج یک ابزار اندازهگیری اشاره دارد. به بیان دیگر، اگر پرسشنامه در شرایط مشابه و برای افراد مشابه چندین بار اجرا شود، نتایج حاصل باید تا حد زیادی یکسان باشد. هرچه پایایی یک ابزار بیشتر باشد، خطای اندازهگیری کمتر و نتایج آن قابل اعتمادتر خواهد بود.
روشهای سنجش پایایی
پایایی را میتوان با روشهای مختلفی ارزیابی کرد که متداولترین آنها عبارتاند از:
- آلفای کرونباخ (Cronbach's Alpha): برای سنجش همسانی درونی گویههای یک مقیاس.
- پایایی بازآزمایی (Test–Retest Reliability): برای بررسی ثبات نتایج در طول زمان.
- پایایی دونیمهای (Split-Half Reliability): برای ارزیابی همسانی بین دو نیمه پرسشنامه.
- پایایی بین ارزیابان (Inter-Rater Reliability): برای بررسی میزان توافق بین چند ارزیاب.
در پژوهشهای مبتنی بر پرسشنامه، آلفای کرونباخ رایجترین شاخص سنجش پایایی است.
آلفای کرونباخ (Cronbach's Alpha)
آلفای کرونباخ میزان همسانی درونی گویههای یک پرسشنامه را اندازهگیری میکند؛ یعنی مشخص میکند که آیا گویهها یک مفهوم مشترک را اندازهگیری میکنند یا خیر.
فرمول آلفای کرونباخ به صورت زیر است:
α = [k / (k − 1)] × [1 − (ΣSi² / St²)]که در آن:
- α = ضریب آلفای کرونباخ
- k = تعداد گویههای پرسشنامه
- ΣSi² = مجموع واریانس گویهها
- St² = واریانس نمره کل پرسشنامه
تفسیر آلفای کرونباخ
| مقدار آلفا | تفسیر |
|---|---|
| کمتر از 0.60 | پایایی ضعیف |
| 0.60 تا 0.69 | پایایی قابل قبول |
| 0.70 تا 0.79 | پایایی خوب |
| 0.80 تا 0.89 | پایایی بسیار خوب |
| 0.90 و بیشتر | پایایی عالی (البته مقادیر بسیار بالا مانند 0.95 به بالا ممکن است نشاندهنده تکراری بودن گویهها باشد.) |
پایایی بازآزمایی (Test–Retest)
در این روش، پرسشنامه در دو نوبت و با فاصله زمانی مناسب (معمولاً ۲ تا ۴ هفته) برای یک گروه از پاسخدهندگان اجرا میشود. سپس ضریب همبستگی بین نتایج دو مرحله محاسبه میشود.
به طور معمول، ضریب همبستگی 0.70 یا بیشتر نشاندهنده ثبات مناسب ابزار است.
پایایی دونیمهای (Split-Half)
در این روش، گویههای پرسشنامه به دو نیمه (مثلاً گویههای زوج و فرد) تقسیم میشوند و همبستگی بین نمرات دو نیمه محاسبه میشود. سپس با استفاده از فرمول اسپیرمن–براون (Spearman–Brown) پایایی کل پرسشنامه برآورد میشود.
فرمول:
که در آن:
- rSB = ضریب پایایی اسپیرمن–براون
- r = ضریب همبستگی بین دو نیمه پرسشنامه
نکته
در اغلب پایاننامهها و پژوهشهای علوم انسانی، مدیریت، روانشناسی و علوم تربیتی، آلفای کرونباخ بهعنوان شاخص اصلی پایایی گزارش میشود و در صورتی که مقدار آن 0.70 یا بیشتر باشد، پایایی ابزار اندازهگیری مناسب تلقی میشود. در پژوهشهایی که از مدلیابی معادلات ساختاری (SEM) استفاده میکنند، علاوه بر آلفای کرونباخ، پایایی ترکیبی (Composite Reliability یا CR) نیز معمولاً گزارش میشود.
با چه پرسشناه ای سنجیده میشه؟ به محققا میدیش یا کسی دیگه؟
سؤال خوبی است. برخلاف روایی محتوا، پایایی با پرسشنامه جداگانه سنجیده نمیشود.
تفاوت این دو به این صورت است:
| روایی | پایایی |
|---|---|
| توسط متخصصان (خبرگان) ارزیابی میشود. | توسط جامعه هدف یا نمونهای مشابه جامعه هدف ارزیابی میشود. |
| متخصصان درباره مناسب بودن، ضروری بودن و مرتبط بودن گویهها نظر میدهند. | پاسخدهندگان، خود پرسشنامه اصلی را تکمیل میکنند و از روی پاسخهای آنها پایایی محاسبه میشود. |
| شاخصهای CVR و CVI محاسبه میشوند. | شاخصهایی مانند آلفای کرونباخ، پایایی بازآزمایی و... محاسبه میشوند. |
برای آلفای کرونباخ
هیچ فرم یا پرسشنامه خاصی به محققان داده نمیشود. همان پرسشنامه اصلی پژوهش به گروهی از افراد که مشابه جامعه آماری هستند (یا در برخی موارد به بخشی از نمونه اصلی) داده میشود.
مثلاً اگر پرسشنامه شما ۳۰ سؤال دارد:
- آن را به ۳۰ تا ۵۰ نفر از جامعه هدف (یا نمونهای مشابه آن) میدهید.
- پاسخها را در SPSS، R یا نرمافزارهای مشابه وارد میکنید.
- نرمافزار مقدار آلفای کرونباخ را محاسبه میکند.
برای پایایی بازآزمایی (Test–Retest)
باز هم همان پرسشنامه اصلی به همان افراد داده میشود:
- بار اول پرسشنامه تکمیل میشود.
- پس از حدود ۲ تا ۴ هفته، همان افراد دوباره همان پرسشنامه را تکمیل میکنند.
- همبستگی بین دو مجموعه نمرات محاسبه میشود.
چند نفر برای بررسی پایایی لازم است؟
بهطور معمول:
- ۳۰ نفر: حداقل تعداد متداول برای اجرای مطالعه مقدماتی (Pilot Study)
- ۳۰ تا ۵۰ نفر: رایجترین تعداد برای محاسبه آلفای کرونباخ
- ۵۰ نفر یا بیشتر: دقت بیشتر در برآورد پایایی
بنابراین:
- روایی محتوا ← توسط خبرگان/متخصصان (معمولاً ۱۰ تا ۱۵ نفر) بررسی میشود.
- پایایی ← توسط پاسخدهندگان جامعه هدف که همان پرسشنامه را تکمیل میکنند، سنجیده میشود.
این یکی از رایجترین اشتباهات در پایاننامههاست؛ برخی تصور میکنند برای پایایی هم باید از متخصصان نظرخواهی شود، در حالی که پایایی بر اساس پاسخهای واقعی شرکتکنندگان به پرسشنامه محاسبه میشود، نه نظر متخصصان.
