Contoh Kasus: Pengkodean Pengalaman Mahasiswa dengan Pembelajaran Daring
Pada penelitian tentang pengalaman mahasiswa dengan pembelajaran daring, dua peneliti (Peneliti A dan Peneliti B) mengkode transkripsi wawancara dari 12 mahasiswa. Berikut adalah langkah-langkah perhitungan reliabilitas antar-penilai untuk menilai konsistensi pengkodean mereka.
Langkah 1: Data Mentah - Kutipan Wawancara dan Kode
Berikut adalah kutipan wawancara dengan mahasiswa dan kode yang diberikan oleh kedua peneliti:
| # | Kutipan Wawancara | Kode Peneliti A | Kode Peneliti B | Kecocokan |
|---|---|---|---|---|
| 1 | "Saya sangat kesulitan untuk tetap fokus saat kuliah daring karena banyak gangguan di rumah." | Tantangan Konsentrasi | Tantangan Konsentrasi | Ya |
| 2 | "Koneksi internet saya sering terputus di tengah-tengah kelas, sehingga saya ketinggalan banyak materi." | Kendala Teknis | Kendala Teknis | Ya |
| 3 | "Saya merasa lebih sulit memahami konsep-konsep yang kompleks tanpa penjelasan langsung dari dosen." | Kesulitan Pemahaman | Hambatan Belajar | Tidak |
| 4 | "Saya menyukai fleksibilitas waktu dalam pembelajaran daring, saya bisa mengatur jadwal lebih baik." | Fleksibilitas | Fleksibilitas | Ya |
| 5 | "Diskusi online terasa kurang hidup, banyak mahasiswa yang pasif dan tidak berpartisipasi." | Kurang Interaksi | Kurang Interaksi | Ya |
| 6 | "Saya kesulitan mendapatkan umpan balik langsung dari dosen saat mengerjakan tugas." | Hambatan Belajar | Kurang Interaksi | Tidak |
| 7 | "Saya harus merawat adik saya sambil mengikuti kuliah daring, jadi konsentrasi terbagi." | Tantangan Konsentrasi | Tantangan Konsentrasi | Ya |
| 8 | "Beberapa mata kuliah praktikum sangat sulit dilakukan secara daring." | Kesulitan Pemahaman | Kesulitan Pemahaman | Ya |
| 9 | "Saya dapat merekam kuliah dan menontonnya lagi, yang sangat membantu untuk mata kuliah sulit." | Fleksibilitas | Fleksibilitas | Ya |
| 10 | "Mikrofon dan kamera saya rusak di tengah semester, sehingga sulit berpartisipasi." | Kendala Teknis | Kendala Teknis | Ya |
| 11 | "Saya merasa gagap teknologi dan kesulitan menggunakan platform pembelajaran online." | Kendala Teknis | Hambatan Belajar | Tidak |
| 12 | "Belajar di rumah membuat saya bisa lebih nyaman dan tidak menghabiskan waktu untuk perjalanan ke kampus." | Fleksibilitas | Fleksibilitas | Ya |
Keterangan Kode:
- Tantangan Konsentrasi: Kesulitan fokus karena gangguan di rumah atau lingkungan
- Kendala Teknis: Masalah perangkat keras, internet, atau platform digital
- Kesulitan Pemahaman: Kesulitan memahami materi akademis dalam format daring
- Hambatan Belajar: Rintangan umum dalam proses pembelajaran
- Fleksibilitas: Manfaat terkait waktu dan tempat dalam pembelajaran daring
- Kurang Interaksi: Keterbatasan komunikasi dengan dosen atau sesama mahasiswa
Langkah 2: Buat Tabel Kontingensi
Tabel kontingensi menunjukkan distribusi frekuensi kode yang diberikan oleh kedua peneliti. Cara membacanya:
- Baris = kode dari Peneliti A
- Kolom = kode dari Peneliti B
- Sel (perpotongan) = berapa kali kombinasi kode A+B muncul
- Contoh: angka 2 di baris "Tantangan Konsentrasi" dan kolom "Tantangan Konsentrasi" berarti ada 2 kutipan yang diberi kode ini oleh kedua peneliti
| Kode Peneliti A | Kode Peneliti B | Total | |||||
|---|---|---|---|---|---|---|---|
| Tantangan Konsentrasi | Kendala Teknis | Kesulitan Pemahaman | Hambatan Belajar | Fleksibilitas | Kurang Interaksi | ||
| Tantangan Konsentrasi | 2 | 0 | 0 | 0 | 0 | 0 | 2 |
| Kendala Teknis | 0 | 2 | 0 | 1 | 0 | 0 | 3 |
| Kesulitan Pemahaman | 0 | 0 | 1 | 1 | 0 | 0 | 2 |
| Hambatan Belajar | 0 | 0 | 0 | 0 | 0 | 1 | 1 |
| Fleksibilitas | 0 | 0 | 0 | 0 | 3 | 0 | 3 |
| Kurang Interaksi | 0 | 0 | 0 | 0 | 0 | 1 | 1 |
| Total | 2 | 2 | 1 | 2 | 3 | 2 | 12 |
Catatan Penting:
- Sel dengan warna hijau adalah kode yang sama dari kedua peneliti (kesepakatan)
- Sel dengan warna kuning adalah kode yang berbeda (ketidaksepakatan):
- Kendala Teknis (A) → Hambatan Belajar (B): 1 kasus
- Kesulitan Pemahaman (A) → Hambatan Belajar (B): 1 kasus
- Hambatan Belajar (A) → Kurang Interaksi (B): 1 kasus
Cara Membuat Tabel Kontingensi di Excel
- Buat daftar semua kode yang digunakan oleh kedua peneliti
- Buat tabel dengan kode Peneliti A sebagai baris dan kode Peneliti B sebagai kolom
- Untuk setiap kutipan, tambahkan 1 pada sel yang sesuai dengan kombinasi kode
- Hitung total untuk setiap baris dan kolom
Langkah 3: Hitung Cohen's Kappa
Formula Cohen's Kappa:
κ = (po - pe) / (1 - pe)
Dimana:
- po = proporsi kesepakatan yang diamati
- pe = proporsi kesepakatan yang diharapkan terjadi secara kebetulan
Perhitungan po (kesepakatan yang diamati):
po = (jumlah sel diagonal) / (total kasus)
po = (2 + 2 + 1 + 0 + 3 + 1) / 12
po = 9 / 12 = 0.75
Perhitungan pe (kesepakatan yang diharapkan secara kebetulan):
pe = Σ[(total baris i × total kolom i) / (total kasus)2]
pe = [(2×2) + (3×2) + (2×1) + (1×2) + (3×3) + (1×2)] / (12)2
pe = [4 + 6 + 2 + 2 + 9 + 2] / 144
pe = 25 / 144 = 0.1736
Perhitungan κ (Cohen's Kappa):
κ = (po - pe) / (1 - pe)
κ = (0.75 - 0.1736) / (1 - 0.1736)
κ = 0.5764 / 0.8264
κ = 0.697
Interpretasi Cohen's Kappa = 0.697
Nilai 0.697 berada pada rentang 0.61-0.80, yang berarti kesepakatan antara kedua peneliti adalah Substansial. Ini menunjukkan bahwa pengkodean memiliki reliabilitas antar-penilai yang cukup tinggi dan dapat dipercaya.
Tampilan di Excel
| A | B | C | D | E | F | G | H | |
|---|---|---|---|---|---|---|---|---|
| 1 | Cohen's Kappa - Reliabilitas Antar-Penilai | |||||||
| 2 | ||||||||
| 3 | Tabel Kontingensi (Peneliti A x Peneliti B) | |||||||
| 4 | Peneliti B | |||||||
| 5 | Peneliti A | Tantangan Konsentrasi | Kendala Teknis | Kesulitan Pemahaman | Hambatan Belajar | Fleksibilitas | Kurang Interaksi | Total |
| 6 | Tantangan Konsentrasi | 2 | 0 | 0 | 0 | 0 | 0 | 2 |
| 7 | Kendala Teknis | 0 | 2 | 0 | 1 | 0 | 0 | 3 |
| 8 | Kesulitan Pemahaman | 0 | 0 | 1 | 1 | 0 | 0 | 2 |
| 9 | Hambatan Belajar | 0 | 0 | 0 | 0 | 0 | 1 | 1 |
| 10 | Fleksibilitas | 0 | 0 | 0 | 0 | 3 | 0 | 3 |
| 11 | Kurang Interaksi | 0 | 0 | 0 | 0 | 0 | 1 | 1 |
| 12 | Total | 2 | 2 | 1 | 2 | 3 | 2 | 12 |
| 13 | ||||||||
| 14 | Perhitungan Cohen's Kappa | |||||||
| 15 | Total kasus (n) | 12 | ||||||
| 16 | Jumlah kesepakatan (diagonal) | 9 | ||||||
| 17 | Proporsi kesepakatan yang diamati (po) | 0.75 | ||||||
| 18 | Proporsi kesepakatan yang diharapkan (pe) | 0.1736 | ||||||
| 19 | Cohen's Kappa (κ) | 0.697 | ||||||
| 20 | Interpretasi | Substansial (0.61-0.80) | ||||||
Formula Excel yang Digunakan:
- Total kasus:
SUM(C12:H12) - Jumlah kesepakatan:
SUM(C6,D7,E8,F9,G10,H11) - Proporsi kesepakatan yang diamati (po):
C16/C15 - Proporsi kesepakatan yang diharapkan (pe):
SUMPRODUCT((C6:H11)*(C12:H12))/(C15^2) - Cohen's Kappa:
(C17-C18)/(1-C18)
Template Excel Cohen's Kappa yang Dapat Diunduh
Template Excel berikut dapat Anda unduh dan gunakan untuk menghitung Cohen's Kappa dalam penelitian Anda sendiri:
Template ini termasuk contoh data dan formula siap pakai