Evaluasi Pend.Fisika

I.                   PENDAHULUAN

A. Pengertian

Kegiatan menganalisis butir soal merupakan suatu kegiatan yang harus dilakukan guru untuk meningkatkan mutu soal yang telah ditulis. Kegiatan ini merupakan proses pengumpulan, peringkasan, dan penggunaan informasi dari jawaban siswa untuk membuat keputusan tentang setiap penilaian (Nitko, 1996: 308). Tujuan penelaahan adalah untuk mengkaji dan menelaah setiap butir soal agar diperoleh soal yang bermutu sebelum soal digunakan. Di samping itu, tujuan analisis butir soal juga untuk membantu meningkatkan tes melalui revisi atau membuang soal yang tidak efektif, serta untuk mengetahui informasi diagnostik pada siswa apakah mereka sudah/belum memahami materi yang telah diajarkan (Aiken, 1994: 63). Soal yang bermutu adalah soal yang dapat memberikan informasi setepat-tepatnya sesuai dengan tujuannya di antaranya dapat menentukan peserta didik mana yang sudah atau belum menguasai materi yang diajarkan guru.

Dalam melaksanakan analisis butir soal, para penulis soal dapat menganalisis secara kualitatif, dalam kaitan dengan isi dan bentuknya, dan kuantitatif dalam kaitan dengan ciri-ciri statistiknya (Anastasi dan Urbina, 1997: 172) atau prosedur peningkatan secara judgment dan prosedur peningkatan secara empirik (Popham, 1995: 195). Analisis kualitatif mencakup pertimbangan validitas isi dan konstruk, sedangkan analisis kuantitatif mencakup pengukuran kesulitan butir soal dan diskriminasi soal yang termasuk validitas soal dan reliabilitasnya.

Jadi, ada dua cara yang dapat digunakan dalam penelaahan butir soal yaitu penelaahan soal secara kualitatif dan kuantitatif. Kedua teknik ini masing-masing memiliki keunggulan dan kelemahan. Oleh karena itu teknik terbaik adalah menggunakan keduanya (penggabungan). Kedua cara ini diuraikan secara rinci dalam buku ini.

B. Manfaat Soal yang Telah Ditelaah

Tujuan utama analisis butir soal dalam sebuah tes yang dibuat guru adalah untuk mengidentifikasi kekurangan-kekurangan dalam tes atau dalam pembelajaran (Anastasi dan Urbina, 1997:184). Berdasarkan tujuan ini, maka kegiatan analisis butir soal memiliki banyak manfaat, di antaranya adalah: (1) dapat membantu para pengguna tes dalam evaluasi atas tes yang digunakan, (2) sangat relevan bagi penyusunan tes informal dan lokal seperti tes yang disiapkan guru untuk siswa di kelas, (3) mendukung penulisan butir soal yang efektif,

 (4) secara materi dapat memperbaiki tes di kelas, (5) meningkatkan validitas soal dan reliabilitas (Anastasi and Urbina, 1997:172). Di samping itu, manfaat lainnya adalah:

 (1) menentukan apakah suatu fungsi butir soal sesuai dengan yang diharapkan, (2) memberi masukan kepada siswa tentang kemampuan dan sebagai dasar untuk bahan diskusi di kelas, (3) memberi masukan kepada guru tentang kesulitan siswa, (4) memberi masukan pada aspek tertentu untuk pengembangan kurikulum, (5) merevisi materi yang dinilai atau diukur, (6) meningkatkan keterampilan penulisan soal (Nitko, 1996: 308-309). Linn dan Gronlund (1995: 315) juga menambahkan tentang pelaksanaan kegiatan analisis butir soal yang hiasanya didesain untuk menjawab pert anyaan-pertanyaan berikut ini.

 (1) Apakah fungsi soal sudah tepat? (2) Apakah soal ini memiliki tingkat kesukaran yang tepat? (3) Apakah soal bebas dari hal-hal yang tidak relevan? (4) Apakah pilihan jawabannya efektif? Lebih lanjut Linn dan Gronlund (1995: 3 16-318) menyatakan bahwa kegunaan analisis butir soal bukan hanya terbatas untuk peningkatkan butir soal, tetapi ada beberapa hal, yaitu bahwa data analisis butir soal bermanfaat sebagai dasar:

 (1) diskusi kelas efisien tentang hasil tes, (2) untuk kerja remedial, (3) untuk peningkatan secara umum pembelajaran di kelas, dan (3) untuk peningkatan keterampilan pada konstruksi tes. Berbagai uraian di atas menunjukkan bahwa analisis butir soal adalah: (1) untuk menentukan soal-soal yang cacat atau tidak berfungsi penggunaannya; (2) untuk meningkatkan butir soal melalui tiga komponen analisis yaitu tingkat kesukaran, daya pembeda, dan pengecoh soal, serta meningkatkan pembelajaran melalui ambiguitas soal dan keterampilan tertentu yang menyebabkan peserta didik sulit. Di samping itu, butir soal yang telah dianalisis dapat memberikan informasi kepada peserta didik dan guru seperti contoh berikut ini.

DATA KEMAMPUAN PESERTA DIDIK NAM A SISWA								NOMOR SOAL*									SKOR TOTAL#									KETERANGAN
5			10			2				6				9			2			7				3				8			4
A	1			1			1				1		1			1		0			1		0				0			7			Normal
B	I			1			1				1		1			0		1			0		0				0			6			Normal
C	0			0			0				1		0			1		1			0		1				1			5			Mengantuk dll.
D	1			0			1				0		0			0		0			0		1				1			4			Menebak
E	1			1			1				0		0			0		0			0		0				0			3			Lamban, berat
JUMLAH		4			3				4			3			2				2			2			1				2			2

Keterangan:

1 = soal yang dijawab benar

 0 = soal yang dijawab salah

 * Soal disusun dari soal yang paling mudah sampai dengan soal yang paling sukar

 # Disusun dari skor yang paling tinggi sampai dengan skor paling rendah

Dari data di atas seperti soal nomor 3, 8, dan 4 (hanya dapat dijawab benar

oleh 1, 2, dan 2 peserta didik) dapat memberikan informasi kepada guru atau pengawas tentang materi soal itu yang telah diajarkan kepada peserta didik. Mereka dapat memperbaiki diri berdasarkan informasi/data di atas. Informasi itu misalnya berupa 10 pertanyaan introspeksi diri atau penilaian diri seperti berikut ini.

PENILAIAN DIRI

NO	ASPEK YANG DITANYAKAN	YA	TIDAK
1.	Apakah guru membuat persiapan mengajar khususnya
	materi yang bersangkutan?
2.	Apakah guru menguasai materi yang bersangkutan?
3.	Apakah guru telah mengajarkan secara maksimal materi
	yang sesuai dengan tuntutan kompetensi yang harus
	dikuasai peserta didik?
4.	Apakah perilaku yang diukur pada materi yang
	ditanyakan dalam soal itu sudah tepat (harus dikuasai
	siswa)?
5.	Apakah materi yang ditanyakan merupakan materi
	urgensi, kontinyuitas, relevansi, dan keterpakaian dalam
	kehidupan sehari-hari tinggi?
6.	Apakah guru memiliki kreativitas dalam memelajarkan
	materi yang bersangkutan?
7.	Apakah guru mampu membangkitkan minat dan
	kegiatan belajar peserta didik khususnya dalam
	membelajarkan materi yang bersangkutan?
8.	Apakah guru telah menyusun kisi-kisi dengan tepat
	sebelum menulis soal?
9.	Apakah guru menulis soal berdasarkan indikator
	dalam kisi-kisi dan kaidah penulisan soal serta menyusun
	pedoman penskoran atau pedoman pengamatannya?
10.	Apakah soal nomor 3, 8, dan 4 valid yaitu memiliki daya
	beda tinggi, tidak salah kunci jawaban, pengecohnya
	berfungsi, atau memang materinya belum diajarkan?

Keterangan: Secara jujur berilah tanda (V) pada kolom Ya dan Tidak.

II. PEMBAHASAN

1.ANALISIS BUTIR SOAL SECARA KUALITATIF

A.    Pengertian

Pada prinsipnya analisis butir soal secara kualitatif dilaksanakan berdasarkan kaidah penulisan soal (tes tertulis, perbuatan, dan sikap). Penelaahan ini biasanya dilakukan sebelum soal digunakan/diujikan. Aspek yang diperhatikan di dalam penelaahan secara kualitatif ini adalah setiap soal ditelaah dari segi materi, konstruksi, bahasa/budaya, dan kunci jawaban/pedoman penskorannya. Dalam melakukan penelaahan setiap butir soal, penelaah perlu mempersiapkan bahan-bahan penunjang seperti:

(1) kisi-kisi tes,

 (2) kurikulum yang digunakan,

 (3) buku sumber, dan

 (4) kamus bahasa Indonesia.

B. Teknik Analisis Secara Kualitatif

Ada beberapa teknik yang dapat digunakan untuk menganalisis butir soal secara kualitatif, diantaranya adalah teknik moderator dan teknik panel. Teknik moderator merupakan teknik berdiskusi yang di dalamnya terdapat satu orang sebagai penengah. Berdasarkan teknik ini, setiap butir soal didiskusikan secara bersama-sama dengan beberapa ahli seperti guru yang mengajarkan materi, ahli materi, penyusun/pengembang kurikulum, ahli penilaian, ahli bahasa, berlatar belakang psikologi. Teknik ini sangat baik karena setiap butir soal dilihat secara bersama-sama berdasarkan kaidah penulisannya. Di samping itu, para penelaah dipersilakan mengomentari/ memperbaiki berdasarkan ilmu yang dimilikinya. Setiap komentar/masukan dari peserta diskusi dicatat oleh notulis. Setiap butir soal dapat dituntaskan secara bersama-sama, perbaikannya seperti apa. Namun, kelemahan teknik ini adalah memerlukan waktu lama untuk rnendiskusikan setiap satu butir soal.

       Teknik panel merupakan suatu teknik menelaah butir soal yang setiap butir soalnya

ditelaah berdasarkan kaidah penulisan butir soal, yaitu ditelaah dari segi materi,

konstruksi, bahasa/budaya, kebenaran kunci jawaban/pedoman penskorannya yang

dilakukan oleh beberapa penelaah. Caranya adalah beberapa penelaah diberikan: butir-

butir soal yang akan ditelaah, format penelaahan, dan pedoman penilaian/

penelaahannya. Pada tahap awal para penelaah diberikan pengarahan, kemudian tahap

berikutnya para penelaah berkerja sendiri-sendiri di tempat yang tidak sama. Para

penelaah dipersilakan memperbaiki langsung pada teks soal dan memberikan komentarnya

serta memberikan nilai pada setiap butir soalnya yang kriterianya adalah: baik, diperbaiki,

atau diganti.

Secara ideal penelaah butir soal di samping memiliki latar belakang materi yang diujikan,

beberapa penelaah yang diminta untuk menelaah butir soal memiliki keterampilan, seperti

guru yang mengajarkan materi itu, ahli materi, ahli pengembang kurikulum, ahli penilaian,

psikolog, ahli bahasa, ahli kebijakan pendidikan, atau lainnya.

C.    Prosedur Analisis Secara Kualitatif

 Dalam menganalisis butir soal secara kualitatif, penggunaan format penelaahan soal akan sangat membantu dan mempermudah prosedur pelaksanaannya. Format penelaahan soal digunakan sebagai dasar untuk menganalisis setiap butir soal. Format penelaahan soal yang dimaksud adalah format penelaahan butir soal: uraian, pilihan ganda, tes perbuatan dan instrumen non-tes. Agar penelaah dapat dengan mudah menggunakan format penelaahan soal, maka para penelaah perlu memperhatikan petunjuk pengisian formatnya. Petunjuknya adalah seperti berikut ini.

1. Analisislah setiap butir soal berdasarkan semua kriteria yang tertera di dalam format!

2. Berilah tanda cek (V) pada kolom "Ya" bila soal yang ditelaah sudah sesuai dengan kriteria!

3. Berilah tanda cek (V) pada kolom "Tidak" bila soal yang ditelaah tidak sesuai dengankriteria, kemudian tuliskan alasan pada ruang catatan atau pada teks soal dan perbaikannya.

a. Format Penelaahan Butir Soal Bentuk Uraian

FORMAT PENELAAHAN BUTIR SOAL BENTUK URAIAN

Mata Pelajaran : .................................

Kelas/semester : .................................

Penelaah

: .................................

No.

Aspek yang ditelaah

Nomor Soal

1

2

3

4

5

6

7

8

9

…

A.

Materi

1

Soal sesuai dengan indikator (menuntut

tes tertulis untuk bentuk Uraian)

2

Batasan pertanyaan dan jawaban

yang diharapkan sudah sesuai

3

Materi yang ditanyakan sesuai dengan

kompetensi (urgensi, relevasi,

kontinyuitas, keterpakaian sehari-

hari tinggi)

4

Isi materi yang ditanyakan sesuai

dengan jenjang jenis sekolah atau

tingkat kelas

B

Konstruksi

5

Menggunakan kata tanya atau perintah

yang menuntut jawaban uraian

6

Ada petunjuk yang jelas tentang cara

mengerjakan soal

7

Ada pedoman penskorannya

8

Tabel, gambar, grafik, peta, atau

No.	Aspek yang ditelaah				Nomor Soal
		1	2	3	4	5	6	7	8	9	…
	yang sejenisnya disajikan dengan
	jelas dan terbaca
C.	Bahasa/Budaya
9	Rumusan kalimat coal komunikatif
10	Butir soal menggunakan bahasa
	Indonesia yang baku
11	Tidak menggunakan kata/ungkapan
	yang menimbulkan penafsiran ganda
	atau salah pengertian
12	Tidak menggunakan bahasa yang
	berlaku setempat/tabu
13	Rumusan soal tidak mengandung

Keterangan: Berilah tanda (V) bila tidak sesuai dengan aspek yang ditelaah!

b. Format Penelaahan Soal Bentuk Pilihan Ganda

FORMAT PENELAAHAN SOAL BENTUK PILIHAN GANDA

Mata Pelajaran : .................................
Kelas/semester : .................................
Penelaah			: .................................
	No.		Aspek yang ditelaah		Nomor Soal
				1	2	3	4	5	…
	A.	Materi
	1	Soal sesuai dengan indikator (menuntut tes tertulis untuk bentuk pilihan ganda
	2.	Materi yang ditanyakan sesuai dengan kompetensi (urgensi, relevasi,kontinyuitas, keterpakaian sehari-hari tinggi)
	3.	Pilihan jawaban homogen dan logis
	4.	Hanya ada satu kunci jawaban
	B.	Konstruksi
	5.	Pokok soal dirumuskan dengan singkat, jelas, dan tegas
	6.	Rumusan pokok soal dan pilihan jawaban merupakan pernyataan yang diperlukan saja
	7.	Pokok soal tidak memberi petunjuk kunci jawaban
	8	Pokok soal bebas dan pernyataan yang bersifat negatif ganda
	9.	Pilihan jawaban homogen dan logis ditinjau dari segi materi
	10.	Gambar, grafik, tabel, diagram, atau sejenisnya jelas dan berfungsi
	11.	Panjang pilihan jawaban relatif sama
	12.	Pilihan jawaban tidak menggunakan pernyataan “semua jawaban di atas salah/benar” dan sejenisnya
	13.	Pilihan jawaban yang berbentuk angka/waktu disusun berdasarkan urutan besar kecilnya angka atau kronologisnya
	14.	Butir soal tidak bergantung pada jawaban soal sebelumnya
	C.	Bahasa/Budaya
	15	Menggunakan bahasa yang sesuai dengan kaidah bahasa Indonesia
	16	Menggunakan bahasa yang komunikatif
	17	Tidak menggunakan bahasa yang berlaku setempat/tabu
	18	Pilihan jawaban tidak mengulang kata/kelompok kata yang sama,kecuali merupakan satu kesatuan pengertian

Keterangan: Berilah tanda (V) bila tidak sesuai dengan aspek yang ditelaah!

2. ANALISIS BUTIR SOAL SECARA KUANTITATIF

A.    Pengertian

Penelaahan soal secara kuantitatif maksudnya adalah penelaahan butir soal didasarkan pada data empirik dari butir soal yang bersangkutan. Data empirik ini diperoleh dari soal yang telah diujikan.

B.     Analisis Butir Soal

Ada dua pendekatan dalam analisis secara kuantitatif, yaitu pendekatan secara klasik dan modern.

1. Klasik

Analisis butir soal secara klasik adalah proses penelaahan butir soal melalui informasi dari jawaban peserta didik guna meningkatkan mutu butir soal yang bersangkutan dengan menggunakan teori tes klasik.

Kelebihan analisis butir soal secara klasik adalah murah, dapat dilaksanakan sehari-hari dengan cepat menggunakan komputer, murah, sederhana, familier dan dapat menggunakan data dari beberapa peserta didik atau sampel kecil (Millman dan Greene, 1993: 358). Adapun proses analisisnya sudah banyak dilaksanakan para guru di sekolah seperti beberapa contoh di bawah ini.

a. Langkah pertama yang dilakukan adalah menabulasi jawaban yang telah dibuat pada setiap butir soal yang meliputi berapa peserta didik yang:

 (1) menjawab benar pada setiap soal, (2) menjawab salah (option pengecoh), (3) tidak menjawab soal. Berdasarkan tabulasi ini, dapat diketahui tingkat kesukaran setiap butir soal, daya pembeda soal, alternatif jawaban yang dipilih peserta didik.

b. Misalnya analisis untuk 32 siswa, maka langkah (1) urutkan skor siswa dari yang tertinggi sampai yang terendah. (2) Pilih 10 lembar jawaban pada kelompok atas dan 10 lembar jawaban pada kelompok bawah. (3) Ambil kelompok tengah (12 lembar jawaban) dan tidak disertakan dalam analisis. (4) Untuk masing-masing soal, susun jumlah siswa kelompok atas dan bawah pada setiap pilihan jawaban. (5) Hitung tingkat kesukaran pada setiap butir soal. (6) Hitung daya pembeda soal. (7) Analisis efektivitas pengecoh pada setiap soal (Linn dan Gronlund, 1995: 318-319).

Analisis Kualitatif Butir Tes Essay

1. Petunjuk Penulisan Butir Tes Essay

Menurut Ebel, petunjuk menyiapkan butir essay adalah sebagai berikut:

a) Ajukan pertanyaan atau tugas-tugas yang mengharuskan siswa untuk menunjukkan pengetahuan yang esensial.

b) Ajukan pertanyaan yang determinan, dalam arti bahwa para ahli bisa sepakat bahwa jawaban tertentu lebih baik dari yang lain. Tidak adanya jawaban yang terbaik mungkin membuat lebih sulit untuk menentukan tingkat prestasi siswa.

c) Tentukan tugas siswa secara lengkap dan khusus tanpa mengganggu pengukuran dari prestasi dimaksud.

d) Berikan pilihan untuk pertanyaan yang lebih spesifik yang dapat dijawab lebih singkat.

e) Hindari memberikan siswa kesempatan untuk memilih pertanyaan yang akan mereka jawab, kecuali dalam keadaan khusus

f) Uji pertanyaan dengan menulis jawaban yang ideal untuk pertanyaan tersebut.

Menurut Popham, petunjukkan menyiapkan butir essay adalah sebagai berikut:

1) Jelaskan kepada siswa tentang kedalaman/keluasan jawaban yang diharapkan.

2) Jelaskan tentang tugas siswa.

3) Jelaskan tentang batas waktu dan penilaian butir.

4) Hindari memberikan pilihan

5) Menunjukkan terlebih dahulu/ memperkirakan respon siswa.

2. Daftar Periksa (Checklist)

Untuk menganalisis kualitas butir soal essay digunakan daftar periksa (checklist). Ajukan pertanyaan-pertanyaan berikut pada setiap butir soal yang telah dibuat. Jika ada pertanyaan yang dijawab “TIDAK”, maka butir soal tersebut harus direvisi.

a) Daftar Periksa Butir Pilihan Ganda

1) Apakah butir ini menilai aspek yang penting dari tujuan pengajaran ?

2) Apakah butir ini sesuai dengan rencana penilaian dalam hal kinerja, penekanan dan jumlah poin ?

3) Apakah butir ini mengharuskan siswa untuk menggunakan pengetahuan dan kemampuan mereka pada situasi baru?

4) Ketika melihat hubungan butir-butir soal pada tes tersebut, apakah butir ini memberikan konstribusi untuk melengkapi materi dan kemampuan berpikir khusus dalam rencana penilaian anda ?

5) Apakah prompt terfokus? Apakah prompt menjelaskan sebuah tugas dengan petunjuk tertentu?

6) Apakah tugas didefinisikan dengan prompt dalam tingkat kompleksitas yang sesuai dengan pendidikan siswa?

7) Untuk mendapatkan nilai yang baik pada soal siswa diharuskan untuk mendemonstrasikan lebih dari mengulang kembali fakta, definisi, daftar, ide, generalisasi dan lain-lain?

8) Apakah kata-kata prompt mengarahkan semua siswa untuk menafsirkan tugas dengan cara yang Anda inginkan?

9) Apakah prompt memberikan kejelasan kepada siswa tentang hal berikut?

a. Besaran atau panjang tulisan yang dibutuhkan.

b. Tujuan yang mereka tulis.

c. Jumlah waktu yang dibutuhkan untuk menjawab butir ini.

d. Atas dasar apa jawaban mereka akan dinilai?

10) Jika prompt dari butir soal essay meminta siswa untuk mengemukakan pendapat mereka tentang hal-hal yang controversial, apakah kata-kata yang digunakan memperjelas bahwa penilaian siswa didasarkan pada logika dan bukti yang mendukung argument mereka, bukan pada posisi yang sebenarnya atau pendapat yang dinyatakan?