Riset Evaluasi

RISET EVALUASI

    HAKEKAT

Evaluasi adalah suatu kegiatan yang biasanya dilakukan untuk membuat jajmen terhadap kelayakan suatu perencanaan, implementasi, dan hasil suatu program atau kebiajakn. Menurut Stanley dan Hopkins (1978): “We use the world evaluation to designate summing-up process in which value judgements play a large part, ...” Jadi, evaluasi adalah suatu kegiatan untuk membuat jajmen tentang nilai sesuatu.

Fokus evaluasi terdiri dari empat macam, yaitu: 1) perencanaan program (evaluasi program), 2) implementasi suatu program (evaluasi proses), 3) hasil dari implementasi (evaluasi hasil), dan 4) dampak dari implementasi suatu kebijakan (evaluasi dampak).

1        Evaluasi program

Dalam evaluasi program pelaksanaan evaluasi difokuskan pada program itu sendiri untuk menunjukkan tentang kesesuaian program dengan visi dan misi lembaga atau organisasi, kesesuaian program dengan tujuan lembaga, kesesuaian dengan rencana strategis, kesesuaian dengan hasil yang diharapkan dari pelaksanaan program, efektifitas pelaksanaan program, efisiensi pelaksanaan program baik secara internal maupun eksternal, dan keefektifan biaya pelaksanaan program.

2        Evaluasi proses

Evaluasi proses difokuskan pada proses yang dilaksanakan dalam implementasi program serta berbagai variabel yang terlibat dalam proses tersebut terkait dengan metode dan teknik serta interaksi antar variabel dalam proses tersebut (seperti sumber daya manusia, pihak yang diuntungkan, lingkungan, budaya, sarana prasarana, sumber daya).

3        Evaluasi Hasil (evaluasi output)

Evaluasi hasil difokuskan pada hasil yang dicapai dari pelaksanaan program. Fungsi dari evaluasi hasil adalah untuk mengetahui keberhasilan program, maupun sebagai dasar untuk melakukan perbaikan.

4        Evaluasi Dampak (evaluasi outcome)

Evaluasi dampak difokuskan pada dampak jangka panjang dari pelaksanaan suatu program, yang diketahui setelah penerima atau sasaran program memanfaatkan hasil yang diperolehnya.

Pelaksanaan evaluasi dapat dilakukan secra internal dan eksternal. Evaluasi internal jika evaluasi dilakukan oleh pihak didalam sistem yang melaksanakan program itu. Evaluasi eksternal biasanya memanfaatkan pihak lain yang bersifat independen mengerjakan evaluasi.

Riset evaluasi merupakan suatu investigasi ilmiah yang dilakuakn oleh kepentingan evaluasi. Riset ini dilakukan untuk menjajmen tentang merit, nilai, keunggulan atau manfaat dari suatu kebijakan atau program yang dikaitkan dengan kepentingan analisis kebijakan.

Meskipun evaluasi dan riset evaluasi memiliki kepentingan yang sama untuk melakukan penilaian sehingga hasilnya dapat dijadikan pertimbangan untuk mengambil kebijakan untuk menuju hasil yang lebih optimal, keduanya memiliki perbedaan jika dilihat sari aspek metodologi. Evaluasi dapat dilakukan tanpa riset, tanpa menerapkan metodologi dan prosedur riset ilmiah. Sedangkan, riset evaluasi menerapkan metodologi ilmiah dan prosedur ilmiah.

B.     MODEL EVALUASI

Ibrahim dan Ali (2007) membuat kategori dalam model evaluasi, yaitu:

1        Model pengukuran (measurement model)

Model pengukuran menitikberatkan pada kegiatan pengukuran dalam proses evaluasi. Pengkuran dipandang sebagai kegiatan menentukan besarnya suatu sifat yang dimiliki objek, orang atau peristiwa dalam bentuk unit ukuran tertentu.

2        Model persesuaian (congruence model)

Evaluasi pada model ini dimaksudkan untuk memperoleh informasi gambaran mengenai efektifitas suatu program mencapai tujuan. Hasil evaluasi yang diperoleh berguna bagi kepentingan penyempurnaan program dan untuk memberikan informasi kepada pemangku kepentingan mengenai keberhasilan yang dicapai oleh program itu.

3        Model evaluasi sistem ( system evaluation model)

Evaluasi pada model ini dimaksudkan untuk membandingkan kinerja berbagai dimensi program yang sedang dikembangkan dengan sejumlah kriteria tertentu, akhirnya sampai pada deskrisi dan jajmen mengenai program yang dinilai (baik dan buruk, efektif dan tidak efektif).

4        Model Iluminasi (Ilumination model)

Tujuan evaluasi menurut model ini adalah mengadakan studi terhadap program inovasi, bagaimana pelaksanaan itu dipengaruhi oleh situasi dimana program yang bersangkutan dikembangkan, apa kebaikan-kelemahannya, dan bagaimana program tersebut mempengaruhi masyarakat. Model ini juga memandang evaluasi sebagai masukan untuk kepentingan pengambilan keputusan dalam rangka penyesuaian dan penyempurnaan program yang dikembangkan.

Objek evaluasi yang diajukan mencakup: 1) latar belakang dan perkembangan program, 2) proses pelaksanaan program, 3) hasil yang dicapai, 4) kesukaran-kesukaran yang dialami program.

Model evaluasi lainnya dikembangkan oleh Borg dan Gall (1996), yang terdiri dari:

a.       Evaluasi melalui pengukuran

Evaluasi dilakukan melalui pengukuran kemampuan seperti tes individual.

b.      Evaluasi kinerja yang dikaitkan dengan tujuan

Michael scriven menggunakan dua istilah untuk evaluasi jenis ini, yaitu evaluasi formatif dan evaluasi sumatif. Evaluasi formatif dihubungkan untuk keperluan penyempurnaan program, evaluasi sumatif untuk mengetahui nilai dari pelaksanaan suatu program.

c.       Evaluasi untuk pembuatan keputusan

Evaluasi yang menganalisis keseluruhan komponen program. Daniel Stufflebeam menggolongkan program menjadi fokus evaluasi dalam empat dimensi, yaitu konteks, masukan, proses dan produk yang lebih dikenal dengan model CIPP (Context, input, process, product).

d.      Evaluasi untuk mengidentifikasi isu-isu program

Evaluasi ini dilakukan untuk riset terhadap isu-isu yang muncul dan mencari pemecahan terhadap masalah yang terkait. Evaluasi ini juga dikenal dengan veluasi responsif.

e.       Evaluasi adversari

Evaluasi adverseari dilakukan terhadap suatu aspek dari evaluasi responsif tertentu, datanya dikumpulkan secara lebih komprehensif dari kesaksian yang menjadi fokus evaluasi (berupa kesaksian negatif dan kesaksian positif). Empat tahapan dalam evaluasi adverseri: pertama, merumuskan isu; kedua, mereduksi isu-isu yang menjadi prioritas; ketiga, dikaji isu prioritas dalam dua kelompok tim (positif dan negatif); dan keempat, melakukan sesi pra-dengar pendapat dan dengar pendapat formal.

 C.     JENIS-JENIS RISET EVALUASI

Jenis evaluasi yang dilakukan untuk beberapa kepentingan, dibedakan menjadi:

1.      Riset evaluasi untuk asesmen kebutuhan

Kebutuhan yang dimaksud dalam riset evaluasi adalah perbedaan antara kondisi yang sebenarnya ada dan kondisi yang diharapkan yang dikelompokkan dalam sejumlah kategori sangat penting (urgent), penting (important), dan diperlukan (necessary).

2.      Riset evaluasi Formatif dan Sumatif

Riset evaluasi jenis ini memiliki acuan yang sama yaitu tujuan, dimana pelaku riset menjadikan tujuan program sebagai acuan melalukan evaluasi. Setiap tujuan dielaborasi kedalam berbagai indikator kinerja, dan mengacu pada indikator-indikator itu dikembangkan instrumen untuk mengumpulkan data atau mengukur kinerja implementasi program.

Perbedaan antara evaluasi formatif dan sumatif, diringkas dalam tabel berikut:

No	Evaluasi formatif	Evaluasi Sumatif
1	Dilakukan untuk kepentingan pengumpulan data tentang program pada saat program itu dalam pengembangan.	Dilakukan setelah suatu program selesai diimplementasikanuntuk mengetahui derajat manfaat dan keberhasilan program dalam mencapai tujuan.
2.	Biasanya dilakukan oleh pihak yang ada dalam organisasi (Secara internal), menggunakan observasi atau wawancara.	Dilakukan secara eksternal, oleh pihak di luar organisisasi, menggunakna instrumen yang valid.
3.	Hasil evaluasi tidak dapat digeneralisasi.	Hasil evaluasi dapat digeneralisasi.

Riset evaluasi Responsif

Riset evaluasi ini dilakukan untuk merepon berbagai isu dan permasalahan yang muncul saat ini yang menjadi kepedulian para pemangku kepentingan. Pada mumnya jenis riset ini dilaksanakan oleh sebuah tim yang terdiri dari para pakar.

  Tahapan pada jenis riset ini:

a.       Memprakarsai dan melaksanakan evaluasi, ditandai dengan adanya kontrak antar klien dan pelaku riset.

b.      Mengidentifikasi kepedulian, isu-isu dan nilani-nilai dari pemangku kepentingan melalui wawancara atau penyebaran kuisioer.

c.       Melakukan pengumpulan data atau infromasi terkait berbagai kepedulian, isu dan nilai-nilai yang diidentifikasi dari para pemangku kepentingan.

d.      Pembuatan laporan hasil riset dan rekomendasi yang dibuat berdasarkan hasil riset itu.

D.    KETERKAITAN EVALUASI DAN PEMBUATAN KEBIJAKAN

Dalam konteks pembuatan kebijakan publik, hasil riset apapun dapat dijadikan dasar dalam melakukan analisis kebijakan, terutama bila riset itu dilakukan terhadap permasalahan yang relevan dengan suatu kebijakan tertentu.

Suatu riset yang secara khusus dilakukan untuk kepentingan pembuatan kebijakan, maka hasilnya akan dapat dimanfaatkan oleh pembuat kebijakan itu sendiri. Kebijakan yang dibuat berdasarkan hasil riset itu adalah kebijakan tentang pengembangan program atau kurikulum yang sesuai dengan kebutuhan. Kebijakan seperti ini diperlukan agar program yang dirancang benar-benar dapat menjawab kebutuhan sebenarnya.

Langkah-langkah dalam pelaksanaan riset evaluasi bila dikaitkan dengan pengambilan kebijakan adalah sebagai berikut:

1.      Merumuskan fokus evaluasi berdasarkan kesepakatan antara pelaku rset dan klien.

2.      Mengembangkan model bingkai acuan.

3.      Rancangan studi evaluasi yang mencakup pendekatan yang digunakan, metode riset, sumber data, teknik pengumpulan, dan analisa data, dan rencana pelaksanaan.

4.      Pengembangan instrumen evaluasi

5.      Pelaksanaan pengumpulan dan analisis data

6.      Analisis kebiakan berdasarkan data yang terkumpul

7.      Perumusan kesimpulan dan rekomendasi dikaitkan dengan fokus evaluasi yang menggambarkan bagaimana kondisi objektif berdasarkan data empirik.

E.     PENGGUNAAN TEKNIK DELFI

Teknik Delfi adalah suatu teknik komunikasi terstruktur dalam membuat ramalan (forecasting) atau prakiraan yang dilakukan secara sistematik dan interaktif.  Prinsip dasarnya bahwa jajmen terhadap sesuatu yang diprakirakan akan terjadi atau dibutuhkan yang disepakati oleh sejumlah orang secara konsensus, jauh lebih baik daripaada dilakukan oleh hanya satu pakar.

Pelaksanaan penggunaan teknik ini dengan cara meminta para pakar memberikan pendapatnya tentang peluang, frekuensi dan intesitas yang mungkin akan terjadi. Secara umum pelaksanaannya dapat digunakan dalam dua cara, yaitu: dengan memanfaatkan kegiatan semacam studi survei dan teknik delfi mini atau Estimate-Talk-Estimate (ETE) yang dibuat dalam pertemuan tatap muka.

Karakteristik utama teknik delfi:

1.      Kontribusi awal dari para pakar adalah dalam bentuk jawaban terhadapp kuisioner serta komentarnya terhadap jawaban-jawaban itu.

2.      Para peserta memberikan komentar terhadap ramalan masing-masing respon peserta lain dan kemajuan panel secara keseluruhan

3.      Biasanya para panel itu tidak dimunculkan namanya agar terhindar dari subjektivitas.

4.      Koorninator panel memilih para pakar dalam bidang yang terkaitt dengan masalah yang dianalisis.

Penggunaan

Teknik delfi biasanya digunakan pada evaluasi dan perumusan kebijakan. Dalam rangka evaluasi, teknik delfi digunakan untuk menilai keberadaan suatu program atau kebijakan dengan cara meminta pendapat dan jajmen dari para pakar yang memiliki pengetahuan tentang substansi program dan kebijakan yang dievaluasi.Dalam rangka perumusan kebiajakn, dilakukan dengan meminta mereka untuk membuat peramalan atau prakiraan tentang berbagai hal yang diantisipasi akan terjadi atau dibutuhkan pada masa yang akan datang.

Prosedur Pelaksanaan

Dalam pelaksanaan teknik delfi instrumen yang digunakna adalah kuisioner tipe jawaban terbuka (open-ended). Prosedur umum terdiri dari tujuh langkah, yaitu:

1.      Merumuskan substansi apa yang akan dibuat ramalan atau prakiraan terkait dengan isu atau persoalan yang dihadapi

2.      Menyiapkan bentuk awal kuisioner yang terdiri dari sejumlah pertanyaan atau pernyataan tipe jawaban terbuka.

3.      Memilih sampel studi sekitar 100 orang yang memiliki pemahaman isu-isu yang distudi.

4.      Melakukan pengiriman bentuk awal kuisioner kepada sampel untuk menjawab atau mengisi kuisioner itu, kemudian berdasarkan respon terhadap bentuk awal kuisioner selanjutnya dilakukan revisi dan diedarkan kuisioner yang direvisi.

5.      Kuisioner dikembalikan lagi pada responden yang sama.

6.      Mengulangi cara yang sama seperti langkah ketiga sekurang-kurangnya empat kali putaran agar diperoleh konsensus hasil pemikiran terbaik.

7.      Memperoleh sejumlah rumusan kesimpulan, yang berupa daftar hasil perumusan ramalan tentang sesuatu yang dillakukan kajiannya menggunakan teknik delfi.

PERTANYAAN

1.      Apakah desain dari riset evaluasi (kualitatif atau kuantitatif)?

2.      Bagaimana riset evaluasi dapat diterapkan pada bidang penelitian pendidikan?

3.      Penyampelan dalam teknik delfi apakah harus mengumpulkan sekitar 100 pakar? Kemudian dalam menentukan sampel, dalam putaran berikutnya bagaimana kalau mengatasi kalau terjadi kehilangan sampel, dikarenakan pakar tersebut mengundurkan diri dari penyampelan?

4.      Dengan teknik apakah data yang dikumpulkan dianalisis hingag berkali-kali putaran? Dan apakah jenis pertanyaan dari kuisioner tersebut sama dengan kuisioner pada putaran sebelumnya?