Menyusun kisi-kisi soal evaluasi dimaksudkan agar materi evaluasi betul-betul representatif dan relevan dengan materi pelajaran yang sudah diberikan oleh guru kepada peserta didik. Jika materi evaluasi tidak relevan dengan materi pelajaran yang telah diberikan, maka akan berakibat hasil evaluasi itu kurang baik. Begitu juga jika materi evaluasi terlalu banyak dibandingkan dengan materi pelajaran, maka akan berakibat sama. Untuk melihat apakah materi evaluasi relevan dengan materi pelajaran atau apakah materi evaluasi terlalu banyak atau kurang, Anda harus menyusun kisi-kisi (lay-out atau blue-print atau table of specifications).  

Kisi-kisi adalah format pemetaan soal yang menggambarkan distribusi item untuk berbagai topik atau pokok bahasan berdasarkan jenjang kemampuan tertentu. Fungsi kisi-kisi adalah sebagai pedoman untuk menulis soal atau merakit soal menjadi perangkat tes. Jika Anda memiliki kisi-kisi yang baik, maka Anda akan memperoleh perangkat soal yang relatif sama sekalipun penulis soalnya berbeda. Dalam konteks penilaian hasil belajar, kisi-kisi disusun berdasarkan silabus setiap mata pelajaran. Jadi, Anda harus melakukan analisis silabus terlebih dahulu. Perhatikan langkah-langkah berikut ini :

Kisi-kisi ini menjadi penting dalam perencanaan evaluasi, karena didalamnya terdapat sejumlah indikator sebagai acuan dalam menulis soal. Kisi-kisi soal yang baik harus memenuhi persyaratan tertentu, antara lain :

a. Representatif, yaitu harus betul-betul mewakili isi kurikulum yang akan dievaluasi.

b. Komponen-komponennya harus terurai/rinci, jelas, dan mudah dipahami.

c. Soalnya dapat dibuat sesuai dengan indikator dan bentuk soal yang ditetapkan.

Salah satu unsur penting dalam komponen matriks adalah indikator. Indikator adalah rumusan pernyataan sebagai bentuk ukuran spesifik yang menunjukkan ketercapaian kompetensi dasar dengan menggunakan kata kerja operasional (KKO). Dalam praktiknya, penggunaan kata kerja operasional untuk setiap indikator harus disesuaikan dengan domain dan jenjang kemampuan yang diukur.

Rumusan indikator sebenarnya hampir sama dengan tujuan pembelajaran khusus atau tujuan tingkah laku (behavioral objective). Tujuan tingkah laku adalah tujuan atau hasil belajar yang diharapkan dan dinyatakan dalam bentuk tingkah laku atau kinerja peserta didik yang dapat diamati. Dalam kegiatan evaluasi, fungsi utama tujuan tingkah laku adalah sebagai alat yang sistematis untuk merancang cara-cara melakukan evaluasi terhadap tingkah laku peserta didik.

Manfaat adanya indikator adalah (a) guru dapat memilih materi, metode, media, dan sumber belajar yang tepat, sesuai dengan kompetensi yang telah ditetapkan, dan (b) sebagai pedoman dan pegangan bagi guru untuk menyusun soal atau instrument penilaian lain yang tepat, sesuai dengan standar kompetensi dan kompetensi dasar yang telah ditetapkan.

Untuk mengukur pencapaian target dalam indikator, sebaiknya dalam menyusun kisi-kisi soal evaluasi Anda menyusun butir soal dalam format khusus. Hal ini bermanfaat untuk menimbang apakah rumusan indikator sudah benar atau belum, dan apakah sudah konsisten antara indikator dengan butir soal.

Setelah dirumuskan tujuan atau kompetensi secara rinci, Anda perlu menentukan ruang lingkup materi yang hendak diukur dan perbandingannya. Ruang lingkup materi yang hendak diukur harus sesuai dengan silabus/ kurikulum yang digunakan agar derajat keesuaian dapat diperoleh secara optimal. Selanjutnya, ditentukan pula perbandingan bobot materi yang akan diukur. Berat-ringannya bobot bergantung kepada urgensi materi dan kompetensi yang harus dikuasai peserta didik. Di samping itu, Anda juga harus menyusun bentuk soal secara bervariasi agar kelemahan setiap bentuk soal dapat ditutupi oleh bentuk soal yang lain.

Dalam kisi-kisi, Anda harus memperhatikan domain yang akan diukur, seperti telah dikemukakan sebelumnya. Ada pula sistematika yang lebih sederhana yaitu aspek recall, komprehensi, dan aplikasi. Aspek recall berkenaan dengan aspek-aspek pengetahuan tentang istilah-istilah, definisi, fakta, konsep, metode dan prinsip-prinsip. Aspek komprehensi berkenaan dengan kemampuan-kemampuan antara lain : menjelaskan, menyimpulkan suatu informasi, menafsirkan fakta (grafik, diagram, tabel, dll), mentransferkan pernyataan dari suatu bentuk ke dalam bentuk yang lain (misalnya dari pernyataan verbal kepada non-verbal atau dari verbal ke dalam bentuk rumus), memprakirakan akibat atau konsekwensi logis dari suatu situasi. Aspek aplikasi meliputi kemampuan-kemampuan antara lain : menerapkan hukum/prinsip/teori dalam suasana yang sesungguhnya, memecahkan masalah, membuat (grafik, diagram, dan lain-lain), mendemontrasikan penggunaan suatu metode, prosedur, dan lain-lain.

Dalam menyusun kisi-kisi soal evaluasi, tingkat kesukaran soal juga harus diperhatikan agar Anda dapat mengetahui dan menetapkan berapa jumlah soal yang termasuk sukar, sedang dan mudah. Adapun besar-kecilnya jumlah soal untuk tiap-tiap tingkat kesukaran tidak ada yang mutlak. Biasanya, jumlah soal sedang lebih banyak daripada jumlah soal mudah dan sukar, sedangkan jumlah soal mudah dan soal sukar sama banyaknya. Misalnya, soal mudah ditentukan 30%, sedang 40%, dan sukar 30 %.