Tentukan sumber resmi dan pemiliknya
Daftar dokumen aktif, sumber penyimpanan, pemilik, dan jadwal pembaruan. Dua SOP yang memberi jawaban berbeda perlu diselesaikan oleh pemilik proses, bukan dipilih model secara sembarang. Simpan informasi versi dan tanggal berlaku. Jika dokumen dicabut, pastikan indeks serta cache mengikuti perubahan tersebut. Mulai dari koleksi terbatas dengan definisi yang jelas. Kualitas pencarian berawal dari materi yang dapat dibaca, dikelola, dan dibedakan antara versi aktif dan arsip.
Terapkan hak akses saat pencarian
Pengguna yang tidak boleh membaca sebuah dokumen juga tidak boleh memperoleh ringkasannya melalui AI. Desain perlu memetakan identitas pengguna dan izin sumber ke proses retrieval. Filter dilakukan sebelum materi disertakan dalam konteks model. Menyembunyikan tautan sumber setelah jawaban terbentuk sudah terlambat. Dokumentasi Microsoft menjelaskan kontrol pada tingkat dokumen dan penyaringan akses untuk RAG; pilihan teknis bergantung pada platform, struktur data, dan integrasi identitas yang tersedia.
Bedakan pertanyaan tanpa jawaban dan tanpa izin
Ketika informasi tidak ditemukan, sistem dapat meminta konteks tambahan atau mengarahkan pengguna kepada pemilik proses. Ketika pengguna tidak berwenang, respons tidak perlu mengungkap judul atau potongan dokumen yang dilindungi. Rancang pesan yang berguna tanpa membocorkan informasi sumber. Uji pengguna dari tim berbeda, akun yang izinnya berubah, dan sesi yang masih menggunakan cache lama. Hak akses bukan sekadar fitur antarmuka; seluruh alur pencarian dan keluaran perlu mengikuti batas yang sama.
Periksa rujukan dan isi jawaban bersama
Jawaban dengan tautan belum tentu didukung oleh isi dokumen. Evaluasi apakah rujukan benar-benar mendukung pernyataan, versi yang dipakai berlaku, dan bagian yang relevan dapat ditemukan. Siapkan pertanyaan dengan satu sumber, beberapa sumber, pertanyaan ambigu, serta jawaban yang tidak ada. Catat kapan asisten mengakui keterbatasan. Pisahkan penilaian kualitas retrieval dari kualitas penulisan jawaban agar tim tahu bagian yang perlu diperbaiki.
Perlakukan dokumen sebagai sumber, bukan instruksi sistem
Dokumen dapat memuat teks yang mencoba mengubah perilaku asisten. Isi hasil pencarian tidak boleh memberi kewenangan baru atau menggantikan aturan aplikasi. Batasi alat yang dapat dipakai, pisahkan data dari instruksi, dan uji contoh yang berisi perintah di luar kebutuhan pencarian. Untuk asisten pengetahuan, akses baca sering cukup untuk tahap awal. Tindakan mengubah sistem atau mengirim pesan merupakan scope tambahan yang memerlukan rancangan otorisasi tersendiri.
Siapkan matriks evaluasi sebelum pilot
Catat jenis pertanyaan, pengguna uji, sumber yang boleh dipakai, jawaban yang diharapkan, dan respons ketika akses ditolak. Matriks ini memberi pembanding yang dapat diulang setelah perubahan dokumen atau model. KODE dapat membantu merancang pencarian dokumen, kontrol akses, evaluasi, dan panduan pembaruan. Untuk diskusi awal, cukup gambaran jumlah dokumen, kategori pengguna, dan kebutuhan pencarian tanpa mengirim sumber rahasia.