AI Fabrication Shield adalah nama yang kami berikan untuk proses verifikasi manusia yang memeriksa setiap kutipan, statistik, dan klaim faktual dalam manuskrip Anda terhadap sumber aslinya sebelum karya tersebut diserahkan. Halaman ini menjelaskan masalah yang diatasi, apa yang kami periksa dan bagaimana caranya, penjelasan jujur ​​tentang apa yang dapat dan tidak dapat dideteksi, serta apa yang akan Anda terima.

Masalahnya, berdasarkan bukti primer

Model bahasa berskala besar sering menghasilkan referensi yang tampak berwibawa tetapi sebenarnya dibuat-buat, salah atribusi, atau diambil dari karya yang telah ditarik kembali. Hal ini didokumentasikan dalam literatur yang ditinjau oleh rekan sejawat, bukan spekulasi.

Dalam sebuah studi terkontrol yang diterbitkan di Journal of Medical Internet Research , Chelli dan rekan-rekannya menguji ChatGPT dan Bard terhadap tinjauan sistematis standar emas dan mengukur seberapa sering setiap model menghasilkan referensi yang dihalusinasi. Studi tersebut melaporkan tingkat halusinasi yang substansial dan menyimpulkan bahwa alat-alat ini belum dapat diandalkan untuk menghasilkan referensi yang akurat untuk penulisan ilmiah (Chelli dkk., 2024, JMIR, doi:10.2196/53164 ).

Sebuah studi eksperimental tahun 2025 oleh Linardon dan rekan-rekannya, yang juga diterbitkan di JMIR Mental Health , mendorong GPT-4o untuk menghasilkan tinjauan literatur dan memeriksa kutipan yang dihasilkan. Studi tersebut menemukan bahwa sebagian besar referensi adalah palsu — tidak dapat dilacak ke publikasi nyata mana pun — dan bahwa tingkat pemalsuan meningkat untuk topik yang kurang mapan. Yang penting, para penulis mencatat bahwa kutipan palsu sering kali memuat detail yang tampak nyata, sehingga sulit dideteksi tanpa pengecekan sumber yang disengaja (Linardon dkk., 2025, JMIR Mental Health, doi:10.2196/80371 ).

Pelajaran praktis dari keseluruhan karya ini konsisten: referensi palsu seringkali tidak dapat dibedakan dari referensi asli di halaman tersebut. Satu-satunya pertahanan yang dapat diandalkan adalah memeriksa setiap kutipan terhadap sumber utama — artikel asli di situs jurnal atau penerbit — daripada mempercayai referensi yang dihasilkan begitu saja. Itulah yang dilakukan Shield.

Apa yang bisa salah dengan kutipan yang tidak diperiksa?

Modus kegagalan yang kami periksa bersifat spesifik:

  • Referensi tersebut tidak ada. Penulis, judul, jurnal, dan tahun yang masuk akal tetapi tidak sesuai dengan makalah nyata mana pun.
  • DOI tersebut mengarah ke tempat lain. DOI yang nyata dan dapat diakses yang mengarah ke makalah yang sama sekali berbeda dari yang disebutkan.
  • Klaim tersebut tidak ada dalam sumber aslinya. Sebuah makalah ilmiah sungguhan yang dikutip karena temuan yang tidak pernah dilaporkan di dalamnya.
  • Sumber tersebut telah ditarik kembali. Sebuah makalah asli yang dikutip dengan benar, namun telah ditarik kembali dan tidak dapat diandalkan.

Salah satu dari hal-hal ini dapat menyebabkan penolakan langsung dari editor, ketidakpercayaan dari pengulas, koreksi setelah publikasi, atau — dalam kasus terburuk — pencabutan yang tercatat atas nama Anda.

Empat tahap verifikasi

Sebelum diserahkan, seorang editor manusia akan memeriksa setiap referensi dan klaim melalui empat tahapan:

Tahap 1 — Pemeriksaan eksistensi. Setiap DOI dan PMID ditelusuri ke sumber catatannya. Kami mengkonfirmasi referensi tersebut terhadap halaman jurnal atau penerbit asli — artikel yang tercatat itu sendiri — dan memeriksanya silang melalui layanan pengindeksan seperti Crossref , PubMed , dan basis data penerbit sendiri. Penulis, judul, jurnal, volume, dan tahun harus sesuai dengan catatan tersebut. DOI yang mengarah ke makalah yang berbeda dianggap gagal, bukan berhasil.

Tahap 2 — Pemeriksaan klaim. Pernyataan spesifik yang dikaitkan dengan setiap sumber dibaca bersamaan dengan abstrak makalah tersebut atau, jika akses memungkinkan, teks lengkapnya di situs jurnal aslinya. Jika sumber tersebut sebenarnya tidak mendukung klaim, klaim tersebut ditulis ulang agar sesuai dengan apa yang dikatakan bukti, atau kutipan diganti dengan kutipan yang mendukungnya.

Tahap 3 — Pemeriksaan penarikan. Setiap makalah yang dikutip diperiksa terhadap Basis Data Retraction Watch dan pemberitahuan penarikan PubMed, sehingga karya yang ditarik tidak secara diam-diam masuk ke daftar referensi Anda.

Tahap 4 — Peninjauan oleh ahli. Seorang anggota tim dengan keahlian doktoral atau klinis yang relevan meninjau bukti yang dikutip dalam konteksnya, memastikan bahwa referensi tersebut benar-benar mendukung argumen yang diajukan — bukan hanya sekadar ada.

Contoh soal yang sudah dikerjakan

Misalkan sebuah draf berisi kalimat ini: “Intervensi X mengurangi kekambuhan sebesar 38% dalam uji coba acak (Penulis A dkk., 2021).”

  • Tahap 1 DOI ditemukan, tetapi mengarah ke artikel ulasan, bukan uji coba acak, dan daftar penulis tidak cocok. Ditandai.
  • Tahap 2 menegaskan bahwa angka kekambuhan 38% tidak muncul di mana pun dalam makalah yang telah diselesaikan. Klaim tersebut tidak didukung bukti.
  • Resolusi: Editor akan mencari uji coba primer asli yang melaporkan efek tersebut dan mengoreksi kutipan serta gambar agar sesuai, atau, jika tidak ada sumber seperti itu, menghapus klaim yang tidak didukung. Kalimat yang sampai ke jurnal adalah kalimat yang nomor dan kutipannya benar dan sesuai.

Ini adalah jenis kesalahan yang terlihat sempurna di halaman dan lolos dari tinjauan sepintas — dan justru karena itulah pemeriksaan manusia yang disengaja dan bertahap adalah satu-satunya cara yang dapat mendeteksinya secara andal.

Apa yang tidak diklaim oleh Shield

Kami sangat teliti dalam menentukan ruang lingkup, karena melebih-lebihkannya justru akan menjadi masalah lain yang ingin kami selesaikan. Sistem Shield memverifikasi bahwa referensi ada, klaim sesuai dengan sumbernya, dan karya yang dikutip tidak ditarik kembali pada saat penyerahan. Sistem ini tidak, dan tidak dapat, menjamin bahwa seorang peninjau akan setuju dengan interpretasi Anda terhadap suatu sumber, bahwa makalah tidak akan ditarik kembali di masa mendatang, atau bahwa setiap penilaian dalam literatur yang kompleks adalah satu-satunya yang dapat dipertahankan. Yang dijaminnya adalah bahwa tidak ada kutipan dalam manuskrip Anda yang dipalsukan, salah atribusi, atau sengaja ditarik kembali saat kami mengembalikannya.

Bagaimana hal ini sesuai dengan pendekatan kami yang lebih luas

Shield mencerminkan satu prinsip yang贯穿 seluruh pekerjaan kami: di mana pun bantuan AI digunakan, selalu ditempatkan di bawah pengawasan manusia dan didasarkan pada sumber primer, dan tidak pernah dibiarkan tanpa pengawasan. Posisi lengkap kami mengenai hal ini diuraikan dalam Kebijakan Penggunaan AI kami.

Apa yang kamu terima

  • Manuskrip yang setiap kutipannya telah diverifikasi terhadap sumber aslinya — jurnal atau artikel penerbit yang menjadi acuan — bukan hanya entri indeks.
  • Referensi diperiksa untuk kemungkinan pencabutan sebelum disampaikan.
  • Klaim yang sesuai dengan sumber yang mereka kutip.
  • Daftar referensi yang dapat Anda pertanggungjawabkan dalam proses peninjauan dan setelah publikasi.

Lambang Perisai disertakan pada setiap manuskrip yang kami tulis atau revisi. Untuk mendiskusikan proyek Anda, hubungi tim kami.

Referensi

Chelli M, Descamps J, Lavoué V, dkk. Tingkat Halusinasi dan Akurasi Referensi ChatGPT dan Bard untuk Tinjauan Sistematis: Analisis Komparatif. J Med Internet Res . 2024;26:e53164. doi:10.2196/53164

Linardon J, Jarman HK, McClure Z, dkk. Pengaruh Keakraban Topik dan Spesifikasi Prompt terhadap Fabrikasi Sitasi dalam Penelitian Kesehatan Mental Menggunakan Model Bahasa Besar: Studi Eksperimental. JMIR Ment Health . 2025;12:e80371. doi:10.2196/80371