Yapay Zeka Üretim Kalkanı, çalışmanız teslim edilmeden önce el yazmanızdaki her alıntıyı, istatistiği ve olgusal iddiayı orijinal kaynağıyla karşılaştıran insan doğrulama sürecine verdiğimiz isimdir. Bu sayfa, ele aldığı sorunu, tam olarak neyi ve nasıl kontrol ettiğimizi, neleri yakalayıp neleri yakalayamadığı konusunda dürüst bir açıklamayı ve ne alacağınızı açıklamaktadır.

Sorun, birincil kanıtlarda ortaya çıkıyor.

Büyük dil modelleri sıklıkla yetkili gibi görünen ancak uydurulmuş, yanlış atfedilmiş veya geri çekilmiş çalışmalardan alınmış referanslar üretir. Bu, spekülasyon değil, hakemli literatürde belgelenmiştir.

Journal of Medical Internet Research'te yayınlanan kontrollü bir çalışmada , Chelli ve meslektaşları ChatGPT ve Bard'ı altın standart sistematik incelemelerle karşılaştırdı ve her modelin ne sıklıkla yanıltıcı referanslar ürettiğini ölçtü. Çalışma, önemli yanıltıcı referans oranları bildirdi ve bu araçların bilimsel yazılar için doğru referanslar üretmek üzere henüz güvenilir olmadığı sonucuna vardı (Chelli vd., 2024, JMIR, doi:10.2196/53164 ).

Linardon ve meslektaşlarının 2025 yılında JMIR Mental Health'te yayınladığı deneysel bir çalışma , GPT-4o'nun literatür taramaları oluşturmasına ve ortaya çıkan atıfları incelemesine yol açtı. Çalışma, referansların önemli bir kısmının uydurma olduğunu (gerçek bir yayına kadar izlenemediğini) ve uydurma oranlarının daha az bilinen konular için arttığını buldu. Yazarlar, uydurma atıfların genellikle gerçek gibi görünen ayrıntılar içerdiğini ve bu nedenle kasıtlı kaynak kontrolü yapılmadan tespit edilmesinin zor olduğunu belirtti (Linardon vd., 2025, JMIR Mental Health, doi:10.2196/80371 ).

Bu çalışmadan çıkarılacak pratik ders tutarlıdır: Uydurma bir referans, sayfada genellikle gerçek bir referanstan ayırt edilemez. Tek güvenilir savunma, oluşturulmuş bir referansa olduğu gibi güvenmek yerine, her alıntıyı birincil kaynakla (dergi veya yayıncı sitesindeki orijinal makale) karşılaştırmaktır. Shield de tam olarak bunu yapar.

Kontrol edilmemiş bir alıntının yol açabileceği sorunlar nelerdir?

Tespit ettiğimiz arıza türleri spesifiktir:

  • Söz konusu referans mevcut değil. Gerçekte hiçbir makaleye karşılık gelmeyen, akla yatkın görünen bir yazar, başlık, dergi ve yıl.
  • DOI başka bir yere işaret ediyor. Adı geçen makaleden tamamen farklı bir makaleye bağlantı veren, gerçek ve çözümlenebilir bir DOI.
  • Bu iddia kaynakta yer almıyor. Gerçek bir makale, hiç yayınlamadığı bir bulgu için kaynak gösterildi.
  • Kaynak geri çekildi. Gerçek, doğru şekilde kaynak gösterilmiş ancak daha sonra geri çekilmiş ve güvenilmemesi gereken bir makale.

Bunlardan herhangi biri, makalenin reddedilmesine, hakemlerin güvenini kaybetmesine, yayından sonra düzeltme yapılmasına veya en kötü durumda adınıza bir geri çekme kaydının eklenmesine yol açabilir.

Dört doğrulama aşaması

Teslimattan önce, insan bir editör her referansı ve iddiayı dört aşamada kontrol eder:

Aşama 1 — Varlık kontrolü. Her DOI ve PMID, kayıt kaynağına çözümlenir. Referansı orijinal dergi veya yayıncı sayfasına (kayıtlı makalenin kendisine) karşı doğrularız ve Crossref , PubMed ve yayıncının kendi veritabanı gibi indeksleme hizmetleri aracılığıyla çapraz kontrol ederiz. Yazar, başlık, dergi, cilt ve yılın tümü kayıtla eşleşmelidir. Farklı bir makaleye çözümlenen bir DOI, başarılı değil, başarısız olarak değerlendirilir.

2. Aşama — İddia kontrolü. Her kaynağa atfedilen belirli ifade, ilgili makalenin özetiyle veya erişim mümkünse orijinal dergi sitesindeki tam metniyle karşılaştırılır. Kaynak iddiayı desteklemiyorsa, iddia kanıtlarla eşleşecek şekilde yeniden yazılır veya alıntı, iddiayı destekleyen bir alıntıyla değiştirilir.

3. Aşama — Geri Çekme Kontrolü. Alıntı yapılan her makale, Geri Çekme İzleme Veritabanı ve PubMed geri çekme bildirimlerine göre taranır , böylece geri çekilen çalışmalar sessizce referans listenize girmez.

4. Aşama — Uzman incelemesi. İlgili doktora veya klinik uzmanlığa sahip bir ekip üyesi, alıntı yapılan kanıtları bağlam içinde inceler ve referansların yalnızca var olduklarını değil, gerçekten de öne sürülen argümanı desteklediklerini doğrular.

Örnek bir uygulama

Bir taslakta şu cümlenin yer aldığını varsayalım: “X müdahalesi, randomize bir çalışmada tekrarlama oranını %38 oranında azalttı (Yazar A ve diğerleri, 2021).”

  • Sahne 1 DOI'nin doğru olduğunu ancak randomize bir çalışma değil, bir derleme makalesine ait olduğunu ve yazar listesinin uyuşmadığını tespit etti. İşaretlendi.
  • Sahne 2 Çözümlenen belgede %38'lik tekrar oranına dair herhangi bir bilgiye rastlanmadığı teyit edilmiştir. Bu iddia desteksizdir.
  • Çözüm: Editör ya etkiyi bildiren gerçek birincil deneyi bulur ve alıntıyı ve rakamı buna uyacak şekilde düzeltir ya da böyle bir kaynak yoksa, desteklenmeyen iddiayı kaldırır. Dergiye ulaşan cümle, hem rakamı hem de alıntısı gerçek ve uyumlu olan bir cümledir.

Bu tür hatalar sayfada kusursuz görünür ve sıradan bir incelemeden geçer; işte tam da bu yüzden, adım adım, bilinçli bir insan kontrolü, bu tür hataları güvenilir bir şekilde yakalamanın tek yoludur.

Shield'ın iddia etmediği şeyler

Kapsam konusunda hassas davranıyoruz çünkü kapsamı abartmak, çözmeye çalıştığımız sorunun kendi biçimi olurdu. Shield, referansların mevcut olduğunu, iddiaların kaynaklarıyla eşleştiğini ve alıntı yapılan çalışmaların teslim anında geri çekilmediğini doğrular. Bir hakemin bir kaynağın yorumunuzla aynı fikirde olacağını, bir makalenin gelecekte geri çekilmeyeceğini veya karmaşık bir literatürdeki her yargı kararının tek savunulabilir karar olduğunu garanti etmez ve edemez. Garanti ettiği şey, makalenizi geri teslim ettiğimizde, el yazmanızdaki hiçbir alıntının uydurulmamış, yanlış atfedilmemiş veya bilerek geri çekilmemiş olmasıdır.

Bu, daha geniş yaklaşımımıza nasıl uyuyor?

Kalkan, tüm çalışmalarımızda geçerli olan tek bir ilkeyi yansıtır: Yapay zekâ desteği kullanıldığında, bu her zaman insan gözetimi altında ve birincil kaynaklara dayalı olarak yapılır ve asla denetimsiz bırakılmaz. Bu konudaki tüm görüşümüz Yapay Zekâ Kullanım Politikamızda belirtilmiştir.

Ne alıyorsun

  • Her bir alıntının, yalnızca dizin girdisi değil, asıl kaynağı olan dergi veya yayıncı makalesine göre doğrulandığı bir el yazması.
  • Yayınlanmadan önce, referanslar geri çekilme açısından incelenir.
  • Alıntı yaptıkları kaynaklarla örtüşen iddialar.
  • Hem hakem değerlendirmelerinde hem de yayınlandıktan sonra arkasında durabileceğiniz bir kaynakça listesi.

Yazdığımız veya yeniden yazdığımız her metinde Kalkan logosu yer almaktadır. Projeniz hakkında görüşmek için ekibimizle iletişime geçin.

Referanslar

Chelli M, Descamps J, Lavoué V, ve diğerleri. Sistematik Derlemeler için ChatGPT ve Bard'ın Halüsinasyon Oranları ve Referans Doğruluğu: Karşılaştırmalı Analiz. J Med Internet Res . 2024;26:e53164. doi:10.2196/53164

Linardon J, Jarman HK, McClure Z, vd. Büyük Dil Modelleri Kullanılarak Yapılan Ruh Sağlığı Araştırmalarında Konu Aşinalığı ve İsteme Özgüllüğünün Alıntı Uydurma Üzerindeki Etkisi: Deneysel Çalışma. JMIR Ment Health . 2025;12:e80371. doi:10.2196/80371