AIファブリケーションシールドとは、原稿納品前に、原稿中のあらゆる引用、統計、事実に関する主張を原典と照合する人間による検証プロセスの名称です。このページでは、このプロセスが解決する問題、具体的に何をどのようにチェックするのか、検出できるものとできないもの、そしてお客様にお届けする内容について正直にご説明します。
一次証拠における問題は
大規模な言語モデルは、権威あるように見えるものの、実際には捏造されたり、誤った出典が示されていたり、撤回された研究から引用されたりした参考文献を生成することが頻繁にあります。これは査読済みの文献で証明されており、憶測ではありません。
『 Journal of Medical Internet Research』に掲載された対照研究において、ChelliらはChatGPTとBardをゴールドスタンダードのシステマティックレビューと比較し、各モデルがどのくらいの頻度で誤った参考文献を生成するかを測定した。この研究では、かなりの誤り率が報告され、これらのツールは科学論文の正確な参考文献を生成するためにはまだ信頼できないと結論付けられた（Chelli et al., 2024, JMIR, doi:10.2196/53164）。
2025年にLinardonらがJMIR Mental Health誌で行った実験的研究では、GPT-4oに文献レビューを生成させ、その結果得られた引用文献を調べた。その結果、参考文献のかなりの割合が捏造されたものであり、実際の出版物にたどることができず、確立されていないトピックほど捏造率が高くなることがわかった。重要な点として、著者らは、捏造された引用文献にはしばしば本物そっくりの詳細が含まれており、意図的な情報源チェックなしには検出が困難であると指摘した（Linardon et al., 2025, JMIR Mental Health, doi:10.2196/80371）。
この一連の研究から得られる実践的な教訓は一貫している。偽造された参考文献は、多くの場合、本物の参考文献と見分けがつかない。唯一確実な対策は、生成された参考文献を鵜呑みにするのではなく、各引用文献を一次情報源（学術誌や出版社のウェブサイトにある元の記事）と照合することである。シールドはまさにそれを行っている。
引用が検証されていないと、どのような問題が発生する可能性があるか
当社がスクリーニングする故障モードは以下のとおりです。
- 参照が存在しません。 もっともらしい著者名、論文タイトル、掲載誌、発行年が記載されているが、実際にはどの論文とも一致しない。
- DOIは別の場所を指している。 指定された論文とは全く異なる論文にリンクする、実在する解決可能なDOI。
- その主張は情報源には記載されていない。 実際に論文で引用された論文が、実際には報告していない研究結果に基づいている。
- 当該情報源は撤回されました。 実際に存在し、正しく引用された論文だが、その後撤回されており、信頼すべきではない。
これらのいずれも、査読拒否、査読者からの不信感、出版後の訂正、あるいは最悪の場合、あなたの名前で論文撤回記録が残ることにつながる可能性があります。
4つの検証段階
納品前に、人間の編集者がすべての参考文献と主張を4つのチェックにかけます。
ステージ1 — 存在確認。各DOIとPMIDは、記録のソースに解決されます。元のジャーナルまたは出版社のページ（記録記事そのもの）と参照を照合し、Crossref、PubMed、出版社独自のデータベースなどの索引サービスを通じて相互チェックを行います。著者、タイトル、ジャーナル、巻、年はすべて記録と一致している必要があります。異なる論文に解決されるDOIは、合格ではなく不合格として扱われます。
ステージ2 ― 主張の検証。各情報源に帰属する具体的な記述を、その論文の要約、またはアクセス可能な場合は元のジャーナルサイト上の全文と照らし合わせて確認します。情報源が実際に主張を裏付けていない場合は、主張を証拠の内容に合わせて書き換えるか、または主張を裏付ける引用に置き換えます。
ステージ3 ― 論文撤回チェック。引用された論文はすべて、論文撤回監視データベースとPubMedの論文撤回通知と照合されるため、撤回された論文が参考文献リストに紛れ込むことはありません。
ステージ4 ― 専門家によるレビュー。関連する博士号または臨床経験を持つチームメンバーが、引用された証拠を文脈に沿ってレビューし、単に参考文献が存在するだけでなく、実際に主張を裏付けていることを確認します。
具体的な例
仮に、ある草稿に「介入Xは、無作為化試験において再発率を38%減少させた（著者Aら、2021年）」という文が含まれているとします。
- ステージ1 DOIは解決されるが、ランダム化比較試験ではなくレビュー論文であり、著者リストも一致しない。フラグを立てた。
- ステージ2 解決済みの論文には、38%という再発率の数値はどこにも記載されていないことを確認しました。この主張は根拠のないものです。
- 解像度： 編集者は、効果を報告している真の一次試験を見つけ出し、引用と図をそれに合わせて修正するか、そのような出典が存在しない場合は、根拠のない主張を削除します。最終的に掲載されるのは、数値と引用の両方が正しく、かつ一致している文章です。
これは、ページ上では完璧に見え、ざっと目を通すだけでは見落としてしまうような種類の誤りです。だからこそ、意図的な段階的な人間のチェックだけが、確実にそれを発見できる唯一の方法なのです。
シールドが主張しないこと
審査範囲については厳密に定めています。なぜなら、範囲を過度に広げることは、私たちが解決しようとしている問題そのものを悪化させることになるからです。シールドは、参考文献が存在すること、主張が出典と一致していること、そして提出時点で引用文献が撤回されていないことを確認します。査読者があなたの出典解釈に同意すること、論文が将来撤回されないこと、あるいは複雑な文献におけるあらゆる判断が唯一正当化できるものであることを保証するものではありませんし、保証することもできません。シールドが保証するのは、原稿を返却する際に、あなたの原稿中の引用が捏造されたり、誤って引用されたり、意図的に撤回されたりしていないということです。
これが当社のより広範なアプローチにどのように適合するか
シールドは、私たちのすべての活動に共通する一つの原則を反映しています。それは、AIによる支援を使用する場合、常に人間の監督下に置かれ、一次情報源に基づき、決して検証されないまま放置されることはないということです。この点に関する私たちの立場は、AI利用ポリシーに詳しく記載されています。
あなたが受け取るもの
- すべての引用が、索引項目だけでなく、元の出典（雑誌や出版社の正式な記事）と照合して検証された原稿。
- 掲載前に、参考文献は撤回されていないか確認されます。
- 主張内容が引用元と一致すること。
- 査読時や出版後も自信を持って推薦できる参考文献リスト。
シールドは、当社が執筆または改訂するすべての原稿に添付されます。プロジェクトについてご相談されたい場合は、当社チームまでご連絡ください。
参考情報
Chelli M、Descamps J、Lavoué Vら。「系統的レビューにおけるChatGPTとBardの幻覚発生率と参照精度：比較分析」。J Med Internet Res . 2024;26:e53164. doi:10.2196/53164
Linardon J、Jarman HK、McClure Zら。「大規模言語モデルを用いたメンタルヘルス研究における引用捏造に対するトピックの馴染みやすさとプロンプトの具体性の影響：実験的研究」。JMIR Ment Health。2025 ;12:e80371。doi :10.2196/80371