公開日:|最終更新日:
AMSTAR 2は、医療介入に関する系統的レビューの結果に対する信頼度を評価する16項目からなる批判的評価ツールです。ベバリー・シェイ氏らは、ランダム化比較試験のレビューのみを対象として作成されたオリジナルのAMSTARの改訂版として、2017年にBMJ誌にAMSTAR 2を発表しました(BMJ 2017;358:j4008)。このツールを適切に適用した読者は、4つの評価(高い、中程度、低い、極めて低い)のいずれかと、各項目に対する評価理由を文書で得ることができます。
簡単な言葉で言うと
AMSTAR 2は、他者の系統的レビューを評価するためのチェックリストです。16の質問で、レビューの計画、検索、評価、および記述方法について検討します。そのうち7つの質問は重要であり、これらの質問に漏れがあるとレビュー全体が損なわれる可能性があります。まず、重要な漏れの数を数えましょう。重要な漏れがなく、軽微な漏れが1つ以下であれば高評価、2つ以上の重要な漏れがあれば低評価となります。点数を合計する必要はありません。
多くの評価者は評価ロジックを誤解しているため、このガイドでは、実際に使用する順序で評価ツールの手順を解説します。16項目、7つの重要領域、4つの信頼度レベル、項目評価から最終評決までを架空のレビューに基づいて示す詳細な例、AMSTAR 2と類似ツールのどちらを選択するかを決定するための表など、幅広い内容を網羅しています。以下の項目定義はすべて、二次的な要約ではなく、発表された論文とその補足付録に基づいています。
AMSTAR 2とは何か、そしてなぜ初代AMSTARに取って代わったのか
AMSTARは「系統的レビューを評価するための測定ツール」の略で、最初のバージョンは2007年に登場しました。当時、Shea氏らは37項目の項目プールから始め、それを99件の紙ベースの系統的レビューと52件の電子系統的レビューに適用し、探索的因子分析を実行して11の構成要素を発見し、名義グループ法を用いて各構成要素から1項目ずつ抽出しました。こうして、ランダム化比較試験のレビュー用に構築された11項目の測定ツールが完成しました。
2017年までに、その設計はエビデンスベースに合わなくなっていた。レビューでは、介入に関する非ランダム化研究(NRSI)が統合されることが増え、ユーザーから元の文言にギャップがあるとの報告があった。専門家グループはオタワで1日会合を開き、AMSTARユーザーからのアンケート結果と、2015年と2016年にコクラン・コロキウムで開催されたAMSTARワークショップの参加者の記録された経験を検討した後、改訂版ツールに決定した。AMSTAR 2の主な変更点は以下のとおりである。
- AMSTAR 2は16項目から構成されており、項目12(メタ分析におけるバイアスのリスクの影響)は新たに追加された項目である。
- バイアスのリスク、メタアナリシス、研究デザインの選択に関する項目は、ランダム化比較試験とNRSIの両方を網羅するようになった。
- 「該当しない」と「回答できない」の選択肢は削除され、すべての質問は「はい」が肯定的な結果を示すように表現されている。
- 「部分的な遵守」は、基準への部分的な準拠を記録しておく価値がある項目に追加されました。
- レビューに情報が報告されていない場合、鑑定士はアイテムを「いいえ」と評価します。レビューの著者は「疑わしきは罰せず」の原則に従うべきです。
シェイ氏らは、改訂版ツールを6人の評価者で54件のシステマティックレビューに対してテストした。これらのレビューのうち、20件はランダム化比較試験のみ、18件はNRSIのみ、16件は両方の混合を含んでいた。50件のκ値のうち、46件は中程度以上の一致を示し、39件は良好以上の一致を示した。これらの数値は評価者間の一貫性を表しており、著者らは一致度が項目によって大きく異なると報告している。
AMSTAR 2が設計されていない用途
シェイ氏らは、今回の改訂は診断検査レビュー、個別患者データメタアナリシス、ネットワークメタアナリシス、スコーピングレビュー、リアリストレビューを目的としたものではないと述べている。また、このツールはレビュー方法論を教えるものではなく、その方法論を知りたい読者にはコクランハンドブックを参照するよう促している。スコーピングレビューを検討している場合は、JBIとPRISMA-ScRの手順を網羅したステップバイステップのスコーピングレビューガイドを参照してほしい。
AMSTAR 2の16アイテムの概要
以下の各行には、AMSTAR 2補足チェックリストに記載されている項目とその回答オプションが示されています。重要な項目には印が付いています。
| Item | 鑑定士が答える質問 | クリティカル | 回答オプション |
|---|---|---|---|
| 1 | 研究課題と対象者選定基準には、PICOの構成要素が含まれていましたか? | いいえ | はい・いいえ |
| 2 | 報告書には、審査方法が審査前に確立されていたこと、およびプロトコルからの重大な逸脱を正当化する理由が記載されていましたか? | はい | はい、部分的にはい、いいえ |
| 3 | 著者らは、研究デザインの選択理由を説明しましたか? | いいえ | はい・いいえ |
| 4 | 著者らは包括的な文献検索戦略を用いたのか? | はい | はい、部分的にはい、いいえ |
| 5 | 研究の選択は二重に行われたか? | いいえ | はい・いいえ |
| 6 | データ抽出は二重に行われましたか? | いいえ | はい・いいえ |
| 7 | 著者らは除外した研究のリストを提示し、除外の理由を説明しましたか? | はい | はい、部分的にはい、いいえ |
| 8 | 対象となった研究は十分な詳細さで記述されていたか? | いいえ | はい、部分的にはい、いいえ |
| 9 | 個々の研究において、バイアスのリスク(RoB)を評価するために適切な手法が用いられたか? | はい | はい、部分的にはい、いいえ(RCTとNRSIは別々に評価) |
| 10 | 著者らは、対象とした研究の資金源を報告しましたか? | いいえ | はい・いいえ |
| 11 | メタ分析が行われた場合、結果を統合するために適切な方法が用いられたか? | はい | はい、いいえ、メタ分析は実施されていません |
| 12 | メタ分析が行われた場合、著者らはバイアスのリスクがその結果に与える影響を評価したか? | いいえ | はい、いいえ、メタ分析は実施されていません |
| 13 | 著者らは、結果の解釈や考察を行う際に、バイアスのリスクを考慮に入れたか? | はい | はい・いいえ |
| 14 | 著者らは、異質性について説明や議論を行ったか? | いいえ | はい・いいえ |
| 15 | 定量的統合分析が行われた場合、出版バイアスは調査され、その影響の可能性について議論されたか? | はい | はい、いいえ、メタ分析は実施されていません |
| 16 | 著者らは、レビューの資金提供を含め、潜在的な利益相反について報告しましたか? | いいえ | はい・いいえ |
部分的な「はい」または「はい」となるのはどのような場合ですか?
5つの項目には「部分的にはい」という選択肢があり、「部分的にはい」と「はい」の間のギャップが評価者間の意見の相違が最も大きい部分です。以下の評価基準は、BMJ論文に付随して公開された補足チェックリストから引用したものです。
| Item | 部分的に必要 | はい、必要 |
|---|---|---|
| 2プロトコル | レビューの質問、検索戦略、包含基準と除外基準、およびバイアスのリスク評価を網羅した、明文化されたプロトコルまたはガイド | 登録されたプロトコルには、必要に応じて合成計画、異質性を調査するための計画、および逸脱の正当化も明記されている。 |
| 4検索 | 少なくとも2つの関連データベース、キーワードまたは検索戦略、および言語などの正当な出版制限 | 検索対象となった研究の参考文献リスト、試験または研究登録簿の検索、専門家への相談、関連するグレー文献の検索、およびレビュー完了後24か月以内の検索 |
| 除外された研究7件 | 潜在的に関連のある研究をすべて全文読んだ後、除外したリスト | 各研究を除外した理由 |
| 8つの研究が対象となった | 対象集団、介入、比較対象、アウトカム、研究デザインについて説明する。 | 対象集団、介入、比較対象について詳細に記述(該当する場合は投与量を含む)、さらに研究設定と追跡期間を記載する。 |
| 9. バイアスのリスク、RCT | 割り付けの非隠蔽性および患者と評価者の盲検化の欠如の評価(全死因死亡率などの客観的な結果には不要) | 非ランダムな割り当てシーケンスの評価、および複数の測定値または分析の中から報告された結果を選択することの評価 |
| 9 バイアスのリスク、NRSI | 交絡因子および選択バイアスの評価 | 曝露と結果を確認するために使用された方法、および結果の選択的報告の評価 |
AMSTAR 2の7つの重要領域
論文のボックス1には、「レビューの妥当性およびその結論に重大な影響を与える可能性のある」7つの領域が列挙されている。補足的なガイダンスでは、それぞれの領域の根拠が説明されているため、リストを覚えやすくなっている。
- 項目2、審査開始前に登録されたプロトコル。 システマティックレビューは観察研究の一形態であり、十分に開発されたプロトコルに従うことでレビューにおけるバイアスのリスクが軽減されます。登録(例えば、 プロスペロ)、オープンジャーナルへの掲載、または研究事務局への日付入りの提出はすべて、独立した検証として認められます。
- 項目4、文献検索の妥当性。 不十分な検索では、結論を変えるような研究を見落とす可能性があり、チェックリストではデータベース、登録簿、参考文献リスト、および最新の検索日を尋ねています。
- 項目7、個々の研究を除外する理由。 正当な理由のない除外は調査結果に偏りをもたらす可能性があり、ガイドラインでは、除外は決して偏りのリスクに基づいて行うべきではなく、偏りのリスクは別途扱うべきであると述べている。
- 項目9、対象研究におけるバイアスのリスク。 このガイドラインでは、これはあらゆる系統的レビュー、特にNRSI(非放射線学的ストレス指標)を含むレビューを評価する上で重要な要素であると述べている。
- 項目11、メタ分析手法の妥当性。 NRSIを統合すると、正確ではあるものの偏りのある推定値が得られる可能性があるため、この項目では、加重方法、異質性の処理、および試験とNRSIの個別の推定値についてチェックします。
- 項目13、結果を解釈する際のバイアスのリスクの考慮。 医療や政策に影響を与える可能性のある提言を行う著者は、バイアスのリスクについて明確に考慮したことを示すべきである。
- 項目15、出版バイアスの評価。 論文によると、ファンネルプロットの非対称性を示すには最低10件の研究が必要であり、これはレビューが少数の試験しか統合しない場合に重要になります。 メタアナリシスに必要な研究の最小数 実際にはその基準を満たしている。
この指定は、法律ではなく、デフォルトとして扱ってください。著者らが挙げた2つの例は、別の項目が重要になるケースを示しています。具体的には、有害事象のレビューにおいて非ランダム化研究(項目3)を含めないこと、および研究間で治療効果に大きなばらつきがあることを説明できないこと(項目14)です。チームが重要項目リストを変更する場合は、評価を開始する前に変更内容を記録して、最終的な判断を再現できるようにしてください。
AMSTAR 2 信頼度評価:高、中、低、極めて低
論文のボックス2では、項目評価を総合的な判断に変換するために、2つの要素を別々にカウントしています。重大な欠陥とは、重要な項目で「いいえ」と評価された場合であり、重要でない弱点とは、それ以外の項目で「いいえ」と評価された場合です。その結果、4つのレベルが算出されます。
| 全体的な自信 | 鑑定士が発見したこと | 紙が意味するところは |
|---|---|---|
| ハイ | 重大な弱点がない、または1つだけ。 | このレビューは、この疑問に取り組んだ既存の研究の結果を正確かつ包括的にまとめたものである。 |
| 穏健派 | 複数の軽微な弱点があるが、重大な欠陥はない。 | このレビューには複数の弱点があるものの、致命的な欠陥はなく、対象とした研究の正確な要約を提供している可能性がある。 |
| ロー | 重大な欠陥が1つあり、重大な欠陥以外の弱点があるかどうかは関係ない。 | このレビューは、入手可能な研究の正確かつ包括的な要約を提供するものではない可能性があります。 |
| 極めて低い | 複数の重大な欠陥(重大な欠陥ではない弱点の有無を問わず) | このレビューは、入手可能な研究の正確かつ包括的な要約を提供するものとして依拠すべきではありません。 |
テーブルの横には2つのルールが置かれている。複数の軽微な弱点があると信頼性が低下する可能性があるため、評価を中程度から低程度に引き下げるのが適切かもしれない。また、個々の項目の評価を総合スコアにまとめることは決して推奨しない。なぜなら、高い合計スコアは、不十分な検索やバイアスリスク評価の欠如といった、たった一つの重大な欠陥を隠してしまう可能性があるからだ。

AMSTAR 2の使い方(ステップバイステップ)
測定機器は小型ですが、安定した結果を得るには一定の手順が必要です。以下に、著者らのガイダンスとEditverseが推奨する作業方法を組み合わせた手順を示します。
- レビューの内容が適切かどうか確認してください。 本研究の目的は、ランダム化比較試験、NRSI(非ランダム化比較試験)、またはその両方を含む医療介入に関する系統的レビューを実施することである。診断精度レビュー、ネットワークメタアナリシス、個別患者データメタアナリシス、およびスコーピングレビューは、本研究の設計範囲外となる。
- すべての書類を集めてください。 報告書全文、補足資料、登録済みのプロトコル、および除外された研究のリストを入手してください。いくつかの項目については、補足資料からしか回答できません。
- 独立した鑑定士2名による査定を受ける。 各評価者はそれぞれ単独で評価を行い、意見の相違が生じた場合は両者が合意によって解決する。著者らの信頼性研究では、項目によって意見の一致度が異なったため、評価者2名による合意形成の手順は適切な方法である。
- 各アイテムを厳密に評価してください。 チェックリストの回答オプションを使用してください。情報が不足している場合は、疑わしい点数は一切考慮せず、「いいえ」と評価してください。
- 報告書とプロトコルを比較してください。 ガイドラインでは、鑑定士に対し、登録されたプロトコルが存在する場合は、公表された報告書をそのプロトコルと照合するよう指示しており、明白で説明のつかない矛盾がある場合は、格下げすべきであるとしている。
- 欠点と弱点を分けて集計する。 重要品目の数量とその他の品目の数量は、それぞれ別の数値としてカウントしてください。
- 信頼水準を設定し、変動を記録する。 著者の指示に従い、デフォルトの批評リストから逸脱した点や、あなたが採用した慣例があれば、すべて書き留めてください。
効率的な手順を踏めば時間を節約できます。まずは項目2、4、7から始めましょう。これらの重要な項目は、方法セクションとレジストリエントリで数分以内に確認できます。これらの項目で2つの不備が見つかった場合、レビューの成功率はすでに極めて低いと言えます。残りの13項目については、結果を決定するのではなく、詳細を文書化することに集中しましょう。
実例:項目評価から最終評決までの架空のレビュー評価
ここで紹介する事例は教育目的で作成されたものであり、実際に発表されたレビューを説明するものではありません。慢性腰痛に対する監督下運動療法に関する、14件のランダム化比較試験を統合した系統的レビューを想像してみてください。評価者は報告書、登録簿のエントリ、補足資料を読み、各項目を評価します。
| Item | 評価 | 捏造された報告書に証拠が見つかった |
|---|---|---|
| 1ピコ | はい | 慢性腰痛のある成人、監督下での運動、通常ケアの比較対象、疼痛および障害の転帰、追跡期間を明記 |
| 2 プロトコル(重要) | はい | スクリーニング開始前にPROSPEROに登録済み。追加されたサブグループが1つ報告され、その妥当性が説明されている。 |
| 3. 研究デザイン | はい | 理由を明記した上で、無作為化試験に限定する |
| 4. 検索(重要) | 部分的にはい | 3つのデータベース、キーワードの報告、英語のみの制限の正当性は認められたが、レジストリ検索やコンテンツ専門家への相談は行われなかった。 |
| 5 重複選択 | はい | 2名の審査員が独立して審査を行い、合意に達した。 |
| 6. 二重抽出 | はい | 2名のレビュー担当者がデータを抽出し、合意に達した。 |
| 除外された研究7件(重要な研究) | いいえ | フローチャートには全文除外の件数は示されているが、除外された研究のリストとその理由については記載されていない。 |
| 8つの研究が対象となった | 部分的にはい | 対象集団、介入、比較対象、アウトカム、デザインについては記述されているが、投与量や実施場所に関する詳細は記載されていない。 |
| 9. バイアスのリスク(重大) | はい | このツールは、割り当ての隠蔽、シーケンス生成、盲検化、選択的報告を網羅しています。 |
| 10.研究資金の提供 | いいえ | 治験資金については報告されておらず、資金を求めたという記述もない。 |
| 11 メタ分析(批判的) | はい | プーリングの妥当性、重み付けランダム効果モデル、異質性の検討 |
| 12 RoBの影響 | はい | 高リスク試験を除外した感度分析 |
| 13. RoBに関する議論(批判的) | はい | 議論では、高リスク試験が結論をどのように制限するかについて述べている。 |
| 14 異質性 | はい | 調査・議論された情報源 |
| 15.出版バイアス(批判的) | はい | ファンネルプロットと14回の試行による統計的検定、影響についての考察 |
| 16 利益相反 | はい | 利益相反および審査資金に関する報告 |

例を集計する
重要な項目で「いいえ」と評価されたのは項目7のみであるため、このレビューには重大な欠陥が1つあります。重要でない項目で「いいえ」と評価されたのは項目10のみであるため、重要でない弱点が1つあります。重要な欠陥は、項目がいくつ「はい」と評価されたかに関わらず、ボックス2の「低い」行に1つ入ります。
論文には「部分的な肯定」がどのように集計されるかについては何も記載されていません。この例では、「部分的な肯定」は欠陥としてカウントされませんが、項目4の不完全な検索と同様に、評価者はレポートにその旨を記載します。チームはより厳格な基準を選択することもできますが、その場合は評価開始前に文書化し、バッチ内のすべてのレビューに適用する必要があります。
一つの変更が判決にどう影響するか
シナリオ分析表は、最終評価がわずかな修正によってどれほど影響を受けるかを示しており、著者は鑑定士の報告書をこのように読み解くべきである。
| シナリオ | 重大な欠陥 | 重要ではない弱点 | 全体的な自信 |
|---|---|---|---|
| 基準値は上記のとおり | 1(項目7) | 1(項目10) | ロー |
| 著者らは除外した研究のリストとその理由を追加する | 0 | 1(項目10) | ハイ |
| 検索は1つのデータベースのみを対象としているため、項目4は「いいえ」となります。 | 2(項目4および7) | 1 | 極めて低い |
| 除外研究リストが追加され、項目10と14は両方とも「いいえ」と評価されました。 | 0 | 2(項目10および14) | 穏健派 |
ここにこそ真の教訓がある。たった1つの補足ファイルが欠落していただけで、この査読の信頼度は2段階も下がってしまった。しかも、欠落リストの修正は安価に済む。投稿前に自分の原稿でこのチェックを行えば、どの修正が最も安価かが分かるだろう。
AMSTAR 2 実例:公開されたオープンアクセスレビューを項目ごとに評価する
演習例で作成された架空のレビューは、その仕組みを示しています。公開されたレビューでは、同じ16の決定が、実際の方法論テキスト、実際の表、および実際の補足付録に証拠が配置されている場合にどのように見えるかを示しています。このセクションでは、オープンアクセスレビューをAMSTAR 2で1項目ずつ評価し、各回答を確認できる論文内の箇所を示します。これは、教育用のEditverse評価の例示であり、著者や介入の効果についての判断ではありません。判断が必要な行は、他の評価者が妥当な意見の相違を示す可能性がある箇所です。
この例で評価されたレビュー
引用文献。Galante J、Friedrich C、Dawson AF、Modrego-Alarcón M、Gebbing P、Delgado-Suárez I、他。非臨床環境における成人のメンタルヘルス促進のためのマインドフルネスに基づくプログラム:ランダム化比較試験の系統的レビューとメタ分析。PLoS Med。2021 ; 18(1):e1003481。doi :10.1371/ journal.pmed.1003481。PMID 33428616。PMCID PMC7799763。
ライセンス。クリエイティブ・コモンズ表示4.0(CC BY 4.0)ライセンスに基づき、Crossrefの記録、Europe PMCの記録、およびPubMed Centralのオープンアクセスデータセットで確認されています。以下では、短い引用と図1点を、出典を明記した上で、このライセンスに基づいて再利用しています。
このレビューの理由。著者らは、11,605人の参加者を含む136件のランダム化試験を統合し、作業開始前にPROSPEROにプロトコルを登録し、言語制限なしで13のデータベースを検索し、選択、抽出、およびCochrane Risk of Bias 2評価に2人の独立したレビュー担当者を使用しました。本文、補足付録、および登録されたデータはすべて公開されているため、読者はすべての行を再取得できます。また、これほど多くの優れた実践を含むレビューでも、厳密な評価者がNo.と評価しなければならない重要な項目が1つ残っているため、これは有用な教育事例でもあります。
ラベル。教育用Editverse評価の例。AMSTAR 2は、レビューの実施方法と報告方法を評価するものです。著者が別途評価した試験自体を評価するものではなく、著者を評価するものでもありません。
項目4、5、7の背景にある研究選択の流れ
図3は、レビュー自体のフローチャートです。表を読む前にこの図を読むことをお勧めします。なぜなら、項目4、5、7はすべて、スクリーニングされた記録、全文が読まれた記録、除外された記録に関する報告書の内容に基づいているからです。

品目ごとの査定
各行には、項目、論文で報告されている内容(掲載場所を示すポインタ付き)、評価、およびShea らによる補足チェックリストの「はい」と「部分的にはい」の基準に対する理由が示されています。引用は短く、原文のままで、ジャーナルの改行しないハイフンは通常のハイフンで表記されています。S1 付録のページ番号は、そのファイルで印刷された番号です。網掛けされた行は、7 つの重要な項目です。上記の例と同様に、「部分的にはい」はフラグが立てられますが、欠陥としてはカウントされません。
| Item | 論文の内容(ヒント付き) | 評価 | AMSTAR 2基準に対する反論 |
|---|---|---|---|
| 1 PICOコンポーネント | 方法、研究の検索と選択、および結果。 特定の臨床疾患のない地域在住の成人を対象に、少なくとも4回の1時間セッションからなるグループベースのマインドフルネスプログラムを実施し、介入なしまたは別の介入と比較し、4つの主要なアウトカム領域を評価した。論文では、試験には「地域在住の成人(18歳以上)の参加者」が含まれ、アウトカムは「プログラム完了後1~6ヶ月の主要期間で測定された」と述べている。 | はい | 対象集団、介入内容、比較対象、およびアウトカムはすべて適格基準に明記されており、任意で選択できる追跡期間も示されています。不足している情報はありません。 |
| 2 レビュー前のプロトコル クリティカル | 要旨および方法、最初の段落。 「詳細な事前登録プロトコル」はPROSPERO CRD42018105213として引用されており、審査手順は「事前プロトコルに詳細に記載」されている。論文では、例えば性格的マインドフルネスを「審査プロトコルには記載されていないにもかかわらず」結果として挙げ、いくつかの分析を事後分析またはアドホック分析と呼んでいる。 | はい | 登録済みのプロトコルは「はい」の基準を満たしており、登録に加えて統合計画、異質性を調査する計画、および逸脱の正当化が求められます。報告書では、モデレーターと感度分析が事前に規定されていると説明され、逸脱箇所がそれぞれ明記されています。PROSPEROのページはJavaScriptを必要とするため、今回の評価では読み取ることができませんでした。したがって、評価は報告書の記述に基づいています。慎重な評価者は、登録エントリを開いて、これらの計画がそこに記載されていることを確認します。 |
| 3 研究デザインの選択 | 序論、最後の2段落。 以前のレビューでは、「非対照試験や非ランダム化試験の結果がしばしば含まれていた」ため、デザインの弱い試験もまとめて検討されることが多かった。本レビューは、「質の高い試験が一定数存在すること」と研究の質の向上を求める声を理由に、「ランダム化比較試験(RCT)のデータのみに焦点を当てた」。 | はい | チェックリストでは、ランダム化比較試験のみを含める理由の説明を受け付けており、序論ではその理由を説明しています。 |
| 4 文献検索 クリティカル | 方法、研究の検索と選択;S1付録表1、8ページより。 「対象となる研究を電子的に検索するため、WHO臨床試験登録プラットフォームを含む13のデータベースを、開始時から2020年8月1日まで検索した」。言語や日付の制限は設けず、参考文献リストを精査し、学位論文などの未発表報告書も対象に含めた。本論文は2021年1月11日に発表された。 | 部分的にはい | 「部分的なはい」の要素はすべて満たされています(2つ以上のデータベース、検索戦略の提示、正当化すべき制限なし)。「はい」の段階では、参考文献リスト、臨床試験登録簿、グレー文献、完了後24か月以内の検索が追加されますが、これらはすべて含まれています。また、コンテンツ専門家の参加または相談も求められますが、報告書にはその記載がありません。著者への連絡は、説明やデータの提供のみを目的としていました。 判断が分かれるところだ。 多くの評価者は、試験論文の著者に連絡を取ることを専門家への相談とみなし、「はい」と評価する。部分的に「はい」と評価された場合は欠点とはみなされないため、最終的な評価はどちらの場合も同じになる。 |
| 5 重複選択 | 方法、研究の検索と選択。 「2名のレビュー担当者が、検索された文献のタイトルと抄録を、包含基準に照らして独立して評価し、全文も再度独立して評価した。」 | はい | 2名のレビュー担当者が両段階で独立して選定を行い、両者が無関係と判断しなかった記録のみ全文を入手したため、掲載は合意に基づいて決定された。抽出については議論による解決が明示的に示されているため、選定時の合意は明示的ではなく暗黙のうちに前提とされている。評価は「はい」のままである。 |
| 6 二重抽出 | 方法、研究の検索と選択、抽出フォームはS1付録表2、p.11を参照。 「2人の研究者が、事前に試験運用されたフォームを用いて、対象論文の全文から情報をそれぞれ独立して抽出した。」 | はい | 2人の独立した抽出担当者が、事前に作成されたフォームに基づいて作業を行い、チーム内の意見の相違を解決した。 |
| 7 除外された研究のリスト クリティカル | 図3(論文の図1);補足資料S1表5、18ページ。 評価対象となった1,420件の全文のうち、1,208件が除外されました。除外されたのは、研究デザイン(495件)、介入(391件)、介入期間(114件)、対象集団(78件)、アウトカム(75件)、投与経路(45件)、学会抄録(6件)、比較対象(4件)です。表5には、判断に必要な情報が少なすぎた学会抄録の一覧を示します。除外されたその他の全文については、論文、付録、または提出されたデータファイルには記載されていません。 | いいえ | 部分的「はい」には、全文を読んだ上で除外した、関連性の可能性のあるすべての研究のリストが必要です。理由別の件数はリストではなく、表5は8つの理由のうちの1つを扱っています。部分的「はい」のリストさえなければ、「はい」の段階(各研究の正当化)に到達することはできません。これがこのレビューの唯一の重大な欠陥です。 判断が分かれるところだ。 ここではチェックリストの文言を厳密に解釈し、この1つの項目によって最終的な評価を決定します(下記の「もしも」の表を参照)。 |
| 8 含まれる研究は次のように説明されている | 結果、研究の特徴;論文の表1。 表には、136件の試験それぞれについて、国、サンプルサイズ、参加者グループ、平均年齢、女性の割合、結果、介入と対照(それぞれにカテゴリーあり)、および結果の時点が示されている。本文には、129件の試験が参加者レベルの試験であり、7件がクラスターランダム化試験であったと付け加えられている。 | 部分的にはい | 対象集団、介入、比較対象、アウトカム、およびデザインが記述されており、部分的に「はい」の基準を満たしています。「はい」の基準では、介入と比較対象の詳細(該当する場合は投与量を含む)と設定が求められます。表1には各プログラムと対照群の名前が記載されていますが、試験ごとのセッション数や接触時間は示されておらず、設定は参加者グループを通じてのみ表示されます。抽出フォーム(補足資料S1表2)ではこれらの詳細が記録されており、接触時間はメタ回帰分析に使用されました。 判断が分かれるところだ。 最終評価には影響しません。 |
| 9 バイアスのリスク評価手法 クリティカル | 方法、結果のサブセクション(組織、評価、および変革);結果、バイアスのリスクとエビデンスの信頼性;論文の図3;S1付録表25、p.38。 2人の研究者がそれぞれ独立して、「ランダム化比較試験におけるバイアスのリスクを評価するためのコクラン改訂ツール」を用いて、各試験を評価した。このツールは、ランダム化プロセス、意図した介入からの逸脱、欠落したアウトカムデータ、アウトカムの測定、および報告された結果の選択という5つの領域から構成されている。 | はい | 対象はランダム化比較試験のみであるため、RCTの項目が適用されます。「はい」では、割り付けの隠蔽、参加者と評価者の盲検化、割り付け順序、選択的報告について尋ねています。ランダム化の項目では順序と隠蔽を、逸脱と測定の項目では盲検化を、最後の項目では選択的報告について扱います。 |
| 10 対象研究の資金提供 | 論文の表1、補足資料S1の表2、11ページ。 抽出フォームには「資金提供元、利益相反」というタブがあった。表1、結果、および付録には、対象となったどの試験についても資金提供元は記載されていない。 | いいえ | はい、個々の研究について資金源の報告が必要です。チェックリストでは、査読者が確認したが研究著者が報告していなかったという記述も受け付けています。本報告書ではどちらの記述もありません。これは重大な欠陥ではありません。 判断が分かれるところだ。 抽出フォームには、レビュー担当者が確認したことが示されており、寛大な評価者であれば「はい」と評価する可能性がある。いずれにせよ、最終評価は「低い」のままである。 |
| 11 結果を組み合わせる方法 クリティカル | 方法、データ統合。 著者らは、制限付き最尤法、予測区間、および地域、参加者タイプ、期間、追加コンポーネント、およびコントロールタイプに関するメタ回帰によって適合された多変量モデルを使用して、「比較対象カテゴリー内のペアワイズランダム効果メタ分析」を計算した。 | はい | RCTの3つの要素はすべて揃っています。受動的対照群、能動的非特異的対照群、能動的特異的対照群を分けて扱うことで、組み合わせが正当化されます。重み付けは異質性を考慮したランダム効果モデルであり、異質性の原因は調整因子分析によって調査されました。NRSIの要素は、試験のみのレビューには適用されません。 |
| 12 バイアスのリスクが統合結果に及ぼす影響 | 結果、感度分析;補足資料S1表28~31。 すべての試験でバイアスのリスクが高いと判断されたため、著者らは感度分析において「3つ以上の情報源からバイアスのリスクが高いと判断された試験を除外した」と報告している。受動的対照群と比較した場合の不安、抑うつ、幸福感への影響は有意性を失い、苦痛への影響は残った。 | はい | このレビューは低リスクの試験に限定されていなかったため、バイアスのリスクが要約推定値に及ぼす影響の分析が必要であり、感度分析とはまさにそれである。 |
| 13 解釈におけるバイアスのリスク クリティカル | 考察、調査結果の要約、長所と短所;S1付録表27、p.43。 「レビューに含まれるすべての試験はバイアスのリスクが高いと判断された」および「ほとんどの一次研究の質が低いため、レビュー結果の信頼性、ひいてはその有用性に重大な影響を与える」。GRADE表の12のアウトカム行すべてにおいて、バイアスのリスク領域は深刻と評価されている。 | はい | バイアスのリスクが高い試験が含まれているため、「はい」の場合は結果への影響について議論する必要があります。考察では、バイアスのリスク感度分析において、受動的対照群に対する苦痛と、非常に低いから中程度の言葉の自信についてのみ、結果が有意であると結論付けられています。 |
| 14 異質性について説明し、議論する | 方法、データ統合;結果、モデレーター分析;考察、解釈および過去の研究との比較。 「予測区間は、異なる試験設定における介入効果の変動を反映して推定された」。補足資料S1付録表27の12行のうち10行で、不整合が深刻と評価されている。 | はい | 異質性が認められたため、Yesについてはその原因を調査し、その影響について議論する必要がある。モデレーター分析では、米国での試験では効果が小さく、高リスク群では効果が大きいことが判明し、考察では、これらの結果をあらゆる状況に一般化することはできないと結論付けている。 |
| 15 出版バイアス クリティカル | 方法、結果のサブセクション(組織、評価、および変革);結果、バイアスのリスクとエビデンスの信頼性;S1付録表26(42ページ)、表27(43ページ)、およびファンネルプロット(70~72ページ)。 小規模研究の影響は、「少なくとも10件の研究を含む主要アウトカム領域のメタアナリシスにおけるファンネルプロットの視覚的検査」によって評価された。ファンネルプロットは、「受動的対照群と比較したMBPのうつ病アウトカム領域において、小規模研究または非報告バイアスの証拠」を示したが、苦痛については証拠はなかった。結果のない登録記録が6件記載されていた。 | はい | はい、グラフまたは統計的検定に加え、影響の可能性と大きさについての議論が必要です。少なくとも10件の研究との比較のためにファンネルプロットが作成され、結果が報告され、この問題はGRADEに反映されました。GRADEでは、報告バイアスの非報告領域が12行中5行で深刻と評価されています。 判断が分かれるところだ。 項目15には「部分的なはい」はありません。表27では、受動的対照群に対するうつ病の非報告バイアスは深刻ではないと評価されていますが、本文では小規模研究の証拠が報告されており、それを未解決の議論と解釈する評価者は「いいえ」と評価する可能性があり、そうなると2つ目の重大な欠陥が追加されます(「もしも」の表を参照)。 |
| 16 利益相反および審査資金 | 記事の冒頭部分、利益相反に関する記述、および資金提供に関する記述。 「著者らは、利益相反は存在しないと表明している。」資金提供に関する声明では、このレビューの資金提供者の名前が挙げられており、研究デザイン、データ分析、出版には一切関与していないと述べられている。 | はい | どちらの方法でも「はい」と答えられれば十分であり、本論文は利益相反がないことを表明する声明と資金源の説明の両方を提供している。 |
アイテム評価から最終信頼度評価まで
最終評価は、スコアなしでボックス2の後に続きます。上記の評価には「はい」が12件、「部分的にはい」が2件、「いいえ」が2件含まれていますが、これらの件数はあくまで参考情報です。評価は、以下の2つの欠陥数に基づいて算出されます。
| 手順 | 鑑定士の仕事内容 | このレビューの結果 |
|---|---|---|
| 1 | 7つの重要な項目(2、4、7、9、11、13、15)を読み、それぞれの番号を数えてください。 | 項目2、9、11、13、15は「はい」、項目4は「部分的にはい」、項目7は「いいえ」です。 重大な欠陥が1つあります(項目7)。 |
| 2 | 重要でない9つの項目(1、3、5、6、8、10、12、14、16)を読み、それぞれの番号を数えます。 | 項目1、3、5、6、12、14、16は「はい」、項目8は「部分的にはい」、項目10は「いいえ」です。 1つの軽微な弱点(項目10)。 |
| 3 | 部分的な「はい」はフラグ付けされるがカウントされないという規則を適用する。 | 項目4と8は報告書に記載されており、いずれの件数にも加算されません。 |
| 4 | ボックス2のカウントと一致させてください。重大な欠陥が1つ(重大な欠陥がなくても、重大な欠陥がなくても)は、低い行に該当します。 | 低。 ボックス2の観点から言えば、このレビューは入手可能な研究結果を正確に要約していない可能性がある。 |
| 5 | 複数の軽微な弱点がレベルを下げるに値するかどうかを確認してください。 | 弱点は1つしかなく、評価も既に低いので、何も変わりません。 |
一つの項目が判決にどれほど影響を与えるか
判決はたった一つの重要な項目に基づいているため、シナリオ分析表は、その確固たる根拠を示すための正直な方法です。各シナリオでは、一つの項目を変更して、結果を改めて示します。
| シナリオ | 重大な欠陥 | 重要ではない弱点 | 全体的な自信 |
|---|---|---|---|
| 上記の評価通り | 1(項目7) | 1(項目10) | ロー |
| 著者らは除外された1,208件の全文リストとそれぞれの理由を補足リストとして追加しているため、項目7は「はい」となる。 | 0 | 1(項目10) | ハイ |
| 寛大な評価者は、抽出フォームに資金調達が求められたことが示されているため、項目10を「はい」と評価する。 | 1(項目7) | 0 | ロー |
| より厳格な評価者は、表27と本文がうつ病について矛盾しているため、項目15を「いいえ」と評価する。 | 2(項目7および15) | 1(項目10) | 極めて低い |
この実例が示すこと
評価から3つの点が明らかになります。レビューはAMSTAR 2が評価するほぼすべての慣行に従っていますが、1つのリストが欠落しているため「低」の行に分類されています。また、修正可能な重大な欠陥に関するセクションで説明されているように、除外事項をリストアップしたファイルは原稿段階で簡単に修正できます。ここで不合格となった2つの項目、7と10は、上記の架空のレビューで不合格となった2つの項目と同じであるため、その表のパターンは人為的なものではありません。また、レビュー自体のGRADE評価(調査結果に対する信頼度は中程度から非常に低い)は、AMSTAR 2とは異なる質問、つまりレビュー自体がどれほど信頼できる方法で行われたかという質問に答えています。
読者は、オープンアクセスレビューであればどれでもこの手順を繰り返すことができます。方法、フローチャート、補足付録を並べて開き、まず重要な項目を一つずつマークし、各評価の横にポインターを書き込んで、別の評価者が確認できるようにします。
意思決定表:AMSTAR 2、ROBIS、PRISMA 2020、およびそれぞれの使用時期
査読者は評価ツールと報告チェックリストを混同しがちです。AMSTAR 2は完成した査読に対する信頼度を評価し、PRISMA 2020は著者に報告すべき内容を指示し(チェックリストには27項目あります)、ROBISは査読におけるバイアスのリスクを3つの段階(オプションの関連性チェック、査読プロセスにおける懸念事項の特定、バイアスのリスクに関する最終判断)で評価します。
ペリーらによる直接比較では、3人の査読者が両方のツールを用いて31件の系統的レビューを独立して評価し、厳密に言えばAMSTAR-2は方法論の質を評価し、ROBISはバイアスのリスクを評価するが、シグナルとなる質問はかなり重複していると指摘している。
| あなたの状況 | 最良の選択 | Why |
|---|---|---|
| 医療介入に関する系統的レビュー(臨床試験、NRSI、またはその両方)を評価し、概要、包括的レビュー、またはガイドラインを作成する。 | アムスター2 | まさにこの設計のために作られ、4段階の信頼度評価が得られる。 |
| 診断、予後、または病因に関するレビューを評価する | ロビス | ROBISは介入、診断、予後、病因を対象としているが、AMSTAR 2は診断検査のレビューを目的として設計されたものではない。 |
| 独自のシステマティックレビューを作成する | レポート作成のためのPRISMA 2020、およびAMSTAR 2セルフチェック | PRISMA 2020は論文の執筆を規定しており、AMSTAR 2は読者がどのような方法論上の欠陥を見つけるかを示しています。 |
| ネットワークメタアナリシス、個別患者データメタアナリシス、またはスコーピングレビュー | AMSTAR 2ではありません | 著者らは、これらは改訂の意図された範囲外であったと述べている。 |
| 行為に関する評決と偏見に関する評決の両方が必要 | AMSTAR 2とROBISが一緒に | 重複する部分は大きいが、2つのツールは問題を異なる視点から捉えている。 |
研究デザイン全体にわたるエビデンスの強さを評価するには、臨床研究におけるエビデンスレベルに関するガイドと併せてご活用ください。評価ツールのより広範な比較については、「システマティックレビューにおける質評価ツール」をご覧ください。次のステップとしてアウトカムの確実性を評価する場合は、無料のGRADEエビデンス表計算ツールが表を作成します。
提出前に修正できる重大な欠陥とは?
自身の原稿を評価する著者は、AMSTAR 2を投稿前の監査ツールとして利用できます。重要な項目は修正の容易さが大きく異なるため、その違いに基づいて作業の順序を決めるべきです。
| 重要アイテム | 修理可能になりましたか? | 何をすべきか |
|---|---|---|
| 2プロトコル | まれに | 「はい」と判断するには、審査以前に登録されたプロトコルが必要です。したがって、修正方法は、次回の審査開始前に登録を完了することです。文書化されたプロトコルが存在する場合は、それを明示的に記載することで「部分的なはい」と判断できます。 |
| 4検索 | はい | 必要に応じて、臨床試験登録簿、参考文献リストの確認、専門家への相談、グレー文献を追加し、検索が完了後24か月以内に行われるように検索を更新してください。 |
| 除外された研究7件 | はい | 各研究につき1つの理由を記載した、全文除外に関する補足表を公開する。 |
| 9. バイアスのリスク | はい | ランダム化比較試験の項目名またはNRSIの領域を網羅するツールを使用して再評価してください。 |
| 11 メタ分析手法 | 通常 | 統合の正当性を説明し、加重法を用い、異質性を調査し、試験とNRSIを別々に報告する。 |
| 13 解釈におけるRoB | はい | 結論が、基礎となる研究におけるバイアスのリスクと結びつくように、議論を書き直してください。 |
| 15.出版バイアス | 依存 | 少なくとも10件の研究が存在する場合は、ファンネルプロットまたは統計的検定を追加し、その影響の可能性と大きさについて考察する。 |
新たなレビューを計画しているチームは、この表と併せてメタ分析におけるよくある間違いに関する注記も読んでおくべきです。なぜなら、項目11、12、15は、そこに挙げられている誤りと重複しているからです。AMSTAR 2の評価に基づいて包括的なレビューを作成する研究者は、包括的なレビューの手順書も役立つでしょう。
AMSTAR 2でレビューを評価する際によくある間違い
- 得点を合計する。 シェイ氏らはこれに強く反対しており、賛成票が14票というレビューでも、依然として極めて低い評価と言える。
- 疑わしきは罰せずの原則を適用する。 未報告とは、いいえを意味します。
- 明示されたプロトコルを登録済みのプロトコルとして扱う。 報告書中の記述は、せいぜい「部分的にイエス」という評価であり、「イエス」という評価には独立した検証が必要である。
- 項目11では、ランダム化された推定値とランダム化されていない推定値を統合します。 両方の設計が含まれる場合は、それぞれ個別に要約見積もりを作成する必要があります。
- 対象外の設計にツールを使用する。 ネットワークメタアナリシスやスコーピングレビューには、他のツールが必要となる。
- プロトコルの比較はスキップします。 登録情報と報告書の内容に説明のつかない相違がある場合は、格下げの理由となる。
レビューワークフローに役立つ無料ツール
Editverseの無料リサーチツール
AMSTAR 2 よくある質問
AMSTAR 2には、いくつの項目と重要領域がありますか?
AMSTAR 2には16項目あります。そのうち7項目(項目2、4、7、9、11、13、15)は重要領域として指定されています。
AMSTAR 2は数値スコアを出力しますか?
いいえ。論文の推奨では、項目評価を合算してスコアを作成することはなく、重大な欠陥と軽微な弱点の数に基づいて、4段階の信頼度レベルのいずれかが割り当てられます。
AMSTAR 2は観察研究のレビューを評価できますか?
はい。2017年の改訂版では、ランダム化比較試験、介入に関する非ランダム化研究、またはその両方を含む系統的レビューが対象となっており、項目9と11にはそれぞれの研究デザインに応じた個別の基準が設けられています。
AMSTAR 2とROBISの違いは何ですか?
AMSTAR 2は、16項目を通して医療介入に関するレビューの方法論的質を評価する一方、ROBISは3段階のプロセスを通してレビューにおけるバイアスのリスクを評価する。両者にはかなりの重複があり、両方を使用するチームもある。
AMSTAR 2基準を満たすシステマティックレビューのための専門的なサポート
最も重要な領域は、プロトコル、検索、分析の段階で設定されるため、提出後の修正はコストがかかります。Editverseは、重要な項目を念頭に置いてシステマティックレビューを作成します。これには、項目2のPROSPERO対応プロトコル、項目4の文書化された検索戦略、項目9のバイアスリスク図、項目15の統計的検定を含むファンネルプロットが含まれます。レビューサポートはPRISMA 2020に準拠しており、EditverseはCOPE、ICMJE、GPP 2022に準拠した作業を行っています。
S
$1,800
対象となる最大15件の研究について、系統的レビューとメタアナリシスを実施します。PROSPERO登録済みのプロトコル、PRISMAフローチャート、バイアスリスク図、フォレストプロット、ファンネルプロットを作成します。プロトコル承認後、10~14週間で完了します。
分析のみ
$1,000
抽出データに基づく単独メタ分析。異質性、バイアス検定を含むファンネルプロット、感度分析、および論文作成に適した結果セクションを提供します。データ受領後2~3週間で完了します。
これら2つのパッケージを超えるプロトコル設計、検索戦略、および完全な原稿作成サポートについては、Editverseのシステマティックレビュー執筆サービスを参照してください。
結論
AMSTAR 2は、規律あるルーティンを重視する評価方法です。16項目それぞれを公開されている基準に照らし合わせて評価し、7つの重要領域とその他の9項目における「いいえ」の数をそれぞれ別々に集計し、合計することなくボックス2の判定結果を読み取ってください。私たちが考案した腰痛レビューでは、たった1つのリストの欠落が、いかに優れたレビューを「低」にまで引き下げ、そして1つの補足表がいかに迅速にそれを回復させるかを示しています。
他人のレビューを評価する場合でも、自分のレビューを監査する場合でも、評価基準を文書化し、評価者を2名にし、評価手順書を報告書の横に保管しておきましょう。こうした習慣を身につけることで、単なるチェックリストが、正当性のある判断へと変わります。
参考情報
- Shea BJ、Reeves BC、Wells G、et al. AMSTAR 2: 医療介入のランダム化研究または非ランダム化研究、あるいはその両方を含む系統的レビューのための批判的評価ツール。BMJ. 2017;358:j4008. doi:10.1136/bmj.j4008PMID 28935701。全文および補足付録は以下を参照。 PMC5833365.
- Shea BJ、Grimshaw JM、Wells GAら。AMSTARの開発:系統的レビューの方法論的質を評価するための測定ツール。BMC Med Res Methodol. 2007;7:10. doi:10.1186/1471-2288-7-10. PMID 17302989.
- Perry R、Whitmarsh A、Leach V、Davies P. システマティックレビューの概要で使用される2つの評価ツールの比較:ROBIS対AMSTAR-2。Syst Rev. 2021;10:273. doi:10.1186/s13643-021-01819-x. PMID 34696810.
- Whiting P、Savovic J、Higgins JPTら。ROBIS:系統的レビューにおけるバイアスのリスクを評価するための新しいツールが開発された。J Clin Epidemiol. 2016;69:225-234. doi:10.1016/j.jclinepi.2015.06.005. PMID 26092286.
- Page MJ、McKenzie JE、Bossuyt PMら。PRISMA 2020声明:系統的レビューの報告に関する最新ガイドライン。BMJ. 2021;372:n71. doi:10.1136/bmj.n71. PMID 33782057.
- Galante J、Friedrich C、Dawson AF、Modrego-Alarcón M、Gebbing P、Delgado-Suárez I、et al. 非臨床環境における成人のメンタルヘルス促進のためのマインドフルネスに基づくプログラム:ランダム化比較試験の系統的レビューとメタ分析。PLoS Med. 2021;18(1):e1003481. doi:10.1371/ジャーナル.pmed.1003481PMID 33428616.
