はじめに
RWDは、本来は診療報酬請求などの目的で収集された情報を二次利用するため、研究を行ううえで重要な情報が記録されていないことがあります。さらに、情報が記録されてる場合でも、それが正確なのか、研究でイメージしている状態と本当に一致しているのかが懸念事項としてあげられます。
そのため、RWDを研究に用いる場合には、記録された情報の妥当性（validity）の担保が求められます。
本記事では、情報の妥当性を担保するためのバリデーション研究について、基礎知識や日本におけるバリデーション研究の一覧をまとめました。
本記事がRWDを用いた研究を実施する際の参考になればと思っています。
なぜバリデーション研究が必要なのか
データベースに記録された情報が正確であることに越したことはありません。しかしながら、データベース研究に100%の正確性を求めるのも非現実的です。
そのため、データベースを用いる研究者は、妥当性を向上させるためにさまざまな工夫をしています。例えば、レセプト病名だけでは不正確だと考えられる場合には、薬剤や処置を組み合わせて妥当性を担保します。
このように「リアルワールドデータ」がどの程度「リアル」なのか、仮に歪んでいるとしたら結果への影響はどの程度なのかを検討・解釈するために、バリデーション研究が必要となります。
バリデーション研究の基礎知識
ゴールドスタンダード（gold standard）
日本薬剤疫学会のタスクフォースでは、「より真に近いと考えられる情報と比べて妥当性を確認すること」をバリデーション研究（validation study）と定義しています。1)
この「より真に近いと考えられる情報」のことを至適基準（ゴールドスタンダード）といいます。
例えば、保険データベースに記録された病名に対して、ゴールドスタンダードは「一定の基準に基づいて病院で診断された診断名」となります。未診断のごく早期のがんの存在のように、臨床上でも気づかれないようなものを基準にするのは非現実的です。
ゴールドスタンダードの設定はカルテレビューによるものが大半です。それ以外は疾患レジストリーや検査結果を用いることがありますが、比較的稀です。
それぞれのゴールドスタンダード設定における注意点は以下の通りです。1)
カルテレビュー
- 適切な診断基準に沿って判定が可能となるような調査票を設計する必要があります。もしも明確な診断基準がない場合には、その研究でどのような基準を用いたかを明示する必要があります。そして、可能な限り複数の評価者が独立に評価し、その一致度（カッパ係数）を報告することも求められています。
疾患レジストリー
- 疾患レジストリーがそもそも高い妥当性を持ち合わせているかを確認しておく必要があります。まだ開設されたばかりで網羅的に症例が登録されていない、あるいは疾患の正確性が十分確認されていない症例が多く混ざっているような疾患レジストリーはゴールドスタンダードとして使うことはできません。
検査結果
- 検体が正確に測定・標準化（例：尿蛋白の±、+、2+の分類）・記録されているか、また、病理診断や画像診断の場合は診断結果が標準化・電子化されているかを確認しておく必要があります。もしも標準化・電子化されていない場合は、標準化・電子化の作業を実施するか、実質的に医療機関に戻って行うカルテレビューと同じ方法でバリデーション研究を実施しなければなりません。
妥当性の指標
妥当性の指標として、主に用いられるのは感度（sensitivity）、特異度（spesificity）、陽性的中率（positive predictive value: PPV）、陰性的中率（negative predictive value: PPV）です。
ゴールドスタンダードをカルテ記録とした場合のデータベースで考えると、これらの指標は以下のように算出されます。
- 感度（sensitivity）：カルテ上、ある疾患が記録されている人のうち、データベース上の病名でもその疾患の記録がある人の割合
- 特異度（spesificity）：カルテ上、ある疾患が記録されていない人のうち、データベース上の病名でもその疾患の記録がない人の割合
- 陽性的中率（positive predictive value: PPV）：データベース上、ある疾患の病名がある人のうち、カルテ上でもその疾患が記録されている人（実際に疾患がある人）
- 陰性的中率（negative predictive value: NPV）：データベース上、ある疾患の病名がない人のうち、カルテ上でもその疾患が記録されていない人（実際に疾患がない人）
※ その他の指標として以下を使用することもあります。
- 陽性尤度比（positive likelihood ratio: PLR）：感度/（1-特異度）
- 陰性尤度比（negative likelihood ratio: NLR）：（1-感度）/特異度
| ゴールドスタンダードの定義を満たすか （真のケースか否か）例：カルテ上の脳梗塞の記録 |
||||
| あり | なし | |||
| アウトカムの定義を満たすか （陽性のケースか否か） 例：データベース上の脳梗塞の記録 |
あり | 真の陽性 a | 偽陽性 b | 陽性的中率=a/(a+b) |
| なし | 偽陰性 c | 真の陰性 d | 陰性的中率=d/(c+d) | |
| 感度=a/(a+c) | 特異度=d/(b+d) | |||
これらの指標は以下のように解釈されます。
【バリデーション研究における結果の解釈】
- 感度が高い病名が入力されていない → 実際に疾患はないだろう
- 特異度が高い病名が入力されていない → 実際に疾患があるのだろう
- データベースで抽出されてきた症例に本当に疾患があるかどうかは、病名の感度・特異度と有病率による
これらは臨床診断における解釈と同じといえます。
【臨床診断の解釈】
- 感度が高い検査は陰性所見を持って除外診断に用いる
- 特異度が高い検査は陽性所見を持って確定診断に用いる
- 検査の感度、特異度は検査固有のものであるが、陽性的中率・陰性的中率は有病率による
日本におけるバリデーション研究一覧
日本におけるバリデーション研究の一覧を以下にまとめました（PDFダウンロードはこちら）。
| 文献 | 対象疾患 | データベース | アウトカムの定義 | ゴールドスタンダード | サンプリング方法とサンプルサイズ | 妥当性を測定する指標 | 主な結果 （カッコ内は95%信頼区間） |
| Validity of diagnoses, procedures, and laboratory data in Japanese administrative data | DPCデータの 16 の 疾患、10 の診療 行為、SS-MIX データの 13 の臨床検査結果 | DPC、SS-MIX 標準化ストレージ | ICD-10コード、 処置コード、検査値 | カルテレビュー | DPC 病院でランダムサンプル した 315 人の患者 | PPV/NPV/Sensitivity/ Specificity | DPCデータの診断の特異度は96％を 超えているが、感度は7つの疾患で50％を 下回り、疾患によって差があった。 |
| Validity of claims-based algorithms for selected cancers in Japan: Results from the VALIDATE-J study | がん | claims data | ICD-10コード、 薬剤、処置コード | 院内がん登録 | 外来、入院で診療を受けた アルゴリズムに合致する がん患者 25,934人 | PPV/Sensitivity/ Specificity | Any malignancy：PPV 78.95% (78.41– 79.49)、特異度 98.33% (98.28– 98.38)、感度 67.30% (66.73–67.87) |
| Validity of initial cancer diagnoses in the Diagnosis Procedure Combination data in Japan | がん（病名だけでなく、 TNM分類についても 調査） | DPC | ICD-10コード | 院内がん登録 | 院内がん登録に登録され、データ のリンケージが達成できた 29,180人 | PPV/Concordance （DPCデータに記録されて いる各がん種の数を、がん 登録に登録されている 各がん種の総数で割って算出） | 調査した15種類のがんのPPVは86.8- 100.0%であった |
| The accuracy of Japanese claims data in identifying breast cancer cases | 乳がん | DPC | ICD10コード、 処置コード | 医療機関内のがん 登録レジストリ | 院内がん登録の患者50,056人の なかから、乳癌患者 633人を 抽出 | PPV/NPV/Sensitivity/ Specificity | 12の定義は90％以上の高い感度を示した が、その他の定義は40％以下の低い感度 を示した。すべての定義の特異度は高く （99％以上）、PPVは65.8～90.7％であった。 |
| Accuracy of using Diagnosis Procedure Combination administrative claims data for estimating the amount of opioid consumption among cancer patients in Japan | がん患者のオピ オイド消費量 | DPC | 薬剤（レセプト コード） | カルテレビュー | 院内がん登録の患者のうち、 少なくとも1回はオピオイドが 処方された患者1,158人 | DPCデータから得られた オピオイド総消費量の推定値 と電子カルテから得られた 推定値を比較し、各月の2つの 推定値の差の割合を薬の種類別 に計算 | 調査期間中の電子カルテとDPCデータの 差は、電子カルテをベースラインとした 場合、-0.1％（4721mg/年/病院）であった。 差異の半分は、データ入力時のエラーが 原因であった。 |
| Performance evaluation of case definitions of type 1 diabetes for health insurance claims data in Japan | 1型糖尿病 | claims data | ICD-10コード、 薬剤、処置コード | カルテレビュー | 1回以上受診した1型糖尿病患者 ・・ケース：296人、 コントロール：69,023人 | PPV/sensitivity | 確定病名の感度は32.9%（28.4-37.2）、 PPVは33.3（95％CI：38.0、38.4）であった。 「1型糖尿病の確定病名＋2つのインスリン 治療法（CSII用シリンジポンプとインスリン 針）のいずれか一方」で定義すると、 PPVは90.2（85.2-94.4）に向上した。 |
| Validation study on diabetes definitions using Japanese Diagnosis Procedure Combination data among hospitalized patients. | 糖尿病 | DPC | ICD-10、薬剤 | カルテレビュー | JPFC-NEXT Studyの対象患者 15,334人のうち、500人をランダムに 抽出。データの揃っている72人を 対象に検討。 | PPV/NPV/Sensitivity/ Specificity | 病名のみ：感度89.5(66.9-98.7)、特異度 96.2(87.0-99.5)病名または糖尿病薬：感度 89.5(66.9-98.7)、特異度94.3(84.3-98.8)病名 と糖尿病薬：感度68.4(43.4-87.4)、特異度 100(93.3-100) |
| Appropriate definition of diabetes using an administrative database: a cross- sectional cohort validation study. | 糖尿病 | JMDC Claims Database | ICD-10、薬剤、 検査歴 | 特定健診の結果 （空腹時血糖、 HbA1c、抗糖尿病 薬の使用、眼底 検査）から糖尿病 の有無を判断 | 特定健診データのある2,999,152人 | PPV/NPV/Sensitivity/ Specificity | 「糖尿病の診断名＋抗糖尿病薬の処方＋ 診断と抗糖尿病薬の使用が同日」 →感度74.6％、PPV88.4％ |
| Validity of Claims Diagnosis Codes for Cardiovascular Diseases in Diabetes Patients in Japanese Administrative Database. | 糖尿病患者における 心血管イベント、腎不全、 死亡 | DPC（株式会社 リアルワールド データ社） | ICD-10コード | 電子カルテ（入院 ・外来を問わず、 医師の診断がフリー テキストで入力され ている場合でも、 RWD社がフリー テキストの情報を 標準的な疾患コード システムに変換 している） | 電子カルテで2型糖尿病患者の 診断があり、claims dataでも 2型糖尿病の請求がある患者の 312,213人 | PPV | ＜PPV＞ ・うっ血性心不全：95.7(96.1-95.2) ・脳卒中：88.9(89.7-88.2) ・ESRD：67.4(68.9-65.9) ・心筋梗塞：78.7(80.6-76.8) ・死亡：80.3(81.0-79.5) |
| Association measures of claims-based algorithms for common chronic conditions were assessed using regularly collected data in Japan | 高血圧、糖尿病、脂質異常症 | JMDC Claims Database | ICD-10コード、 薬剤 | 健診結果 | 自己申告による薬の使用状況と 高血圧、糖尿病、脂質異常症に 関する検査結果のデータなどの 必要なデータが揃っている 445,810人 （高血圧： 286,139人、糖尿病：52,014人、 脂質異常症：277,707人） | PPV/NPV/Sensitivity/ Specificity/PLR/NLR | ・高血圧： 感度74.5％（74.2-74.8） 特異度98.2％（98.2-98.3） ・糖尿病： 感度78.6％（77.3-79.8） 特異度99.6％（99.5-99.6） ・脂質異常症： 感度34.5％（34.2-34.7） 特異度97.2（97.2-97.3） |
| 医療情報データベースを 用いた静脈血栓塞栓症発症、 出血性イベントのバリデー ション研究 | VTE（DVT, PEの複合イベント）、 出血 | DPC（メディカル・ データ・ビジョン 株式会社） | 傷病名コード、 ICD10 コード、 薬剤、処置コード | 専門医の判断 （詳細不明） | データベースに登録された 5,044,743人のうち、下肢の整形 外科手術を受けた36,947人を 抽出 | PPV | ・VTEイベント ：PPV 75.0% ・出血イベント：PPV 73.3% |
| Positive predictive value of ICD-10 codes for acute myocardial infarction in Japan: a validation study at a single center | 急性心筋梗塞（AMI） | DPC | ICD-10コード | カルテレビュー | 急性心筋梗塞として請求があった 200名をランダムに抽出 | PPV | DPCの様式において、傷病名を入力する ところのいずれかにAMIIが入っている： PPV 89.3% (83.8–93.4)最も良い条件の 場合、PPV 93.8% (88.9–97.0)であった。 |
| The validity of the claims-based definition of rheumatoid arthritis evaluated in 64 hospitals in Japan. BMC Musculoskelet Disord | 関節リウマチ | claims data、臨床 データ（徳洲会 インフォメーション システム株式会社） | ICD-10コード、 薬剤 | カルテレビュー | 診療を受けた約160万人の患者 から、1万9734人を無作為に 抽出。うち、観察期間が365日 未満の患者は除外し、「関節リウ マチの可能性がある症例」の定義 を満たした334人の患者を抽出 | PPV/NPV/Sensitivity/ Specificity | 最も良い条件では、感度 72.6%(62.4- 82.8)、PPV 80.3%(70.7-89.9) |
| Validity of administrative database detection of previously resolved hepatitis B virus in Japan. | HBV再活性化のリスクがある 免疫抑制剤使用中の関節 リウマチ | claims data （国立病院機構の Medical Information Analysis databank） | ICD-10コード、 薬剤、検査歴 | カルテレビュー | 定期的（年4回以上）にHBV-DNA 検査を受けた免疫抑制剤を使用 している関節リウマチ患者346人 | PPV | PPV 85.8％（81.7-89.3） |
| Validation of a novel method to identify healthcare-associated infections | 医療関連感染 | claims data | ICD-10コード、 薬剤 | カルテレビュー | 胃切除目的で入院した胃がん患者 584人 | PPV/NPV/Sensitivity/ Specificity | 感度 0.93(0.87-0.96)、特異度 0.91(0.89-0.94)、PPV 0.75(0.68～0.81)、 NPV 0.98(0.96-0.99) |
| Validation study of the claims-based definition for age-related macular degeneration at a single university hospital in Japan. | 加齢黄斑変性症（AMD） | claims data | 傷病名コード、 薬剤、処置コード | カルテレビュー | 眼科外来受診で診断された加齢 黄斑変性症患者700人をランダム に抽出 | Sensitivity/Specificity/ PLR/NLR | 診断名をAMDとした場合：感度 94.9％、 特異度 92.6％ |
| Validity of congenital malformation diagnoses in healthcare claims from a university hospital in Japan. | 先天性奇形（CM） | claims data | ICD-10コード | カルテレビュー | 先天性奇形と診断された乳児 227名 | PPV | ・all CM：PPV 90.7％ ・Major CM：PPV 91.5％ |
| Validation Study of Claims-based Definitions of Suspected Atypical Femoral Fractures Using Clinical Information | 非定型大腿骨折 | DPC | ICD-10コード | カルテレビュー | 骨折（6types）のICD-10codeが 付与されていた2,535人（転子下 骨折9人、大腿骨骨幹部骨折 23人） | sensitivity/specificity/ PPV | ・転子下骨折： 感度 81.8%(48.2-97.7) 特異度 100.0%(99.9-100.0) ・大腿骨骨幹部骨折： 感度 82.1%(63.1-93.9) 特異度 100.0%(99.9-100.0) |
| Claims-Based Definition of Death in Japanese Claims Database: Validity and Implications | 死亡 | JMDC Claims Database | claims data上の 死亡、Charlson comorbidity index など（死亡の後に 請求がある状況を ゾンビとした） | 保険の資格喪失 理由の部分に書か れている死亡 | データベース内の195,193人 の保険受給者全員（20-74歳） | sensitivity/specificity/ PPV | 最も良い条件で感度 61.6% (57.8−65.3)、 特異度 99.99% (99.98−99.99)、PPV 94.8% (92.3−96.7)であった。 |
最後に
RWDはRCTにはない利点があります（以前の記事：リアルワールドデータでできること・できないことのまとめ。
しかしながら、その利点を生かすにはRWDの妥当性担保が必要となります。
今回紹介したように、日本におけるバリデーション研究は多くありません。
バリデーション研究は地道な作業であり、手間がかかることも要因の一つだと思います。2)
- 自施設の入力間違いを探すような作業をするので、気分はよくない（病院代表者への丁寧な説明が必要）。
- 協力施設のカルテ閲覧権限、端末・会議室の確保依頼
- 通常業務に支障がないようにしなければならないよう予定時間内に終わらなければならない
- 「項目の取り忘れ」、「終わらなかった」などの理由で再訪問することは困難
など
バリデーション研究を行う環境が整い、研究がより盛んになることを期待しています。
参考
- 超絶解説 医学論文の難解な統計手法が手に取るようにわかる本, 金原出版 ,著者：康永 秀生, 山名 隼人, 岩上 将夫
- 「日本における傷病名を中心とするレセプト情報から得られる指標のバリデーションに関するタスクフォース」報告書, 日本薬剤疫学会
https://www.jspe.jp/committee/pdf/validationtrr120180528.pdf
引用
- 「日本における傷病名を中心とするレセプト情報から得られる指標のバリデーションに関するタスクフォース」報告書, 日本薬剤疫学会
https://www.jspe.jp/committee/pdf/validationtrr120180528.pdf - 超絶解説 医学論文の難解な統計手法が手に取るようにわかる本, 金原出版 ,著者：康永 秀生, 山名 隼人, 岩上 将夫
