専門医試験は、その合否が社会的に与える影響が大きいため、その信頼性に関して説明責任が求められる。専門医制度認定委員会では、2015年度の試験より詳細な検討を行ってきたが、そのデータや解析方法は、家庭医療専門医試験の関係者のみならず、試験制度や心理測定に関係する多くの関係者に有用であると思われるため、情報開示しておきたい。

日時：2018年7月15～16日
受験者数：138名
概要

• CSA（clinical skills assessment）
  6ステーション（2017年度と同じ）
  ステーション、評価者の2facetに対し、Φ係数0.614（項目合計点）、0.654（概略評価）
  ステーションの1facetに対し、Φ係数0.623（模擬患者評価）
• 筆記試験
  MCQ（multiple choice questions）120問
  112項目でΦ係数0.75
• ポートフォリオ
  18領域（2015年度と同じ）
  評価者と領域の2facetでΦ係数0.919
• ポートフォリオ口頭試問
  ランダムな2領域のみ受験
  項目と評価者の2facetでΦ係数0.472

日時：2017年7月16～17日
受験者数：105名
概要

• CSA（clinical skills assessment）
  6ステーション（①救急、②患者教育、③高齢者医療、④心理社会、⑤小児･思春期、⑥日常病）
  ステーション、評価者の2facetに対し、G係数0.601（項目合計点）、0.648（概略評価）
  ステーションの1facetに対し、G係数0.604（模擬患者評価）
• 筆記試験
  MCQ（multiple choice questions）120問
  103項目でG係数0.763
• ポートフォリオ
  18領域（2015年度と同じ）
  評価者と領域の2facetでΦ係数0.867
• ポートフォリオ口頭試問
  ランダムな2領域のみ受験
  項目と評価者の2facetでΦ係数0.314

日時：2016年7月18日
受験者数：79名
概要

• CSA（clinical skills assessment）
  7ステーション（2015年度と同じ）
  ステーション、評価者の2facetに対し、G係数0.683（項目合計点）、0.685（概略評価）
  ステーションの1facetに対し、G係数0.607（模擬患者評価、6ステーション）
• 筆記試験
  MCQ（multiple choice questions）67問
  EMI（extended matching items）12問、27項目
  合わせて94項目でG係数0.834
• ポートフォリオ
  18領域（2015年度と同じ）
  評価者と領域の2facetでG係数0.889

日時：2015年7月19～20日
受験者数：67名
概要

• CSA（clinical skills assessment）
  7ステーション（①小児、②心理社会、③高齢者、④主治医意見書、⑤一次救急、⑥患者教育、⑦一般的疾患）
  ステーション、評価者の2facetに対し、G係数0.715（項目合計点）、0.642（概略評価）
  ステーションの1facetに対し、G係数0.495（模擬患者評価、6ステーション）
• 筆記試験
  MEQ（modified essay question）に一部EMI（extended matching items）を組み合わせた
  必須問題：①日常病、②高齢者、③慢性病、④EBM
  選択問題：⑤小児、⑥精神保健、⑦緩和ケア、⑧女性の健康のうち3つ
  EMIの41問分に対し、G係数0.647。D研究にて90問で0.8レベルへ
• ポートフォリオ
  18領域（①bio-psycho-social、②家族、③複数の健康問題、④行動変容、⑤地域ヘルスプロモーション（健康増進）、⑥EBM orコミュニケーション、⑦プロフェッショナリズムor生涯学習、⑧業務改善orチームワーク、⑨教育、⑩研究、⑪個人への健康増進、⑫幼小児･思春期、⑬高齢者、⑭終末期、⑮女性･男性、⑯リハビリテーション、⑰メンタルヘルス、⑱救急）
  評価者と領域の2facetでG係数0.872