虚拟筛选-5|虚拟筛选的评价指标

虚拟筛选

2025-09-11

导语

  在虚拟筛选（Virtual Screening, VS）的 “数字战场” 上，如何判断筛选方法的优劣？就像导航需要罗盘，药物研发也需要一套科学的评价指标，来衡量筛选结果的可靠性与效率。

 

 

一、筛选效果的 “金标准”：富集因子（Enrichment Factor, EF）

  富集因子是衡量虚拟筛选效率的核心指标，它表示通过筛选后，活性化合物在高分段的富集程度。通俗来说，就是 “在筛选出的前 X% 化合物中，活性分子的比例比随机筛选高多少倍”。

计算公式


示例：若数据库中含 1000 个活性分子（总化合物数 10 万），随机筛选前 1% 应找到约 10 个活性分子（10 万 ×1%×1%）。若某筛选方法在前 1% 结果中找到 150 个活性分子，则 EF=150/(1000×1%)=15，意味着筛选效率是随机的 15 倍。

关键作用： 

  • 评估不同方法（如二维指纹 vs. 分子对接）的筛选效能。
  • 优化筛选参数（如相似性阈值、对接评分 cutoff）。

 

二、全局性能的 “晴雨表”：ROC 曲线与 AUC 值

       ROC 曲线（Receiver Operating Characteristic Curve）通过绘制 “真阳性率（TPR）” 与 “假阴性率（FPR）” 的关系，直观展示筛选方法的整体性能。曲线下面积（AUC, Area Under Curve）则量化了这一性能，AUC=1 表示完美筛选，AUC=0.5 表示随机水平。

 

构建方法：

  1. 将筛选结果按得分从高到低排序（如相似性分数、对接评分）。
  2. 计算不同阈值下的 TPR（活性分子被正确识别的比例）和 FPR（非活性分子被误判为活性的比例）。
  3. 绘制曲线，AUC 值越大，筛选方法越可靠。

 

三、早期筛选的 “效率指标”：BEDROC 与 RIE

  在药物研发中，早期筛选更关注 “能否在最短时间内找到高活性分子”，因此衍生出针对前序结果的评价指标：

1. BEDROC（Binary Early Detection Rate with Optimized Complement）

核心思想：评估筛选结果中前 k% 分子的 “活性富集纯度”，尤其适用于活性分子稀缺（如 < 1%）的场景。

计算公式如下：

  其中n为actives化合物数；N为总的化合物数；Rα=n/N，即活性化合物数占总化合物数的比例；ri是根据打分排序，第i个活性物的排序位置。

  • 当 BEDROC 值接近 1 时，说明高分段富集了大量活性分子。

2. RIE（Rank Increment Efficiency）

定义：活性分子在筛选结果中的平均排名与随机排名的比值。RIE=实际排名的平均值/随机排名的平均值​。

示例：若活性分子的实际平均排名为 500，随机平均排名为 50000（总化合物 10 万），则 RIE=50000/500=100，表明筛选方法将活性分子的排名提升了 100 倍。

 

四、方法对比的 “实战测试”： retrospective 与 prospective 研究

1. Retrospective Study（回顾性研究）

方法：使用已知活性分子作为 “参考集”，在包含这些分子的数据库中进行筛选，验证活性分子是否被优先识别。
优势：

  • 数据可追溯，便于复现与方法对比。
  • 例：用已知 COX-2 抑制剂（如塞来考昔）作为参考，测试二维指纹对同类分子的富集能力。

2. Pro2spective Study（前瞻性研究）

方法：在未知活性的化合物库中应用筛选方法，通过实验验证预测结果。
价值：

  • 真实反映筛选方法的临床转化潜力。
  • 例：通过分子对接筛选出 500 个候选化合物，经实验验证后发现 3 个 IC₅₀<100 nM 的新抑制剂，验证了方法的有效性。

 

五、常见误区与提升策略

1. 误区：“高 AUC 一定等于好结果”

  • 真相：AUC 反映全局性能，但实际筛选中更关注 “前 1% 结果的富集能力”。例如，某方法 AUC=0.7 但 EF@1%=20，可能比 AUC=0.8 但 EF@1%=10 的方法更实用。

2. 提升策略：

  • 数据融合（Data Fusion）：结合多种筛选方法（如二维指纹 + 分子对接）的结果，通过加权求和提升富集效率。
  • 动态验证：在筛选流程中嵌入 “活性 - 非活性” 验证集，实时调整参数（如药效团容差、对接评分阈值）。

 

结语

  虚拟筛选的评价指标如同 “药物研发的仪表盘”，不仅能衡量现有方法的优劣，更能指引技术迭代的方向。从早期的富集因子到如今的机器学习模型评估，这些工具始终围绕一个核心目标 ——用最少的计算成本，找到最具成药潜力的分子。

 

参考资料
1. http://blog.molcalx.com.cn/2022/01/25/pde5a-ensemble-vs.html