AlphaFold3（AF3）是DeepMind开发的蛋白质结构预测模型，能够预测蛋白质与其他分子（包括蛋白质、核酸和小分子）的复合结构。与之前的AlphaFold版本相比，AF3的输入更加复杂，需要处理多种分子类型，因此模型的设计也更加复杂。本文将详细介绍AF3的架构，包括输入准备、表征学习和结构预测三个部分，并解释每个部分的关键步骤和算法。

关键要点

• 📡 输入准备: 针对蛋白质序列和可选的其他分子，AF3将它们转换成一系列6个张量，这些张量作为模型主干的输入。这6个张量分别代表token级单一表征、token级配对表征、原子级单一表征、原子级配对表征、MSA表征和模板表征。

  该过程包括5个步骤：tokenization、检索、创建原子级表征、更新原子级表征、原子级到token级集成。AF3引入了新的token来处理不同的分子类型，并检索与输入序列相似的序列和结构作为额外的输入。为了创建原子级表征，模型提取每个氨基酸、核苷酸和配体的参考构象，并计算原子之间的相对距离。

  原子Transformer模块在原子级别应用注意力机制，根据附近的其他原子更新原子级别的单一和配对表征。最后，将原子级表征投影到token级别，为表征学习部分做准备。

• 📢 表征学习: 该部分模型的目标是改进token级别的单一和配对张量的初始化表示。它包含三个主要步骤：模板模块、MSA模块和Pairformer。

  • 模板模块: 使用检索到的结构模板来更新配对表征。
  • MSA模块: 使用多序列比对 (MSA) 来更新MSA表征，并将其引入到配对表征中。
  • Pairformer: 使用三角注意力机制来更新单一和配对表征。

  Pairformer中引入了「三角更新」和「三角自注意力」方法，利用三角形不等式的思想来编码token之间的几何约束。这些步骤会重复运行多次，每次输出结果后再将其反馈到自身作为输入，继续进行计算。

• 📣 结构预测: 这部分使用条件扩散模型来预测蛋白质的结构。

  • 首先，模型准备token级条件张量，将配对表征与相对位置编码拼接，并通过多个转换模块进行处理。
  • 然后，模型准备原子级条件张量，根据当前的token级表征更新原子级表征。
  • 接下来，模型在token级别和原子级别分别应用注意力机制，更新原子坐标和序列信息的token级表征。
  • 最后，模型使用原子Transformer和经过更新的token级表征来预测原子级噪声更新，并将其转换为非单位方差的形式，最终得到蛋白质的结构预测。

• 📤 模型训练: AF3使用自监督学习方法进行训练，通过预测蛋白质结构的残基间距离和二面角来优化模型参数。模型还引入了交叉蒸馏技术，使用之前训练好的AlphaFold2模型作为教师模型来指导AF3的训练过程。

• 📥 应用: AF3可以广泛应用于生物学和药物研发领域，例如蛋白质结构预测、药物设计、蛋白质功能分析、疾病机制研究等。AF3的出现将加速生物学研究的进展，并为开发新的药物和治疗方法提供新的可能。