在物理学、材料科学和工程等科学领域推进人工智能系统需要对复杂的多物理现象进行推理，同时尊重管理原则。尽管大型语言模型 (LLM) 和现有的偏好优化技术在标准基准上表现良好，但它们常常难以区分物理上有效和无效的推理。这一缺点在金属连接等高风险应用中变得至关重要，在这些应用中，看似合理但实际上不正确的建议可能会导致缺陷、材料浪费、设备损坏和严重的安全风险。为了应对这一挑战，我们引入了 PKG-DPO，这是一种新颖的框架，它将物理知识图谱 (PKG) 与直接偏好优化 (DPO) 相结合，以强制人工智能生成的输出中的物理有效性。 PKG-DPO 包含三个关键组件：A）分层物理知识图，编码跨域关系、守恒定律和热力学原理。 B) 物理推理引擎，利用结构化知识来改善物理一致和不一致响应之间的区分。 C) 一个基于物理的评估套件，旨在评估对特定领域约束的遵守情况。与 KG-DPO（基于知识图的 DPO）相比，PKG-DPO 的约束违规减少了 17%，物理分数提高了 11%。此外，PKG-DPO 的相关参数精度提高了 12%，推理精度质量比对提高了 7%。虽然我们的主要关注点是金属连接，但该框架广泛适用于其他多尺度、物理驱动的领域，提供了一种将科学约束嵌入偏好学习的原则性方法 ...