定義
兩向量間的一種特殊關系。設A為n×n對稱正定矩陣，向量p，p∈R。若滿足條件(p)Ap=0，則稱p和p關于A是共轭方向，或稱p和p關于A共轭。一般地，對于非零向量組p，p，…，p∈R，若滿足條件：(p)Ap=0(i≠j，i，j=1，2，…，n)，則稱該向量組關于A共轭。
共轭方向法
以一組共轭方向作為搜索方向來求解無約束非線性規劃問題的一類下降算法。是在研究尋求具有對稱正定矩陣Q的n元二次函數nf(x)=1/2xQ x+bx+cn
最優解的基礎上提出的一類梯度型算法，包含共轭梯度法和變尺度法。根據共轭方向的性質，依次沿着對Q共轭的一組方向作一維搜索，則可保證在至多n步内獲得二次函數的極小點。共轭方向法在處理非二次目标函數時也相當有效，具有超線性的收斂速度，在一定程度上克服了最速下降法的鋸齒形現象，同時又避免了牛頓法所涉及的海色(Hesse) 矩陣的計算和求逆問題。對于非二次函數，n步搜索并不能獲得極小點，需采用重開始策略，即在每進行n次一維搜索之後，若還未獲得極小點，則以負梯度方向作為初始方向重新構造共轭方向，繼續搜索。
