解説

方針・初手

複数の文字が含まれる多項式の因数分解における定石は、「最も次数の低い文字について整理する」ことである。

与えられた式に含まれる各文字の次数を確認すると、$a$ については3次、$b$ については3次、$c$ については2次である。したがって、最も次数が低い文字である $c$ について式を整理することから始める。

解法1

与式を展開し、$c$ について整理する。

$$ \begin{aligned} & a^3 + a^2b - a(c^2 + b^2) + bc^2 - b^3 \\ &= a^3 + a^2b - ac^2 - ab^2 + bc^2 - b^3 \\ &= (b - a)c^2 + a^3 + a^2b - ab^2 - b^3 \end{aligned} $$

$c$ を含まない残りの項を因数分解する。

$$ \begin{aligned} a^3 + a^2b - ab^2 - b^3 &= a^2(a + b) - b^2(a + b) \\ &= (a^2 - b^2)(a + b) \\ &= (a - b)(a + b)(a + b) \\ &= (a - b)(a + b)^2 \end{aligned} $$

これを元の式に代入し、全体の共通因数として $a - b$ をくくり出す。

$$ \begin{aligned} & (b - a)c^2 + (a - b)(a + b)^2 \\ &= -(a - b)c^2 + (a - b)(a + b)^2 \\ &= (a - b) \{ (a + b)^2 - c^2 \} \end{aligned} $$

括弧内は平方の差になっているため、さらに因数分解を行う。

$$ (a - b)(a + b + c)(a + b - c) $$

解法2

項の組み合わせを工夫して、共通因数を作り出す方針をとる。

与式を展開し、似た形の項をペアにしてまとめる。

$$ \begin{aligned} & a^3 + a^2b - a(c^2 + b^2) + bc^2 - b^3 \\ &= a^3 + a^2b - ac^2 - ab^2 + bc^2 - b^3 \\ &= (a^3 - b^3) + (a^2b - ab^2) - (ac^2 - bc^2) \end{aligned} $$

それぞれのまとまりごとに因数分解し、共通因数 $a - b$ を見つける。

$$ \begin{aligned} & (a - b)(a^2 + ab + b^2) + ab(a - b) - c^2(a - b) \\ &= (a - b)(a^2 + ab + b^2 + ab - c^2) \\ &= (a - b)(a^2 + 2ab + b^2 - c^2) \end{aligned} $$

前半の3項が $(a + b)^2$ になることを利用する。

$$ \begin{aligned} & (a - b) \{ (a + b)^2 - c^2 \} \\ &= (a - b)(a + b + c)(a + b - c) \end{aligned} $$

解説

複数の文字を含む多項式の因数分解では、「最も次数の低い文字に着目して整理する」という鉄則に従うのが最も確実である（解法1）。どの文字の次数も等しい場合はどの文字で整理してもよいが、今回は $c$ だけが2次であったため、処理の方針が立てやすい。

一方、解法2のように式の形を観察し、3乗の差や平方の差などの公式が適用できるように項をペアにする発想も重要である。共通因数 $a - b$ が作れそうだと予測できれば、計算量を減らして素早く結論に至ることができる。

答え

$$ (a - b)(a + b + c)(a + b - c) $$