解説

方針・初手

複数の文字を含む多項式の因数分解の基本は、「最も次数の低い文字について整理すること」である。与式を展開して各文字の次数を調べると、$a, b$ については2次式だが、$x, y$ については1次式である。したがって、次数の低い $x$ または $y$ について整理するのがよい。

解法1

与式を展開し、$x$ について整理する。

$$a^2(y-b) - (a+b)xy + ab(x+y) + b^2(x-a)$$

$$= a^2y - a^2b - axy - bxy + abx + aby + b^2x - ab^2$$

$x$ を含む項と含まない項に分けて整理すると、

$$= \{ -(a+b)y + ab + b^2 \} x + a^2y - a^2b + aby - ab^2$$

$x$ の係数と定数項をそれぞれ因数分解する。

$$= \{ -(a+b)y + b(a+b) \} x + a^2(y-b) + ab(y-b)$$

$$= -(a+b)(y-b) x + a(a+b)(y-b)$$

共通因数 $(a+b)(y-b)$ が現れるので、これで全体をくくる。

$$= (a+b)(y-b) (-x + a)$$

$$= -(a+b)(x-a)(y-b)$$

解法2

どの文字について整理しても因数分解は可能である。ここでは $a$ について整理してみる。

与式を展開する。

$$a^2(y-b) - axy - bxy + abx + aby + b^2x - ab^2$$

$a$ について降べきの順に整理すると、

$$= (y-b)a^2 + ( -xy + bx + by - b^2 )a - bxy + b^2x$$

$a$ の係数と定数項をそれぞれ因数分解する。

$$= (y-b)a^2 - ( xy - bx - by + b^2 )a - bx(y-b)$$

$$= (y-b)a^2 - \{ x(y-b) - b(y-b) \} a - bx(y-b)$$

$$= (y-b)a^2 - (x-b)(y-b)a - bx(y-b)$$

共通因数 $y-b$ で全体をくくる。

$$= (y-b) \{ a^2 - (x-b)a - bx \}$$

中括弧の中は $a$ についての2次式であり、和が $-(x-b) = -x+b$、積が $-bx$ となる2つの式は $-x$ と $b$ であるから、次のように因数分解できる。

$$= (y-b) (a-x)(a+b)$$

見やすく順序を整える。

$$= -(a+b)(x-a)(y-b)$$

解説

複数の文字が混在する式の因数分解では、まずそれぞれの文字の次数を確認し、「最も次数の低い文字について整理する」のが鉄則である。本問では $a, b$ が2次、$x, y$ が1次であるため、$x$ または $y$ について整理することで、解法1のように素早く共通因数を見つけることができる。

解法2のように次数が高い文字（ここでは $a$）について整理しても解くことはできるが、部分的な因数分解を繰り返す必要があり、見通しが悪くなりがちである。定石通りに次数の低い文字を見分ける習慣をつけておきたい。

答え

$$-(a+b)(x-a)(y-b)$$