解説

方針・初手

与えられた不等式の右辺は、点 $(y,f(y))$ と $(a,f(a))$ を結ぶ線分上での $x$ に対応する値である。

したがって、まず

$$ (a-y)f(x)-(x-y)f(a)-(a-x)f(y) $$

を計算し、符号条件に落とし込むのが最も直接的である。

解法1

もとの不等式

$$ f(x)>\frac{(x-y)f(a)+(a-x)f(y)}{a-y} $$

において、$y<x<a$ より $a-y>0$ であるから、両辺に $a-y$ を掛けて

$$ (a-y)f(x)-(x-y)f(a)-(a-x)f(y)>0 $$

と同値である。

ここで $f(t)=t^3+3t^2-9t$ を代入すると、

$$ \begin{aligned} &(a-y)f(x)-(x-y)f(a)-(a-x)f(y) \\ &=(a-y)(x^3+3x^2-9x)-(x-y)(a^3+3a^2-9a)-(a-x)(y^3+3y^2-9y) \\ &=-(a-x)(x-y)(a-y)(a+x+y+3) \end{aligned} $$

と因数分解できる。

よって、もとの不等式は

$$ -(a-x)(x-y)(a-y)(a+x+y+3)>0 $$

と同値である。

ここで $y<x<a$ なので

$$ a-x>0,\quad x-y>0,\quad a-y>0 $$

であり、

$$ (a-x)(x-y)(a-y)>0 $$

が成り立つ。したがって不等式は

$$ a+x+y+3<0 $$

と同値である。

あとは、これが $y<x<a$ を満たすすべての $x,y$ で成り立つための $a$ を求めればよい。

$x<a,\ y<a$ より

$$ x+y<2a $$

だから、

$$ a+x+y+3<a+2a+3=3a+3 $$

である。

したがって $a\le -1$ なら

$$ a+x+y+3<3a+3\le 0 $$

となり、確かに

$$ a+x+y+3<0 $$

がすべての $y<x<a$ で成り立つ。

逆に $a>-1$ とすると、十分小さい正数 $\varepsilon$ を用いて

$$ x=a-\varepsilon,\qquad y=a-2\varepsilon $$

とおけば $y<x<a$ を満たし、

$$ a+x+y+3=3a+3-3\varepsilon $$

となる。$\varepsilon<a+1$ と取れば

$$ 3a+3-3\varepsilon>0 $$

となるので、

$$ a+x+y+3>0 $$

を満たす $x,y$ が存在してしまう。よってこの場合、条件は成立しない。

以上より、求める $a$ の範囲は

$$ a\le -1 $$

である。

解説

この問題は、三次式そのものを眺めるよりも、まず不等式を整理して因数分解するのが本筋である。

実際、差を取ると

$$ (a-y)f(x)-(x-y)f(a)-(a-x)f(y) $$

が $(a-x)(x-y)(a-y)(a+x+y+3)$ の形に落ちるため、複雑に見える条件が最終的には一次式

$$ a+x+y+3<0 $$

の問題になる。

「すべての $y<x<a$」という条件では、$x,y$ はともに $a$ にいくらでも近づけられるので、$x+y$ の上限が $2a$ に近づくことを使うのが要点である。

答え

$$ a\le -1 $$