Bài 2 (Lớp 10):
Không mất tính tổng quát, giả sử: $$c \leq b \leq a.$$
Ta có: $$(a+1)(b+1)(c+1)=8 \Leftrightarrow abc+a+b+c+ab+bc+ca=7$$
Ta chú ý rằng: $$7=abc+a+b+c+ab+bc+ca \geq a+\dfrac{c}{2}+b+\dfrac{c}{2} +(a+\dfrac{c}{2})(b+\dfrac{c}{2}).$$
Mặt khác: $$a^2b^2+b^2c^2+c^2a^2-(a+\dfrac{c}{2})^2(b+\dfrac{c}{2})^2$$
$$=\dfrac{c}{16}(12a^2(c-b)+12b^2(c-a)-4a^2b-4ab^2-4ac^2-4bc^2-16abc-c^3)\leq 0 $$
Do đó: $$ a^2b^2+b^2c^2+c^2a^2 \leq (xy)^2$$ với $x=a+\dfrac{c}{2},y=b+\dfrac{c}{2}$.
Do $$x+y+xy \leq 7 \Leftrightarrow xy \leq (2\sqrt{2}-1)^2$$
Do đó: $$a^2b^2+b^2c^2+c^2a^2 \leq (xy)^2 \leq (2\sqrt{2}-1)^4$$.
Dấu bằng xảy ra khi có một số bằng $0$ và hai số còn lại bằng $2\sqrt{2}-1$.