Nhận thấy $M=(a-b)(b-c)(a-c)$.
Giả sử $a=\max\{a,b,c\}$.
+) Nếu $a\geq c\geq b$ thì $M\leq 0$.
+) Nếu $a\geq b\geq c$: Áp dụng bđt AM - GM ta có $(a-b)(b-c)(a-c)\leq \frac{(a-c)^3}{4}$.
Mặt khác ta thấy $(a-c)^2\leq 2(a^2+c^2)\leq 24\Rightarrow a-c\leq 2\sqrt{6}\Rightarrow M\leq 12\sqrt{3}$.
Đẳng thức xảy ra khi và chỉ khi $a=-c=2\sqrt{3};b=0$.
So sánh hai trường hợp ta được $M_{max}=12\sqrt{3}$ khi $(a,b,c)=(2\sqrt{3},0,-2\sqrt{3})$.
Cảm ơn bạn nhưng mà M bạn phân tích thiếu (a+b+c) rồi, và nó có trị tuyệt đối nữa.