Đặt $A=\frac{a^2b^2}{a^4b^2+a^2b^4+a^2+b^2}$
$\Leftrightarrow A=\frac{a^2b^2}{(a^2b^2+1)(a^2+b^2)}$
Vì $(a-b)^2 \geq 0 \forall a,b \Leftrightarrow a^2+b^2 \geq 2ab \forall a,b$.
Do đó $A \leq \frac{a^2b^2}{(a^2b^2+1)2ab}=\frac{ab}{2(a^2b^2+1)}$
$\Leftrightarrow \frac{1}{A}=\frac{2(a^2b^2+1)}{ab}$
$=2(ab+\frac{1}{ab})$
$=2(ab+\frac{1}{16ab})+\frac{15}{8ab}$
$ab+\frac{1}{16ab} \geq 2\sqrt{ab.\frac{1}{16ab}}=\frac{1}{2}$(BĐT Cô-si)
$ 1 \geq a+b \geq 2\sqrt{ab} \Leftrightarrow \frac{15}{8ab} \geq \frac{15}{2}$
Do đó $\frac{1}{A} \geq 2.\frac{1}{2}+\frac{15}{2}=\frac{17}{2}$
$\Leftrightarrow A \leq \frac{2}{17}$.Dấu bằng xảy ra khi $a=b=\frac{1}{2}$
$Max A=\frac{2}{17}$ tại $x=y=\frac{1}{2}$