Ta đặt $a=2x$ và $m=\frac{a+3y}{a+y+2}$
Từ đó ta có $(m-1)a+(m-3)y+2m=0$ (1)
Xét $m\neq 1$, (1)$\Leftrightarrow a^2=\left [ \frac{(m-3)y+2m}{m-1} \right ]^2$
Thay $a^2=\left [ \frac{(m-3)y+2m}{m-1} \right ]^2$ vào giả thiết ta có
$\left [ \frac{(m-3)y+2m}{m-1} \right ]^2+y^2=1\Leftrightarrow (2m^2-8m+10)y^2+4m(m-3)y+(3m^2+2m-1)=0$ (2)
$\Delta ^{'}=4(m^2-3m)^2-(2m^2-8m+10)(3m^2+2m-1)=(1-m)^3(m+5)$
Để phương trình (2) có nghiệm thì $\Delta ^{'}\geq 0\Leftrightarrow(1-m)^3(m+5)\geq 0\Leftrightarrow (1-m)(m+5)\geq 0\Leftrightarrow-5\leq m<1$
Kết hợp với trường hợp $m=1$ ta có $-5\leq m\leq 1$
Vậy GTLN của A là 1 khi $(x;y)=(0;1)$
GTNN của A là -5 khi $(x;y)=\left ( \frac{-3}{10};\frac{-4}{5} \right )$