Giải như sau:
TH1: $a\le b$
$a+b^2 \vdots a^2b-1 \Rightarrow a^3+b^2a^2 \vdots a^2b-1 \Rightarrow a^3+a+b^2a^2-a \vdots ab^2-1 \Rightarrow a^3+a \vdots ab^2-1 \Rightarrow a(a^2+1) \vdots ab^2-1 \Rightarrow a^2+1 \vdots ab^2-1$ (do $gcd(a,ab^2-1)=1$)
Suy ra $a^2+1\geq ab^2-1 \Rightarrow a^2+2\geq ab^2 \Rightarrow a^2+2\geq b^2$ (do $a\geq 1$) mà $a\le b$ nên $a=b$ vì nếu $a=b-k$ với $b>k>0$ thì $(b-k)^2+2\geq b^2 \Rightarrow b^2-2bk+k^2+2\geq b^2 \Rightarrow k^2+2\geq 2bk>2k^2$ (do $b>k$) khi ấy $k^2\le 2$ nên $k=1$ khi ấy $a=b-1$ ta có $(b-1)^2+2\geq b^2 \Rightarrow 3\geq 2b \Rightarrow b=1$ (do $b$ dương) nên $a=0$ vô lí, như vậy $a=b$ do đó $a+a^2 \vdots a^3-1 \Rightarrow a(a+1) \vdots a^3-1$ mà $gcd(a,a^3-1)=1 \Rightarrow a+1 \vdots a^3-1 \Rightarrow a+1\geq a^3-1 \Rightarrow a+2\geq a^3$ với $a\geq 2$ ta cm dễ dàng $f(a)=a^3-a-2$ đồng biến trên $[2,\infty$ nên $f(a)\geq f(2)>0$ do đó $a^3>a+2$ suy ra vô lí do đó $a=1$ khi ấy $a=b=1$ nên $a+b^2 \vdots 0$ vô lí
TH2: $a>b$ khi ấy $a+b^2 \vdots a^2b-1 \Rightarrow a+b^2 \vdots a(ab)-1 \Rightarrow a+b^2\geq a(ab)-1>ab^2-1$ (do $a>b$)
Như vậy $a+b^2\geq ab^2-1 \Rightarrow 2\geq (a-1)(b^2-1)$ suy ra $(a-1)(b^2-1)=0,1,2$
Nếu $(a-1)(b^2-1)=0 \Rightarrow a=1$ hoặc $b=1$ với $a=1$ thì $b^2+1 \vdots b-1 \Rightarrow b^2-1+2 \vdots b-1 \Rightarrow 2 \vdots b-1$ nên $b-1=1,2 \Rightarrow b=2,3$ còn nếu $b=1$ thì $a+1 \vdots a-1 \Rightarrow 2 \vdots a-1$ nên $a=2,3$
Nếu $(a-1)(b^2-1)=1 \Rightarrow b^2-1=1 \Rightarrow b^2=2$ vô lí
Nếu $(a-1)(b^2-1)=3$ thì $b^2-1=1,3$ chọn $b^2-1=3 \Rightarrow b=2$ khi ấy $a-1=1 \Rightarrow a=2$ thay vào ta có $2+2^2 \vdots 2^3-1$ dễ loại
Vậy $\boxed{(a,b)=(1,2),(1,3),(2,1),(2,3)}$
--------------
Hình như $3;1$ loại Nguyên à
ở dòng đầu, bạn ghi chia hết cho a^2b-1 rồi ghi chia hết cho ab^2-1! Sai rồi bạn