Không làm mất tính tổng quát ta giả sử $x,y> 0$
Dễ thấy: $0< x< y< p \Rightarrow y-x$ không chia hết cho $p$
$2y^{2}-2x^{2}=p^{2}-p \Leftrightarrow 2(y-x)(y+x)=p(p-1)\Rightarrow x+y\vdots p$
Mà $0< x< y< p\Rightarrow x+y< 2p \Rightarrow x+y=p\Rightarrow y=p-x$
Thay vào hệ có:
$\left\{\begin{matrix} p+1=2x^{2} \\ p^{2}+1=2(p-x)^{2} \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} p+1=2x^{2} \\ 1=p^{2}-4px+p+1 \end{matrix}\right.$
$\Leftrightarrow \left\{\begin{matrix} p=2x^{2}-1 \\ p=4x-1 \end{matrix}\right.\Rightarrow 2x^{2}=4x$
$\Rightarrow x=2 \Rightarrow p=7$