Bài 2. Tìm tất cả các hàm số $f:\mathbb{R}\to \mathbb{R}$ thỏa mãn:
$$f\left(f\left(x-y\right)\right)=f\left(x\right)-f\left(y\right)+f\left(x\right)f\left(y\right)-xy, \;\;\forall x,y\in\mathbb{R} \quad{(1)}$$
Đặt $t=f(0)$.
Trong $(1)$ thay $x=y=0$ được
$$ f(f(0))=(f(0))^2 $$
Hay
$$f(t)=t^2 \quad{(2)}$$
Trong (1) thay $x=y=t$ và dùng $(2)$ được
$$ t^2= f(f(0))=t^4-t^2 \quad{(3)} $$
Trong (1) thay $x=t \ ; \ y=0$ được
$$ f(t^2)=t^3+t^2-t \quad{(4)} $$
Trong (1) thay $x=y=t^2$ và dùng $(4)$ được
$$ t^2= f(f(0))=(t^3+t^2-t)^2 - t^4 \quad{(5)} $$
Từ $(3)$ và $(5)$ ta có $t=0$ hay là $f(0)=0$.
Trong (1) thay $y=x$ được
$$ (f(x))^2=x^2 \ ; \ \forall x \in \mathbb{R} $$
Như vậy $f(0)=0$ và $\forall x \neq 0 $ thì $f(x)=x$ hoặc $f(x)=-x \quad{(6)}$.
Giả sử có $a \neq 0$ để $f(a)=-a$.
Trong $(1)$ thay $x=0 \ ; \ y=-a$ được
$$ f(-a)= -f(-a) $$
Hay là
$$f(-a) = 0$$
Vì $a \neq 0 $ nên $-a \neq 0$, suy ra $0=f(-a)=-a$ hoặc $0=f(-a)=a$. Vô lý do $a \neq 0 $.
Vậy $ \forall a \neq 0$ thì $f(a) \neq -a \quad{(7)}$.
Từ $(6)$ và $(7)$ ta có nghiệm của bài toán là $ f(x) = x \forall x \in \mathbb{R}$.