Разложи на множители многочлен:

4ab +5b - 12ac - 15c4ab+5b−12ac−15c

x^4 + 9x^2 + 4 = 0

это биквадратное уравнение.

делаем замену t=x^2

t^2 +9t+4=0

d=9^2-4*1*4=81-16=65

t1=(-9+sqr(65))/2      t2=(-9-sqr(65))/2

x^2=(-9+sqr(65))/2      x^2=(-9-sqr(65))/2

x1,2= плюс минус +sqr(65))/2) и х3,4=плюс минус -sqr(65))/2)

итого 4 решения

чтобы сумма квадратов была наименьшей нужно чтобы эти числа были равны, т.е. 5 + 5 = 10. 

пусть х см - сторона квадрата, тогда (х+5) м - одна сторона прямоугольника, (х-4) м - другая сторона прямоугольника, т.к. площади квадрата и прямоугольника равны, получаем:

(х+5) (х-4) = х² 

х² - 4х + 5х - 20 - х² = 0 

х - 20 = 0

х = 20

20 м - длина стороны квадрата.

ответ. 20 м.