Звільніться від ірраціональності у знаменнику дробу...
Зарание

1) 14-11=3(ч)-время полёта

2)620 .  3=1860(км)-пролетел один самолёт

3) 3540-1860=1680(км)-пролетел второй самолет

4)1680: 3=560(км/ч)-средняя скорость второго самолёта.

х,у -стороны,2х+2у=28, ху=40, из системы получаем квадратное уравн. x^2-14x+40=0, корни 4 и 10 -это и есть размеры сторон.