Нужно сделать полный квадрат в левой части:
4a^2x^2+4abx+b^2=

ax²+bx+c=0                   | ·4a

4a²x²+4abx+4ac = 0     | +b²-4ac

4a²x²+4abx+b² = b²-4ac

(2ax)²+2·2ax·b+b² = b²-4ac

(2ax+b)² = b²-4ac

а5+а9=40

а1+4d+a1+8d=40

2a1+12d=40

a1+6d=20

a7=20

a1=20-6d

a3+a11=a1+2d+a1+10d=2a1+12d=40

a3+a7+a11=40+20=60

ответ: 60