Нужно сделать полный квадрат в левой части:
4a^2x^2+4abx+b^2=

ax²+bx+c=0                   | ·4a

4a²x²+4abx+4ac = 0     | +b²-4ac

4a²x²+4abx+b² = b²-4ac

(2ax)²+2·2ax·b+b² = b²-4ac

(2ax+b)² = b²-4ac

разные шары можно вынуть минимум достав 2 шара, максимум -7, т.к. 6 из 7 могут быть одного цвета, в данном случае черного.

два одинаковых шара можно вынуть, минимум достав 2 шара, максимум 3, т.к. в корзине шары только двух цветов, то 2 из 3 обязательно будут одного цвета.

а вообще условие не совсем понятно, что подразумевается под "способами"?

по теореме виета:

x1+x2=-b/a=-7/4

x1-3x2=1/4

4x2=-2

x2=-1/2

x1=-5/4

теорема виета:

x1*x2=p/4

5/8=p/4

8p=20

p=2,5