Если считать, что все удары упругие, то после отскока первого шара от поверхности из закона сохранения импульса, следует (ось направлена вверх):
m2v-m1v=m1v1
Из закона сохранения энергии:
(m1+m2)v2/2=m1v12/2
Решим систему этих уравнений:
m1(v12-v2)=m2v2
m1(v1+v)=m2v
Для упрощения, разделим верхнее уравнение на нижнее:
v1-v=v
v1=2v
Подставив значение v1 в первую формулу, получим
m2=3m1
Как-то так.