Можно гадать на чем-то и по чему-то, например, на кофейной гуще и по кофейной гуще. Оба сочетания верны, а в других конкретных случаях при выборе предлога принимаются во внимание способы и средства гадания, иные нюансы, о которых даже не беремся судить.