Эти написания не регулируются правилами, они словарные. Но в «Русском орфографическом словаре» есть только слово стартап. Не следует думать, что правила в орфографии существуют на все случаи жизни, тем более это касается новейших заимствований. Пока что вполне возможны и слитное, и дефисное написания: сетап, попап и сет-ап, поп-ап.