Собственно вы отчасти сами ответили на свой вопрос в дополнениях к нему.

Основным раздражителем является сам факт того, что кто-то пытается воспользоваться вашей доверчивостью и нажиться за ваш счёт. При этом мошеннику вовсе не интересно, как после обмана станет жить обманутый им человек. Это уже не просто раздражает, а приводит к негодованию.

Так же раздражает и то, что против мошенников нет эффективных средств борьбы. Заявления в надлежащие органы и инстанции конечно же принимаются, но мало что раскрывается. В итоге обманутый гражданин остаётся обманутым дважды - мошенником, и теми, кто должны с мошенниками бороться.

Ещё раздражает навязчивость большинства мошенников. Если им дали от ворот поворот, они продолжают в чём-то навязчиво вас убеждать, а иногда переходят и на агрессивное поведение, вплоть до угроз.

Всё перечисленное выше не может не раздражать простого честного человека.