この場合のように信じられない時のほかに、ずっと悪いことが続いている時も「どうして私ばっかり」という意味で、”Why me?” を使います。