Как мягко объяснит человеку, что его дружба мне совсем не нужна?

Такое признание не может быть мягким. Можете спокойно отказать в общении, можете грубо оттолкнуть от себя, но в любом случае это оскорбит человека, претендующего на дружбу с Вами. Поэтому какое-то время придется потерпеть, пока он сам не поймет, что не интересен Вам. Ну, а если человек вам совершенно безразличен и его реакция Вас не волнует, скажите прямо - "отстань, ты человек не моего плана".