Не надо бояться.
А ещё лучше, отказаться от использования Windows Media Player'а, отключив его в системе (но это по желанию и если не используете Windows Media Center)Как мне кажется, рациональнее использовать видеоплеер для воспроизведения видеоматериала и аудио плеер для музыки.
ПыСы. Если боязно зачищать вручную, можете попробовать зачистить методами самой системы(правда, не знаю, затронет ли система очистки эту папку кеша)