声音分离人声和配乐-从头设计数字生命第5课, demucs——仙盟创梦IDE
demucs
伴奏提取人声分离技术具有多方面的重大意义,主要体现在以下几个领域:
音乐创作与制作
创作便利性提升:创作者能轻易获取无伴奏的人声轨道,便于对人声进行单独处理,如调整音准、音色、添加特效等,使创作过程更灵活高效。例如,在制作混音作品时,可将不同歌曲中的人声和伴奏分离出来,重新组合创作,开拓音乐创作的思路和空间。
版权问题辅助:在涉及音乐版权的授权和使用时,明确分离出伴奏和人声有助于清晰界定版权归属,避免因音乐元素使用不明确而产生的版权纠纷。
音乐教育
个性化学习:学生可以根据自己的需求,单独聆听人声或伴奏,更好地学习和模仿歌手的演唱技巧、发声方法,也能更专注地分析伴奏的和声、节奏等元素,提高音乐学习的效果。
教学资源丰富:教师可以利用分离后的人声和伴奏进行多样化的教学活动,如让学生对分离出的伴奏进行重新编曲,或者根据人声来分析歌曲的情感表达和演唱处理,丰富教学内容和形式。
娱乐与表演
KTV体验优化:在KTV等娱乐场所,通过人声分离技术可以将原唱的人声部分去除或降低音量,让用户能够更清晰地听到自己的演唱声音,同时保留高质量的伴奏,提升演唱体验。
现场表演创新:在一些现场表演中,艺人可以利用分离技术实现一些特殊的表演效果,如在演唱过程中突然切换到无伴奏的清唱模式,或者将伴奏进行变形处理,增加表演的趣味性和创新性。
语音处理与分析
语音识别增强:在语音识别系统中,将人声从复杂的音频环境中分离出来,可以提高语音识别的准确率,减少背景噪音和伴奏等因素的干扰,使语音识别技术在音乐场景或嘈杂环境中的应用更加广泛。
情感分析精准:对于包含音乐的语音内容,分离人声后能更准确地分析语音中的情感信息,因为伴奏等非语音元素可能会对情感分析产生干扰,分离后可专注于人声的语调、语速、音色等情感承载要素,为情感分析研究和相关应用提供更纯净的数据。
音频修复与还原
旧唱片修复:对于一些年代久远的唱片,可能存在人声和伴奏混合在一起导致声音模糊、失真等问题。通过人声分离技术,可以分别对人声和伴奏进行修复和优化,还原出更清晰、更具质感的声音,保护和传承珍贵的音乐文化遗产。
损坏音频处理:在音频文件因各种原因受到损坏时,如部分音频轨道丢失或被干扰,分离技术可以尝试将未损坏的人声和伴奏部分提取出来,进行修复和重新组合,尽可能恢复音频的完整性。
安装本地软件
pip install demucs
ollecting lameenc>=1.2 (from demucs)Downloading lameenc-1.8.1-cp311-cp311-win_amd64.whl.metadata (10 kB)
Requirement already satisfied: openunmix in d:\cyberwin\devpro\python311\lib\site-packages (from demucs) (1.1.0)
Requirement already satisfied: pyyaml in d:\cyberwin\devpro\python311\lib\site-packages (from demucs) (6.0.2)
Requirement already satisfied: torch>=1.8.1 in d:\cyberwin\devpro\python311\lib\site-packages (from demucs) (2.6.0)
Requirement already satisfied: torchaudio>=0.8 in d:\cyberwin\devpro\python311\lib\site-packages (from demucs) (2.6.0)
Requirement already satisfied: tqdm in d:\cyberwin\devpro\python311\lib\site-packages (from demucs) (4.67.1)
Requirement already satisfied: filelock in d:\cyberwin\devpro\python311\lib\site-packages (from torch>=1.8.1->demucs) (3.18.0)
Requirement already satisfied: typing-extensions>=4.10.0 in d:\cyberwin\devpro\python311\lib\site-packages (from torch>=1.8.1->demucs) (4.12.2)
Requirement already satisfied: networkx in d:\cyberwin\devpro\python311\lib\site-packages (from torch>=1.8.1->demucs) (2.8.8)
Requirement already satisfied: jinja2 in d:\cyberwin\devpro\python311\lib\site-packages (from torch>=1.8.1->demucs) (3.1.6)
Requirement already satisfied: fsspec in d:\cyberwin\devpro\python311\lib\site-packages (from torch>=1.8.1->demucs) (2025.3.0)
Requirement already satisfied: sympy==1.13.1 in d:\cyberwin\devpro\python311\lib\site-packages (from torch>=1.8.1->demucs) (1.13.1)
Requirement already satisfied: mpmath<1.4,>=1.1.0 in d:\cyberwin\devpro\python311\lib\site-packages (from sympy==1.13.1->torch>=1.8.1->demucs) (1.3.0)
Requirement already satisfied: omegaconf in d:\cyberwin\devpro\python311\lib\site-packages (from dora-search->demucs) (2.3.0)
Collecting retrying (from dora-search->demucs)Downloading retrying-1.3.4-py3-none-any.whl.metadata (6.9 kB)
Collecting submitit (from dora-search->demucs)Downloading submitit-1.5.2-py3-none-any.whl.metadata (7.9 kB)
Collecting treetable (from dora-search->demucs)Downloading treetable-0.2.5.tar.gz (10 kB)Preparing metadata (setup.py) ... done
分离模型下载
https://dl.fbaipublicfiles.com/demucs/hybrid_transformer/955717e8-8726e21a.th
分离伴奏和人声
demucs -n htdemucs --two-stems=vocals 未来之窗.mp3