本人疫情期间在校做的一个小项目,是关于音频特征提取和分析的,可以针对音频领域的各种业务做原型开发。
上周发帖后得到论坛里很多朋友的支持,非常感谢,这给予我很大的动力和信心继续完善audioFlux这个小项目,汇总了一些业务需求和研发任务。
针对不同平台的业务需求:
需求 | 描述 | 得票 |
---|---|---|
中文文档 | 翻译英文文档 | 2 票 |
C 命令行工具 | 提供 C command line 接口功能 | 2 票 |
浏览器 wasm | 支持 javascript 前端 Web Audio | 1 票 |
Android JNI | Android 端 JNI 封装 | 1 票 |
iOS swift | iOS 端 swift 语言封装 | 1 票 |
C# Unity | Unity 相应插件 | 0 票 |
针对音频领域的研发任务:
任务 | 描述 | 得票 |
---|---|---|
智能调音器 | 针对吉他弦乐乐器的调音,识别音高和拨动的哪一根琴弦 | 0 票 |
旋律提取 | 从音乐音频中识别旋律音高轮廓,主要针对人声唱歌主旋律声音的基频提取 | 0 票 |
音轨分离 | 从音乐音频中分离出人声,钢琴、吉他、鼓、贝斯等多个乐器声音 | 0 票 |
和弦估算 | 识别音乐音频中和弦,和弦类型有大小三、挂 2/4 、属七、属九和弦以及各个类型的转位,包括起始和持续时间 | 0 票 |
音乐分类 | 针对音乐不同流派的分类,包括乡村、流行、民谣、中国风、爵士、摇滚、拉丁、R&B 等 | 0 票 |
钢琴转录 | 针对钢琴乐器音频的复音识别,确定复音的端点、音高组合、持续时间,转录为 midi 或曲谱 | 0 票 |
个人时间精力有限,我会按需求和任务优先级逐步开发完善,欢迎大家参与论讨评论投票!!! 后面我会汇总结果确认需求和任务优先级。
本人专业深度学习音频领域研发,能力水平有限,除对 Python 和 C 稍微熟悉外,其它平台业务经验较少,如果你有兴趣可以加入进来一起完善。
项目地址: https://github.com/libAudioFlux/audioFlux
另外,学校为了方便学生研发,我们实验室购买了一些 plus 订阅,自建 chatGPT PDF 相关服务,使用上不用翻墙,速度较为稳定,但是只能用于科研相关。有对研发这块感兴趣的,可以留言,有几个名额可以提供,算是回馈大家的支持吧。
1
CMLab 2023-04-03 10:04:37 +08:00
c 命令行+1 ,和弦识别+1
|
5
CMLab 2023-04-03 10:13:51 +08:00
非常感谢哈
|
6
602120734 2023-04-03 10:21:46 +08:00
最近正好在做音轨分离相关的模型。投音轨分离一票,期待可以尽快开源
|
7
602120734 2023-04-03 10:25:08 +08:00
OTg3NTAwODkyQHFxLmNvbQ== 顺便求个号
|
9
xbcslzy 2023-04-03 10:38:33 +08:00
前端人员表示希望大佬可以提供下 C 命令行工具
|
10
saxon 2023-04-03 10:43:30 +08:00
和弦估算,这个如果能做的易用的话 会有很多受众。特别是对想入门吉他的新同学
再提一个需求,和弦替换—— 用常见的和弦(姑且称之为新手和弦) 去凑,去尽量还原一个音频的中的和弦 留一个邮箱 [email protected]. |
13
kingpo 2023-04-03 11:12:35 +08:00
音轨分离,[email protected] 感谢
|
16
saxon 2023-04-03 11:31:05 +08:00
不知道难度大不大
|
17
829939 OP @saxon 你说的是和弦替换还是识别?
替换的话属于乐理相关的,我这个项目不支持,识别的话可以基于这个开发,如果这块大家关注多的话,后续我会优先开发基于深度学习的和弦识别模型。 |
20
saxon 2023-04-03 14:09:35 +08:00
期待和弦识别模型能尽快上线!
|