首先第一个问题是就不应该考虑 ffmpeg 的 concat。ffmpeg 的 concat 是非常原始的连接，对于容器格式不是很适用。
然后要合并文件，要考虑的是目标文件格式支持哪些特性。
比如说你要合并成 mp4，那么流的格式就有限定（比如 ass 字幕就不可能合并），流本身也有限定，比如把一个 avc 的视频和一个 hevc 的视频接在一起大概率是要崩的。不同参数编码出来的视频放在一起也有很大概率会崩。

最有希望合并的情况是，这些片段原本就是从一个源上切下来的，或者是从多个相同参数编码的片段上切下来的。
这种情况直接用 mp4box 合并大概就行了。

mp4box -cat part1.mp4 -cat part2.mp4 output.mp4

就是要注意一下这样合并出来的视频，中间可能会有多余的 VPS SPS SEI 帧，如果你介意的话还得手动编辑流去去掉。

另外帧率不同其实只需要合并一下 timecode 就行了。