6月27日,可灵AI宣布全系列视频模型上线“视频音效”功能,顾客在应用可灵AI开展视频创作时,不但能获取高质量的视频画面,更能感蒙受与视频精准匹配、富有空间感的立体声音效,确实达成“所见即所听”的沉浸式感受。目前,该功能已无缝集成至文生视频、图生视频、多模态编辑等多种创作形式中,并限时免费开放。

与此与此同时,系统原有的“音效生成”也进一步升级,新增“视频生音效”功能。顾客目前不但能够经过文本生成音效,更能够径直上传本地视频,或选用在可灵系统创作的历史视频,一键为无声的画面匹配上语义契合、节奏同步的音效,自动适配动作、环境、氛围等多种场景,极大地提升了视频内涵的体现力和沉浸感,有效减少了创笔者在音频后期制作上的时间与技术成本。

从实际成效来看,可灵AI的音效功能在多个典型案例中展现了极高的音画同步精度和极佳的空间听感。例如,在生成“婴儿在活泼地笑”的视频片段中,模型不但还原了婴儿清亮的笑声,甚至连婴儿笑容间隙短促的吸气声都完美捕捉,与画面中肉嘟嘟脸颊的起伏动作精准匹配,其富有空间感的立体声成效,让整个画面的温馨感与生命力扑面而来。

在另一段山体滑坡致使巨石砸中汽车的视频中,系统自动生成了金属扭曲断裂声、石块飞溅与尘土扬起的细节音效,声音定位清晰、动态层次充足,提升了整体灾难场景的视觉冲击力与沉浸感。

据悉,上述功能的达成,依托于可灵AI自主研发的多模态视频生音效模型——Kling-Foley。Kling-Foley 支撑鉴于视频内涵与可选文本提示自动生成与视频画面语义相干、时间同步的高质量立体声音频,涵盖音效、背景音乐等多种类型声音内涵。它支撑生成任意时长的音频内涵,还具备立体声渲染的实力,支撑空间定向的声源建模和渲染。

今年3月,可灵AI首次推出AI音效功能,顾客可经过输入文本生成相应的环境音或动作音,并可进一步结合系统生成的视频开展语义领会与自动匹配。随后,在可灵2.1模型中正式加入了视频音效功能,在生成视频的与此同时,系统也会自动生成与之匹配的音效,增强了整体视听感受。伴随视频音效生成技术的成熟落地,将进一步释放可灵AI在广告创意、影视、短视频、游戏等内涵等领域的进展潜力。