Sora技術架構（僅供參考）
發(fā)布日期：2024/3/3 22:59:17 瀏覽量：
Sora技術架構（僅供參考）
SORA 模型結構可以表示：SORA = [VAE encoder + DiT (DDPM) + VAE decoder]
SORA 模型訓練流程：
?Step1：使用
DALLE 3（CLIP ）
把文本和圖像對 <text，image>
聯(lián)系起來；
?Step2：視頻數(shù)據(jù)切分為 Patches 通過
VAE 編碼器壓縮成低維空間表示；
?Step3：基于 Diffusion
Transformer 從圖像語義生成，完成從文本語義到圖像語義進行映射；
?Step4：DiT
生成的低維空間表示，通過 VAE 解碼器恢復成像素級的視頻數(shù)據(jù)；
業(yè)務實施流程 馬上咨詢： 如果您有業(yè)務方面的問題或者需求，歡迎您咨詢！我們帶來的不僅僅是技術，還有行業(yè)經(jīng)驗積累。
QQ: 39764417/308460098 Phone: 13 9800 1 9844 / 135 6887 9550 聯(lián)系人：石先生/雷先生