LOADING STUFF...

腾讯混元文生图大模型全面开源!

AI资讯2个月前发布 shuangyan
0 0
来源:腾讯云
 
刚刚,腾讯混元文生图大模型,全面升级并对外开源!
 
作为业内首个中文原生的DiT架构开源模型,腾讯混元文生图支持中英文双语输入及理解。
 
直接用于文生图,也可作为视频等多模态视觉生成的基础。
 

腾讯混元文生图大模型全面开源!

介绍一下,我的几项标签:
 
//DiT架构

 

 

优秀的大模型,离不开领先的技术架构。

 

去年7月,腾讯混元文生图团队就明确了基于DiT架构的模型方向。

(DiT是基于Transformer的扩散模型架构,是Sora、Stable Diffusion 3 也选用的关键技术。)

 

今年初,腾讯混元文生图完成了模型架构的全面升级,相比上一代整体效果提升超过20%。

//中文原生
 
此前,Stable Diffusion等主流文生图开源模型,核心数据集以英文为主,基于Stable Diffusion的中文应用本质上是通过中译英的方式处理文本。

碰上古诗词、民间俚语、传统建筑等中国元素,又或者「红烧狮子头」「老婆饼」「鱼香肉丝」等特色词汇,容易出现较大的理解偏差。

 

中文原生的腾讯混元文生图,母语就是中文:

 

腾讯混元文生图大模型全面开源!

通过对汉语字符系统、文化内涵的深度学习,对国风元素和中文复杂性有更深刻的理解。

 

文生图提示词:

请将“杞人忧天”的样子画出来

腾讯混元文生图大模型全面开源!
 
中文输入后,直接中文理解,不会因翻译产生语义分歧。
 
//表现提升
 
– 多轮对话:通过自然语言对话不断微调,修改主体、背景、元素及风格,整体画面保持高一致性。
多轮文生图提示词:(1)画一名德国男性;(2)让他再德国一些;(3)让他更德国一些。

腾讯混元文生图大模型全面开源!

 

多轮文生图提示词:(1)画一朵长在森林中的白色玫瑰;(2)背景换成室内,花插在瓶中;(3)将花改为百合花;(4)花瓣改为粉色;(5)让蝴蝶落在花瓣上;(6)改成动漫风格。

腾讯混元文生图大模型全面开源!

– 人像提升:质感升级,减少畸变,支持不同职业、年龄、身材、视角、景别人像。

腾讯混元文生图大模型全面开源!

– 长文本理解:能分析和理解长篇文本中的信息并生成相应艺术作品。

 

文生图提示词:一张细致的照片捕捉到了一尊雕像的形象,这尊雕像酷似一位古代法老,头上出人意料地戴着一副青铜蒸汽朋克护目镜。这座雕像穿着复古时髦,一件清爽的白色T恤和一件合身的黑色皮夹克,与传统的头饰形成鲜明对比。背景是简单的纯色,突出了雕像的非传统服装和蒸汽朋克眼镜的复杂细节。

腾讯混元文生图大模型全面开源!

//全面开源

 

目前,腾讯混元文生图大模型已在 Hugging Face 平台及 Github 上发布,包含模型权重、推理代码、模型算法等完整模型。

不管是企业还是个人开发者,全部免费可用。

此次混元文生图将新一代模型完整开源,也是希望进一步共享经验,惠及行业,共建下一代视觉生成开源生态。

最后,附上我们的开源地址,欢迎拍砖↓

https://dit.hunyuan.tencent.com/

——The  End——

腾讯混元文生图大模型全面开源!

分享

收藏

点赞

在看

腾讯混元文生图大模型全面开源!

© 版权声明

相关文章