Skip to content

Mix接下来怎么走? #1189

Open
Open
@ZhijunLStudio

Description

@ZhijunLStudio

感觉现在mix的开发重心是放在复现更多的模型上面吗?现在torch+hf的高歌猛进,基本上多模的代码都是10行代码以内的调用,那mix的核心是什么呢?集成了更多的模型吗?刚在看DiffusionPipeline的实现代码,enable_model_cpu_offload在ppdiffusers没有实现,torch版本中它的核心是from accelerate import cpu_offload_with_hook,那pp没有accelerate库,所以也不能直接导进来;再比如torch版本的sd3,在单卡4090上可以跑完,但是pp版本的则需要30g左右,无法在4090上跑通;当下的路是不是需要思考下怎么走,比如走轻量级多模,广大同胞其实是没有多少算力的,现在如果说跑个sd模型需要个A100才能跑,或许大多数都是跑不动的,如果说能在3060/4070这种消费端卡上,跑上一些有意义的模型,比如每个类(问答类/图像生成类/视频生成类这些)都做一两个普惠型的模型,可能会让更多人了解到mix团队的努力?

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions