Open
Description
📣PaddleMIX 快乐开源活动
旨在鼓励更多的开发者参与到飞桨大模型套件的开源建设中,帮助社区修复 bug 或贡献 feature,共建飞桨。
🔥热身任务
跑通 Stable-Diffusion 的训练推理流程,通过完成本任务,可以收获对时下火热的文生图SD模型的hands on感受与理解,也可以快速上手PaddleMIX。
🌈命题任务
命题任务是我们总结整理大模型套件的需求得出,每个任务上标注了任务难度,大家可以选择参与。欢迎对这些需求感兴趣的开发者参与到这些任务的开发✌️✌️。在开发过程中,你能进行包括任务分解、代码撰写等工作,还会有飞桨的研发全程和你一起解决可能遇到的问题。还等什么,快来参与吧。🎉🎉
认领方式
请大家以 comment 的形式认领任务,如:
【报名】:1、3、12-13
多个任务之间需要使用中文顿号分隔,报名多个连续任务可用横线表示,如 2-5
PR 提交格式:在 PR 的标题中以 【PPMix No.xxx】 开头,注明任务编号
任务列表
多模态理解
mentor: @lyuwenyu @pkhk-1
做多模态理解任务推理的可以参考基于PaddleMIX的实现MiniCPM-V-2_6多模态模型推理:https://aistudio.baidu.com/projectdetail/8582824
序号 | 任务名称 | 任务类型 | 任务描述 | 难度 | 优先级 | 认领人/状态/PR号 |
---|---|---|---|---|---|---|
1 | 多模态理解任务的特色应用 | 特色应用 | 1. 基于多模态理解模型(例:qwen2vl,deepseek)构建特色创意应用applications/,提供gradio和ipynb; 2. 可参考:应用教程 | 🌟🌟 | P0 | @cuiyu-ai |
2 | LLaVA-Video-7B-Qwen2推理 | 模型复现 | LLaVA-Video-7B-Qwen2 推理对齐 | 🌟🌟 | P1 | |
3 | Ovis-1.6系列模型推理 | 模型复现 | Ovis1.6-Gemma2-9B推理对齐 | 🌟🌟🌟 | P1 | |
4 | POINTS-Qwen-2-5模型推理 | 模型复现 | POINTS-Qwen-2-5-7B-Chat推理对齐 | 🌟🌟 | P3 | @zhaop-l |
5 | Molmo 模型推理 | 模型复现 | Molmo-7B-D-0924推理对齐 | 🌟🌟 | P3 | |
6 | InternLM-XComposer2.5模型推理 | 模型复现 | InternLM-XComposer2.5-7B 推理对齐 | 🌟🌟 | P1 | @Ismoothly |
7 | DocOwl2模型推理 | 模型复现 | DocOwl2 推理对齐 | 🌟🌟 | P2 | |
8 | cambrian-8B推理 | 模型复现 | 8B模型推理对齐 | 🌟🌟 | P2 | |
9 | Mono-InternVL推理 | 模型复现 | Mono-InternVL-2B 推理对齐 | 🌟🌟 | P2 | |
10 | Chameleon模型推理 | 模型复现 | 8B模型推理对齐 | 🌟🌟 | P2 | |
11 | LongVA-7B推理 | 模型复现 | LongVA-7B 推理对齐 | 🌟🌟🌟 | P3 | |
12 | LongLLaVA-9B推理 | 模型复现 | LongLLaVA-9B推理对齐 | 🌟🌟🌟 | P3 | |
13 | SmolVLM-Instruct推理 | 模型复现 | SmolVLM-Instruct推理对齐 | 🌟🌟🌟 | P0 | @sshenshuo @GKLeong |
14 | vila-u-7b-256推理 | 模型复现 | vila-u-7b-256推理对齐 | 🌟🌟🌟 | P3 | |
15 | jina-clip-v2推理 | 模型复现 | jina-clip-v2推理对齐 | 🌟🌟 | P3 | |
16 | megrez-3b-omni推理 | 模型复现 | megrez-3b-omni推理对齐 | 🌟🌟🌟🌟 | P1 | |
17 | mar推理 | 多模态生成经典模型复现 | mar推理对齐 | 🌟🌟🌟 | P1 | @594233 |
18 | HoVLE-HD推理 | 模型复现 | HoVLE-HD推理对齐 | 🌟🌟🌟 | P1 | |
19 | MiniCPM-o-2_6 推理 | 模型复现 | MiniCPM-o-2_6推理对齐 | 🌟🌟🌟 | P0 | |
20 | Sa2VA 推理 | 模型复现 | Sa2VA 推理推理对齐 | 🌟🌟🌟🌟 | P1 |
多模态生成
mentor:@westfish
序号 | 任务名称 | 任务类型 | 任务描述 | 难度 | 优先级 | 认领人/状态/PR号 |
---|---|---|---|---|---|---|
21 | SD3单测 | 单测 | 完善SD3单测tests/pipelines/stable_diffusion_3 | 🌟🌟 | P0 | |
22 | 🌟🌟🌟 | P0 | ||||
23 | SD3.5适配 | 模型复现 | SD3.5推理适配,支持stable-diffusion-3.5-large | 🌟🌟 | P0 | |
24 | SD3特色应用 | 特色应用 | 基于SD3构建特色创意应用applications/SD3,提供gradio和ipynb | 🌟🌟🌟 | P0 | @lygitgit |
25 | Cogview3推理 | 模型复现 | Cogview3-plus推理对齐,可参考diffusers-cogvidw3 | 🌟🌟 | P1 | |
26 | Kolors推理 | 模型复现 | Kolors推理对齐,可参考diffusers-kolors | 🌟🌟 | P1 | |
27 | Latte推理 | 模型复现 | Latte推理对齐,可参考diffusers-latte | 🌟🌟 | P1 |
数据工程
mentor: @lyuwenyu
序号 | 任务名称 | 任务类型 | 任务描述 | 难度 | 优先级 | 认领人/状态/PR号 |
---|---|---|---|---|---|---|
28 | QuRating推理 | 模型复现 | QuRating推理对齐,接入datacopilot | 🌟🌟🌟 | p1 | |
29 | SQ-LLaVA推理 | 模型复现 | SQ-LLaVA推理对齐,接入datacopilot | 🌟🌟🌟 | p1 |
新增题目
序号 | 任务名称 | 任务类型 | 任务描述 | 难度 | 优先级 | 认领人/状态/PR号 |
---|---|---|---|---|---|---|
30 | 收集和整理新应用 | 文档 | 把AIStudio上新的相关的精品应用收集和整理到PaddleMIX的应用教程 | 🌟 | p0 | @hanlintang |
看板信息
任务方向 | 任务数量 | 提交作品 / 任务认领 | 提交率 | 完成 | 完成率 |
---|---|---|---|---|---|
飞桨多模态大模型快乐开源活动 | 30 | 7 / 7 | 23.33% | 6 | 20.0% |
统计信息
排名不分先后 @cuiyu-ai (1) @zhaop-l (1) @Ismoothly (1) @594233 (1) @lygitgit (1) @hanlintang (1)
Metadata
Metadata
Labels
No labels
Type
Projects
Status
In Progress