StoryDiffusion: 장거리 이미지 및 비디오 생성을 위한 일관된 Self-Attention의 공식 구현입니다.
? 주요 기능:
StoryDiffusion은 일관된 이미지와 비디오를 생성하여 마법 같은 이야기를 만들 수 있습니다. 우리의 작업은 주로 두 부분으로 구성됩니다:
1. 장거리 시퀀스에 걸쳐 캐릭터 일관성 있는 이미지 생성을 위한 일관된 self-attention입니다. 이는 hot-pluggable하며 모든 SD1.5 및 SDXL 기반 이미지 diffusion 모델과 호환됩니다. 현재 구현에서는 사용자가 일관된 self-attention 모듈에 대해 최소 3개의 텍스트 prompt를 제공해야 합니다. 더 나은 레이아웃 배치를 위해 최소 5 - 6개의 텍스트 prompt를 권장합니다.
2. 장거리 비디오 생성을 위한 motion predictor로, 압축된 이미지 의미 공간에서 Condition Images 사이의 motion을 예측하여 더 큰 motion 예측을 달성합니다.
https://github.com/HVision-NKU/StoryDiffusion
OpenAI Sora와는 달리 오픈소스로 공개되서 매우 장점이 있음
현재는 코믹 생성 소스코드까지만 공개돼 있고
곧 비디오 생성 모델 소스코드 및 pretrain된 모델 공개 예정인듯
기존 SD와 호환된다 하니 좋네
| 제목 | 글쓴이 | 추천 수 | 날짜 |
|---|---|---|---|
| 신발베고 자는 시고르자브종이 귀엽다는 딸래미 | 형님이새끼웃는데요 | 1 | 방금 전 |
| 에픽게임즈 디스코드 니트로 한달 쿠폰 | 아타리쇼크 | 1 | 1 분 전 |
| 염소 유출 사고 3 | 매콤챱스 | 3 | 3 분 전 |
| ㅎㅇ?) 여포를 꼬시는 동탁 미시룩 12 | 미스타최 | 8 | 4 분 전 |
| 우는 신생아 아기도 재울 수 있다는 의외의 영상 2 | 유미주의 | 1 | 4 분 전 |
| 너희들은 여자한테 도움받은게 많냐 피해본게 많냐 5 | 미스타최 | 9 | 5 분 전 |
| 먹으면 위험한 게임 2 | 시바 | 2 | 5 분 전 |
| ㅆㄷ) 전례없는 급발진으로 1300만엔 날리고 몰락한 일본 버... 10 | 코코아비스킷 | 10 | 6 분 전 |
| ㅇㅎ? )의외로 양아치들 특징 3 | 미스타최 | 5 | 8 분 전 |
| 무서운 여고생 만화.manhwa 5 | 미스타최 | 10 | 10 분 전 |
| ㅈㅈ도에서->김포공항까지 파일럿 시점 1분영상 5 | 반박시내말이맞음 | 4 | 10 분 전 |
| 성심당이 대전에 해준게 뭐있냐.jpg | 카이부츠와다레다 | 4 | 10 분 전 |
| 월 3억5천 내도 성심당은 안돼_ 대체 왜_ 코레일에 물었더니.. 6 | 아타리쇼크 | 4 | 11 분 전 |
| 사건반장, 강형욱 폭언 생생하게 기억..재반박 나선 보듬 퇴... 1 | 형님이새끼웃는데요 | 2 | 11 분 전 |
| 편의점 cctv도 보는데 메신저정도야ㅋㅋ 5 | 어쩔건대그럼 | 2 | 11 분 전 |
| 자신도 모르게 친한파로 돌아선 장위안.jpg | 미스타최 | 5 | 12 분 전 |
| 그 X는 기회가 생기면 내 배를 칼로 찌를 것이다 1 | 이라기시따 | 2 | 13 분 전 |
| ASMRZ 잘자요 아가씨 가 일본음악인 이유 3 | 초특가신발 | 2 | 13 분 전 |
| ??:내 동료를 돌려줘!! / ???:아아 이것 말인가? 콰직 | 360도달라진내인생 | 0 | 13 분 전 |
| 도레미송 2 | 엄복동 | 2 | 15 분 전 |
AnanasPizza
드디어
당근이세요
영상 ai 쪽은 진짜 발전속도 어마어마하다
잠적자
히토미의 몰락이 다가왔다
facecat
그거 어딨어 그거
모치
코믹스그림체로 무한양산19금게이코믹스를 볼날도 머지않았군