본문으로 이동

ComfyUI

위키백과, 우리 모두의 백과사전.
ComfyUI
원저자comfyanonymous
발표일2023년 1월 16일(2년 전)(2023-01-16)[1]
저장소github.com/comfyanonymous/ComfyUI
프로그래밍 언어파이썬
라이선스GPLv3[2]
웹사이트www.comfy.org

ComfyUI는 오픈 소스 노드 기반 프로그램으로, 사용자가 일련의 텍스트 프롬프트에서 이미지를 생성할 수 있도록 한다. 이 프로그램은 스테이블 디퓨전과 같은 무료 확산 모델을 이미지 기능의 기본 모델로 사용하며, ControlNet 및 LCM 저순위 적응(Low-rank adaptation)과 같은 다른 도구들과 결합하여 각 도구가 프로그램 내의 노드로 표현된다.

역사

[편집]

ComfyUI는 2023년 1월 깃허브에 출시되었다. 개발자 comfyanonymous에 따르면, 프로젝트의 주요 목표는 사용자 인터페이스 측면에서 기존 소프트웨어 설계를 개선하는 것이었다.[3] 개발자는 스태빌리티 AI에 참여했지만, 2024년 6월 3일부로 참여가 종료되었고 핵심 개발자들과 함께 Comfy Org라는 조직이 설립되었다.[4] 2024년 7월, 엔비디아는 자사의 RTX Remix 모딩 소프트웨어 내에서 ComfyUI 지원을 발표했다.[5] 2024년 8월, 블랙 포레스트 랩스(Black Forest Labs)가 개발한 Flux 확산 모델에 대한 지원이 추가되었고, Comfy Org는 리눅스 재단이 설립한 오픈 모델 이니셔티브에 합류했다.[6][7] 2024년 11월 현재, 이 프로젝트는 깃허브에서 58.6k개의 별을 받았다.[8] ComfyUI는 Automatic1111과 함께 스테이블 디퓨전의 가장 인기 있는 사용자 인터페이스 중 하나이다.[9]

기능

[편집]

ComfyUI의 주요 기능은 노드 기반이라는 점이다.[10][11] 각 노드에는 "모델 로드" 또는 "프롬프트 작성"과 같은 기능이 있다.[12] 노드들은 워크플로우라고 불리는 제어 흐름 그래프를 형성하기 위해 연결된다.[13] 프롬프트가 대기열에 추가되면, "체크포인트 로드"부터 시작하여 최종 이미지와 저장 위치로 끝나는 현재 실행 중인 노드 주위에 강조된 프레임이 나타난다.[12] 워크플로우는 일반적으로 수십 개의 노드로 구성되어 복잡한 유향 비순환 그래프를 형성한다.[13] 노드 유형에는 모델 로드, 프롬프트 지정, 샘플러, 스케줄러, VAE 디코더, 얼굴 복원 및 업스케일링 모델, LoRA, 임베딩, ControlNet 등이 포함된다.[14][15]

Euler, Euler_a, dpmpp_2m_sde 및 dpmpp_3m_sde와 같은 여러 샘플러가 지원된다.[15] 워크플로우는 파일로 저장할 수 있어 사용자가 노드 워크플로우를 재사용하고 다른 사용자와 공유할 수 있다.[14][16][17] 워크플로우 파일 형식은 JSON이며 생성된 이미지에 임베드될 수 있다.[18] 사용자들은 또한 새로운 노드로 노출되는 기본 시스템에 대한 사용자 지정 확장 기능을 만들었으며,[14][19] 예를 들어 비디오 생성을 목표로 하는 AnimateDiff 확장이 있다.[20][21] ComfyUI는 Automatic1111과 같은 다른 확산 UI에 비해 더 복잡하다고 묘사되어 왔다.[22][23] 프로그램에는 기본 노드 그룹도 포함되어 있다.[12]

2024년 12월 현재 1,674개의 노드가 지원된다.[24] ComfyUI는 스테이블 디퓨전, Flux, 텐센트의 Hunyuan-DiT를 포함한 여러 텍스트-이미지 모델과 Pony와 같은 Civitai의 사용자 지정 모델을 지원한다.[24]

LLMVision 확장 프로그램 침해

[편집]

2024년 6월, "Nullbulge"라는 해커 그룹이 ComfyUI 확장 프로그램을 침해하여 악성 코드를 추가했다.[25] 침해된 ComfyUI_LLMVISION이라는 확장 프로그램은 인터페이스를 AI 언어 모델 GPT-4 및 Claude 3과 통합하는 데 사용되었으며 깃허브에 호스팅되었다. Nullbulge는 웹사이트에 수백 명의 ComfyUI 사용자의 여러 서비스 로그인 정보를 담은 목록을 게시했으며, 확장 프로그램 사용자들은 수많은 로그인 알림을 받았다고 보고했다. vpnMentor는 확장 프로그램에 대한 보안 연구를 수행하고 "암호화폐 지갑을 훔치고, 사용자 화면을 스크린샷하고, 장치 정보 및 IP 주소를 노출하며, 특정 키워드나 확장자를 포함하는 파일을 훔칠 수 있다"고 주장했다.

Nullbulge의 웹사이트는 자신들이 "우리 죄 중 하나"를 저지른 사용자들을 대상으로 했다고 주장하며, 여기에는 AI 아트 생성, 예술품 도용, 암호화폐 홍보, 그리고 Patreon과 같은 아티스트로부터의 다른 종류의 도용이 포함된다. 그들은 "예술가의 권리를 보호하고 그들의 작업에 대한 공정한 보상을 보장하는 것의 중요성을 믿는 개인들의 집단"이며, "AI 생성 예술 작품이 창의 산업에 해롭고 권장되어서는 안 된다"고 믿는다고 주장했다.[25]

각주

[편집]
  1. ↑ comfyanonymous. “Initial commit.”. 《github》. 2024년 7월 10일에 확인함. 
  2. ↑ comfyanonymous. “LICENSE”. 《github》. 2024년 7월 10일에 확인함. 
  3. ↑ comfyanonymous (2023년 5월 18일). “ComfyUI is now 4 months old!”. 《ComfyUI blog》 (영어). 2024년 7월 11일에 확인함. 
  4. ↑ “ComfyUI 作者团队成立 Comfy Org- DoNews快讯”. 
  5. ↑ Harper, Christopher (2024년 7월 4일). “Nvidia's RTX Remix goes open source —chipmaker adds Rest API to interface with ComfyUI for AI remastering or generating new graphics in real time”. 《Tom's Hardware》 (영어). 2024년 7월 11일에 확인함. 
  6. ↑ 田口和裕 (2024년 8월 7일). “画像生成AI「Stable Diffusion」の代替に? 話題の「FLUX.1」を試した (1/7)”. 《ASCII.jp》 (일본어). 
  7. ↑ Wheatley, Mike (2024년 8월 12일). “Linux Foundation's latest initiative aims to promote 'irrevocable' open-source AI models”. 《SiliconANGLE》. 
  8. ↑ comfyanonymous. “ComfyUI”. 《github》. 2024년 7월 10일에 확인함. 
  9. ↑ Hu, Qihan; Xu, Zhenghui; Du, Peng; Zeng, Hao; Ma, Tongqing; Zhao, Youbing; Xie, Hao; Zhang, Peng; Liu, Shuting; Zang, Tongnian; Wang, Xuemei (2024). 〈CanFuUI: A Canvas-Centric Web User Interface for Iterative Image Generation with Diffusion Models and ControlNet〉. 《AI-generated Content》. Communications in Computer and Information Science (영어) 1946. Springer Nature Singapore. 128–138쪽. doi:10.1007/978-981-99-7587-7_11. ISBN 978-981-99-7586-0. Currently, the most popular user interfaces for Stable Diffusion are Stable Diffusion WebUI and ComfyUI. 
  10. ↑ Zhu, Andrew (2024). 《Using Stable Diffusion with Python: Leverage Python to control and automate high-quality AI image generation using Stable Diffusion》. Packt Publishing. ISBN 978-1835084311. ComfyUI is a node-based UI that utilizes Stable Diffusion. It allows users to construct tailored workflows, including image post-processing and conversions. It is a potent and adaptable graphical user interface for Stable Diffusion, characterized by its node-based design. 
  11. ↑ 故渊 (2023년 11월 25일). “7 年老显卡 GTX 1080 能跑，图片生成视频模型 Stable Video Diffusion 更新 - IT之家”. 《ithome》. 
  12. ↑ 가 나 다 田口, 和裕. “画像生成AI「Stable Diffusion」使い倒すならコレ！ 「ComfyUI」基本の使い方 (1/3)”. 《ascii.jp》 (일본어). 
  13. ↑ 가 나 Xue, Xiangyuan; Lu, Zeyu; Huang, Di; Ouyang, Wanli; Bai, Lei (2024년 9월 2일). “GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI”. arXiv:2409.01392 [cs.CL]. 
  14. ↑ 가 나 다 Gal, Rinon; Haviv, Adi; Alaluf, Yuval; Bermano, Amit H.; Cohen-Or; Daniel; Chechik; Gal (2024). “ComfyGen: Prompt-Adaptive Workflows for Text-to-Image Generation”. arXiv:2410.01731 [cs.CL]. 
  15. ↑ 가 나 Zeman, Benjamin (2024년 12월 4일). “How to build basic workflows in ComfyUI”. 《XDA》 (영어). 
  16. ↑ 白鲸出海 (2024년 5월 23일). “一家成都游戏公司，做出了一款千万月访问量的AI图像产品-36氪” (중국어). 
  17. ↑ 田口, 和裕 (2024년 3월 27일). “Macで始める画像生成AI 「Stable Diffusion」ComfyUIの使い方 (3/5)”. 《ascii.jp》 (일본어). 
  18. ↑ 틀:ウェブ 인용
  19. ↑ 机器之心 (2023년 11월 16일). “当韩国女团BLACKPINK进军二次元，清华叉院AI神器原来还能这么玩-36氪” (중국어). 
  20. ↑ 新, 清士. “アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化”. 《ascii.jp》 (일본어). 
  21. ↑ Guo, Yuwei; Yang, Ceyuan; Rao, Anyi; Liang, Zhengyang; Wang, Yaohui; Qiao, Yu; Agrawala, Maneesh; Lin, Dahua; Dai, Bo (May 2024). 《AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning》. 《International Conference on Learning Representations》. arXiv:2307.04725. 
  22. ↑ Phoenix, James; Taylor, Mike (2024). 〈AUTOMATIC1111 Web User Interface〉. 《Prompt engineering for generative AI: future-proof inputs for reliable AI outputs at scale》 Fir판. Beijing Boston: O'Reilly. ISBN 978-1098153434. Advanced users may also want to explore ComfyUI, as it supports more advanced workflows and increased flexibility (including image-to-video), but we deemed this too complex for the majority of use cases, which can easily be handled by AUTOMATIC1111. 
  23. ↑ Pérez-Colado, Iván J.; Freire-Morán, Manuel; Calvo-Morata, Antonio; Pérez-Colado, Víctor M.; Fernández-Manjón, Baltasar (2024년 5월 8일). 〈AI Asyet Another Tool in Undergraduate Student Projects: Preliminary Results〉. 《2024 IEEE Global Engineering Education Conference (EDUCON)》. 1–7쪽. doi:10.1109/EDUCON60312.2024.10578883. ISBN 979-8-3503-9402-3. 
  24. ↑ 가 나 Zeman, Benjamin (2024년 12월 6일). “Adobe Photoshop's Firefly vs. ComfyUI and Stable Diffusion”. 《XDA》 (영어). 
  25. ↑ 가 나 Maiberg, Emanuel (2024년 6월 11일). “Hackers Target AI Users With Malicious Stable Diffusion Tool on GitHub to Protest 'Art Theft'”. 《404 Media》 (영어). 2024년 6월 14일에 확인함. 
원본 주소 "https://ko.wikipedia.org/w/index.php?title=ComfyUI&oldid=40448107"