OpenAI: 텍스트 읽고 그림그리는 모델 'DALL E' 및 'CLIP' 공개

출처: www.aitimes.kr/news/articleView.html?idxno=18892

[AI 리뷰] 오픈AI, 글 쓰는 GPT-3에서 진화... 텍스트 읽고 그림 그리는 AI 모델 'DALL·E' 및 'CLIP' 공개 -

Computer Vision과 NLP가 결합된 모델. 텍스트를 인식해 이미지를 생성하고 이미지를 각각 카테고리로 분류할 수 있는 2가지 새로운 AI 모델.

• OpenAI가 Computer vision과 NLP 기술을 결합해, 제시된 텍스트를 인식해 이미지를 생성하고 이미지를 각각 카테고리로 분류함. CLIP; Contrastive Language-Image Pre-training 과 DALL-E 공개함.
• 텍스트 입력에 따라 다양하고 때로는 초현실적인 이미지를 만듬. 예를 들어, '개와 산책하는 투투(발레 치마)의 아기 무' 그림 또는 '하프로 만든 달팽이' 등.

 

두 모델 모두 ImageNet 테스트 세트에서 동일한 정확도를 갖지만 CLIP의 성능은 ImageNet 이외의 다른 설정에서 정확도를 측정하는 데이터 세트에서 어떻게 작동하는지 훨씬 더 잘 나타낸다. 예를 들어 ObjectNet은 가정 내에서 다양한 포즈와 다양한 배경을 가진 물체를 인식하는 모델의 능력을 확인하는 반면 ImageNet Rendition과 ImageNet Sketch는 객체의 더 추상적인 묘사를 인식하는 모델의 기능을 확인한다. 출처 : 인공지능신문(http://www.aitimes.kr)

 

DALL-E

• DALL-E는 텍스트와 이미지를 바꾸고 AI가 반쯤 완성된 이미지를 완성하도록 훈련시켜 Image GPT를 구현한 것임.
• 동물이나 사물의 이미지를 인간 시각적으로 표현할 수 있으며, 관련 없는 아이템을 감각적으로 결합하여 하나의 이미지로 만들어 낼 수도 있음. Texture까지도 세심하게 표현함.
• '거북으로 만든 기린'이나 '아보카도 모양의 안락의자'에 대해서도 만족스러운 결과를 제공함.

CLIP

 

CLIP는 이미지 인코더와 텍스트 인코더를 사전 교육하여 어떤 이미지가 데이터 세트의 텍스트와 페어링 되었는지 예측한다. 그런 다음, 이 동작을 사용하여 CLIP를 제로샷 분류기로 변환한다. 데이터 세트의 모든 클래스를 "개 사진"과 같은 캡션으로 변환하고 캡션 클래스를 예측하여 CLIP이 주어진 이미지와 최상의 쌍을 추정한다. 출처 : 인공지능신문(http://www.aitimes.kr)

 

• 인터넷에서 이용할 수 있는 다양한 자연어 감독(Supervision)에 대해 훈련됨.
• CLIP은 데이터 세트에서 레이블이 지정된 단일 단어가 아닌 그림에 상세한 설명이 있는 것을 학습함.
• Zero-shot learning 기능과 유사한 벤치 마크의 최적화 없이 다양한 분류 task를 수행하도록 지시함.
• OpenAI는 이러한 모델이 특정 직업에 대한 경제적 영향, 모델 출력의 편향 가능성 및 이 기술에 의해 암시되는 장기적인 윤리적 도전과 같은 사회적 문제와 어떻게 관련되는지 분석할 것이라고 밝힘.

 

출처 논문: cdn.openai.com/papers/Learning_Transferable_Visual_Models_From_Natural_Language_Supervision.pdf

Open sourcecode: github.com/openai/CLIP

openai/CLIP