Contrastive Language-Image Pre-training

CLIP

Тип	vision-language modeld і програмне забезпечення
Розробник	OpenAI
Перший випуск	5 січня 2021
Мова програмування	Python
Ліцензія	MIT License
Репозиторій	github.com/OpenAI/CLIP
Вебсайт	openai.com/research/clip

Contrastive Language-Image Pre-training (CLIP) — це метод навчання пари моделей нейронних мереж, одна з яких призначена для розуміння зображень, а інша — для розуміння тексту, з використанням контрастової цільової функції. Цей метод уможливив широке застосування в багатьох галузях, включаючи кросмодальний пошук, генерацію зображень за текстом, та естетичне ранжування.

Алгоритм

Огляд архітектури

Метод CLIP навчає пару моделей контрастово. Одна модель приймає фрагмент тексту як вхідні дані та видає один вектор, що представляє його семантичний зміст. Інша модель приймає зображення і аналогічно видає один вектор, що представляє його візуальний зміст. Моделі навчаються так, щоб вектори, що відповідають семантично схожим парам текст-зображення, були розташовані близько один до одного у спільному векторному просторі, тоді як вектори несхожих пар знаходилися далеко один від одного.

Для навчання пари моделей CLIP спочатку готують великий набір даних пар зображення-підпис. Під час навчання моделям пред'являються батчі з $N$ пар зображення-підпис. Нехай вихідні дані текстової та візуальної моделей будуть відповідно $v_{1},...,v_{N},w_{1},...,w_{N}$. Два вектори вважаються «схожими», якщо вони мають великий скалярний добуток.

Функція втрат на даному батчі, — це багатокласові N-парні втрати (англ. multi-class N-pair loss), які являють собою симетричні втрати крос-ентропії над оцінками схожості:

$$-{\frac {1}{N}}\sum _{i}\ln {\frac {e^{v_{i}\cdot w_{i}/T}}{\sum _{j}e^{v_{i}\cdot w_{j}/T}}}-{\frac {1}{N}}\sum _{j}\ln {\frac {e^{v_{j}\cdot w_{j}/T}}{\sum _{i}e^{v_{i}\cdot w_{j}/T}}}$$

По суті, ця функція втрат стимулює збільшення скалярного добутку між відповідними векторами зображення та тексту ($v_{i}\cdot w_{i}$), водночас перешкоджаючи високим значенням скалярного добутку для невідповідних пар. Параметр $T>0$ — це температура, яка в оригінальній моделі CLIP параметризується як $T=e^{-\tau }$, де $\tau \in \mathbb {R}$ є навчальним параметром.

Можливі й інші функції втрат. Наприклад, Sigmoid CLIP (SigLIP) пропонує наступну функцію втрат:

$$L={\frac {1}{N}}\sum _{i,j\in 1:N}f((2\delta _{i,j}-1)(e^{\tau }w_{i}\cdot v_{j}+b))$$

де $f(x)=\ln(1+e^{-x})$ — це від'ємна логарифмічна сигмоїдна функція втрат, а символ дельти Дірака $\delta _{i,j}$ дорівнює 1, якщо $i=j$, і 0 в іншому випадку.

Моделі CLIP

Хоча оригінальна модель була розроблена компанією OpenAI, згодом моделі навчали й інші організації.

Модель зображень

Архітектура Vision Transformer. Вихідний вектор Rep_<CLS> використовується як кодування зображення для CLIP.

Моделі кодування зображень, що використовуються в CLIP, зазвичай є візуальними трансформерами (ViT). Схема найменування цих моделей часто відображає конкретну архітектуру ViT. Наприклад, «ViT-L/14» означає «vision transformer large» (великий візуальний трансформер порівняно з іншими моделями тієї ж серії) з розміром патча 14, що означає, що перед обробкою трансформером зображення розділяється на патчі розміром 14 на 14 пікселів. Показники розміру варіюються від B, L, H, G (base, large, huge, giant) у вказаному порядку.

Окрім ViT, візуальною моделлю зазвичай є згорткова нейронна мережа, така як ResNet (в оригінальній серії OpenAI) або ConvNeXt (у серії моделей OpenCLIP від LAION).

Оскільки вихідні вектори моделі зображень і текстової моделі повинні мати однакову довжину, обидві моделі мають вектори виходу фіксованої довжини, що в оригінальному звіті називається «розмірністю вкладення» (англ. embedding dimension).