Как обучается Sora? OpenAI опубликовал общую архитектуру и категории данных, но не полный рецепт обучения. В его публичных материалах описывается диффузионная модель с архитектурой трансформера. Видео сжимается в латентное представление и делится на пространственно-временные патчи, а описательные подписи помогают связать визуальное содержимое с текстовыми инструкциями. OpenAI также описывает широкие категории данных и фильтрацию на этапе предварительного обучения. Он не публикует поэлементный перечень набора данных, пропорции смешивания или все настройки обучения.
Это различие имеет значение. Полезное объяснение отделяет задокументированные факты от предположений, которые звучат правдоподобно, но не были раскрыты.
Начните с представления модели
OpenAI описывает Sora как диффузионную модель. Во время генерации модель начинает с похожего на видео поля шума и за множество шагов удаляет шум. В том же публичном описании говорится, что Sora использует архитектуру трансформера, позволяющую системе масштабироваться для обработки длинных последовательностей визуальных единиц.
Эти единицы не являются обычными текстовыми токенами. В OpenAI говорится, что сначала видео сжимаются в латентное пространство меньшей размерности, а затем это представление делится на пространственно-временные патчи. Патч представляет собой область визуальных данных в пространстве и времени, благодаря чему модель может обучаться на изображениях и видео разной длительности, разрешения и с разным соотношением сторон в общем представлении.
В публичном техническом отчете объясняется это проектное решение, но в нем не содержится полный код обучения или корпус данных.
Что говорится в открытых источниках о данных для обучения
В Sora System Card говорится, что Sora обучалась на разнообразных наборах данных. В нем выделены четыре основные категории:
Выбирайте общедоступные данные, в основном из стандартных отраслевых наборов данных для машинного обучения и результатов веб-сканирования.
Проприетарные данные, полученные через партнёрства.
Специальные наборы данных, созданные внутри компании или заказанные для конкретных нужд.
Обратная связь от людей — тренеров ИИ, специалистов по red teaming и сотрудников.
Это полезное раскрытие информации, но не полный перечень. В публичном описании не указаны все элементы обучающих данных, вес, присвоенный каждому источнику, точные условия лицензирования для каждого элемента или окончательная смесь, использованная на каждом этапе обучения. Если источник не предоставляет этих подробностей, их следует считать неизвестными, а не реконструировать на основе слухов или примеров.
Почему подписи важны
В OpenAI говорится, что Sora использует технику повторного создания подписей, представленную вместе с DALL·E 3. При таком подходе для визуальных обучающих данных создаются подробные описательные подписи. Цель состоит в том, чтобы дать модели более содержательную связь между тем, что показано на изображении или видео, и словами, используемыми для его описания.
Для модели преобразования текста в видео эта связь влияет на то, насколько хорошо запрос соотносится с видимыми деталями, изменениями сцены и движением. Это не означает, что каждый сгенерированный результат будет идеально следовать инструкции. В нем описывается механизм обучения, предназначенный для повышения точности восприятия текста.
Предварительная фильтрация — это лишь часть картины.
Перед обучением, согласно публичному описанию, наборы данных фильтруются для удаления части откровенного, насильственного или иного чувствительного контента. В System Card это представлено как один из уровней более широкого подхода к безопасности наряду с последующими мерами снижения рисков на уровне модели и продукта.
Фильтрация не является исчерпывающим ответом на вопрос о происхождении данных. Она может сократить отдельные категории вредоносных материалов, оставляя открытыми отдельные вопросы об охвате данных, документации, лицензировании и последующем поведении системы. Для ответа на эти вопросы необходимы собственные доказательства.
Что не разрешается в рамках общедоступной информации
Публичные материалы позволяют дать осторожное описание архитектуры Sora's, категорий данных, создания подписей и фильтрации. Они не позволяют уверенно утверждать, что известен исчерпывающий список источников, точное процентное распределение между источниками данных, полный набор весов модели или каждый гиперпараметр, использованный при обучении.
Вывод оказывается более узким, чем предполагают многие резюме: общедоступные материалы описывают общий подход, но их недостаточно для воспроизведения системы или независимой проверки каждого компонента её корпуса.
Ознакомьтесь с первоисточниками
Для технического контекста см. отчёт OpenAI's Video generation models as world simulators и Sora System Card. Эти источники отделяют публично раскрытую конструкцию модели от деталей, которые остаются нераскрытыми.
Практический следующий шаг для разработчиков
Когда вы переходите от понимания модели к планированию приложения, детали интеграции требуют такой же тщательности, как и исследование модели. OdiRouter getting-started documentation охватывает настройку API модели, аутентификацию, идентификаторы моделей, мультимодальные задачи, интеграции и рекомендации по ценообразованию. Прежде чем принимать решение о доступности или реализации конкретной модели, ознакомьтесь с актуальным каталогом моделей и документацией.