AF:CFFIIV
видеоарт
Авторы: арт-группа pt9 (Олеся Ильенок, Марина Музыка, Андрей Чугунов)
Работа сделана в рамках воркшопа "Компьютерное зрение и нейронные сети" под руководством Федора Червинского
–Da. Master program in Digital Art

Проект "AF:CFFiIV" исследует феномен воображения на основе работы трех нечеловеческих агентов – трех нейросетей (Betaface/Computer Vision API, StyleGan, Wavenet-A). Первая выполняет генерацию изображений человеческих лиц в окружении, вторая нейросеть категоризирует эти изображения согласно набору знакомых образов, третий агент озвучивает эти категории, завершая цикл и создавая цельную структуру воображаемого.
Нейронная сеть – это подходящая модель для исследования когнитивных процессов, происходящих в человеческом мозге. Имитация нейронов, процессов и связей позволяет сравнить ее с базовой сборкой человеческого сознания. В данном проекте нейронная сеть выступает в роли нечеловеческого агента, помогающего проиллюстрировать процесс познания мира и конвертации его в опыт.
Феномен воображения может быть рассмотрен как процесс спонтанного возникновения или преднамеренного построения и создания образов и идей, которые не могут быть восприняты органами чувств. Опираясь на образы, полученные извне, и манипулируя ими, сознание пересобирает картину окружающей реальности.

Имея подобный человеческому опыт через набор определенных данных (dataset), нейронная сеть синтезирует его для выдачи совершенно новых изображений. Обучаясь, а затем генерируя оригинальные образы, можно сказать, что она моделирует репродуктивное и продуктивное воображение, которое, в отличие от человеческого, не ограничено моральными и эстетическими принципами и не имеет эмоциональной окрашенности. Согласно Юму, невообразимое для нас не существует. Так можно ли говорить о том, что нейронные сети способны расширить наше собственное понимание красоты, эстетики, и границ?

Исследуя ее способность создавать множество значений, позволяющих генерировать изображения реалистично выглядящих людей, человек может проследить за процессом конструирования промежуточных образов, возникающих в "сознании" нейросети. Мы же, в свою очередь, сдвигая ее фокус при генерации изображений на пределы нормального распределения числовых векторов, которые переводятся нейросетью в изображение, исследуем обратный процесс – от реалистичного образа к цифровому шуму, в котором нейросеть "мечтает" создать реалистичное лицо человека.

Используемые медиа:
визуальный ряд - нейросеть StyleGAN
категоризация - нейросеть BetafaceAPI
синтезированный голос - Google WaveNet
Звуковой фон: 1 секунда звука, созданная нейросетью Mozilla TTS, обработанная в программе Ableton Live
2019