Що таке діпфейк?

Діпфейк — це технологія синтезування медіаданих, на яких обличчя людини на наявних фото або відео замінюється обличчям іншої людини. Під час виготовлення підробок використовують методи штучного інтелекту, машинного навчання та нейронних мереж.

Назва технології походить від поєднання англійських термінів deep learning (глибоке навчання) і fake (підробка).

Для чого створюються діпфейки?

Багато зі створених діпфейків — порнографічні. До кінця 2020 року компанія Sensity виявила в інтернеті 85 000 підробок, створених із застосуванням методів ШІ. 93% матеріалів були порнографічними, у переважній більшості яких зображені обличчя знаменитих жінок.

Нові методи дають змогу некваліфікованим людям робити діпфейки за допомогою кількох фотографій. За словами експертів, кількість такого контенту подвоюється кожні шість місяців. Імовірно, підроблені відео поширюватимуться за межі світу знаменитостей, щоб підживлювати порноместь.

Діпфейки також використовуються для інформаційних атак, створення пародій і сатири.

У 2018 році американський режисер Джордан Піл і видання BuzzFeed опублікували нібито звернення колишнього президента США Барака Обами, у якому він назвав Дональда Трампа "засранцем". Ролик створили за допомогою програми FaceApp і графічного редактора Adobe After Effects. Режисер і журналісти хотіли продемонструвати, який вигляд у майбутньому можуть мати фейкові новини.

У 2022 році після повномасштабного вторгнення Росії на територію України в соціальних мережах поширилося фейкове відео президента Володимира Зеленського, у якому глава держави "закликає народ здатися". Користувачі швидко визначили підробку, а сам Зеленський записав спростування.

У травні того ж року шахраї поширили діпфейк Ілона Маска, у якому той "закликає інвестувати" в очевидний скам. YouTube-канал, який опублікував ролик, мав понад 100 000 передплатників, а до видалення акаунта відео подивилися понад 90 000 разів. Скільки людей повелися на скам, невідомо.

Для розваг існує безліч додатків, що створюють діпфейки. На початку 2020 року широкої популярності набув застосунок Reface, що використовує технологію діпфейк для створення коротких відеороликів із накладенням буквально будь-якого обличчя на широкий спектр відео та гіф-анімації.

Що можна підробити?

Діпфейк-технологія може створювати не тільки переконливі відео, а й повністю вигадані фотографії з нуля. У 2019 році якась Мейзі Кінслі завела профілі в LinkedIn і Twitter, у яких вона назвалася журналісткою Bloomberg. "Журналістка" зв’язувалася зі співробітниками компанії Tesla і випитувала різну інформацію.

Пізніше з’ясувалося, що це діпфейк. Жодних переконливих фактів, що пов’язують її з виданням, соцмережі не містили, а фотографія профілю була явно згенерована штучним інтелектом.

У 2021 році ForkLog HUB провів експеримент, створивши віртуального персонажа М. Г. Адамчука, який "писав" для платформи "міркування про ринок" криптовалют. Тексти були згенеровані за допомогою великої мовної моделі GPT-2. Аватар створений сервісом This Person Does not Exist.

Аудіо також можна сфальсифікувати для створення "голосових клонів" публічних осіб. У січні 2020 року шахраї в ОАЕ підробили голос керівника великої компанії і переконали банківського працівника перевести $35 млн на їхні рахунки.

Аналогічний випадок стався 2019 року з британською енергетичною компанією. Шахраям вдалося вкрасти близько $243 000, видавши себе за директора фірми за допомогою підробленого голосу.

Як створюються діпфейки?

Для створення діпфейків необхідний великий набір даних облич двох людей. Датасет аналізується ШІ-кодувальником, який знаходить подібності між ними і стискає зображення.

Потім декодер навчають відновлювати обличчя зі стислих кадрів. Для кожної людини використовується окремий алгоритм. Щоб поміняти обличчя місцями, необхідно завантажити стислі дані в "неправильний" декодер.

Наприклад, зображення людини А подаються в декодер, навчений на людині Б. Алгоритм реконструює обличчя людини Б з виразом обличчя А.

Для отримання якісного результату для відео алгоритм має обробити таким чином кожен кадр.

Інший спосіб створення діпфейків — використання генеративно-змагальних нейромереж (GAN). Подібний метод використовується в сервісах на кшталт This Person Does not Exist.

Хто створює діпфейки?

Діпфейки можуть створювати академічні та комерційні дослідники, інженери машинного навчання, ентузіасти-аматори, студії візуальних ефектів і режисери. Також завдяки популярним додаткам на кшталт Reface або FaceApp будь-який власник смартфона може зробити підроблений знімок або відео.

Уряди також можуть користуватися технологією, наприклад, у рамках своїх онлайн-стратегій з дискредитації та підриву екстремістських груп або встановлення контактів із цільовими особами.

У 2019 році журналісти виявили профіль якоїсь Кеті Джонс у LinkedIn, який виявився дипфейком. Тоді в Національному центрі контррозвідки і безпеки США повідомили, що іноземні шпигуни регулярно використовують підроблені профілі в соцмережах для стеження за американськими цілями. Зокрема, відомство звинуватило Китай у веденні "масового" шпигунства через LinkedIn.

У 2022 році південнокорейські інженери створили діпфейк кандидата в президенти Юн Сок Еля для залучення молодих виборців напередодні виборів 9 березня 2022 року.

Які технології використовують у виготовленні діпфейків?

Більшість підробок створюються на високопродуктивних настільних комп’ютерах із потужними відеокартами або в хмарі. Також потрібен досвід, не в останню чергу для виправлення закінчених відео та усунення візуальних дефектів.

Однак зараз є безліч інструментів, що допомагають людям робити діпфейки як у хмарі, так і просто на смартфоні. До вищезгаданих Reface і FaceApp можна додати Zao, яке накладає обличчя користувачів на персонажів фільмів і телепередач.

Як розпізнати діпфейк?

У більшості випадків підроблені фото і відео низької якості. Розпізнати діпфейк можна за немерехтливими очима, поганою синхронізацією мови і губ, плямистим відтінком шкіри. По краях транспонованих граней може спостерігатися мерехтіння і пікселізація. Дрібні деталі на кшталт волосся особливо складно якісно промальовувати.

Погано перенесені прикраси та зуби також можуть свідчити про підробку. Слід звернути увагу і на непослідовне освітлення, а також відображення на райдужній оболонці очей.

Проти діпфейків борються великі технологічні корпорації. У квітні 2022 року компанії Adobe, Microsoft, Intel, Twitter, Sony, Nikon, BBC і ARM об’єдналися в альянс C2PA для виявлення підроблених фото і відео в інтернеті.

У 2020 році напередодні виборів у США Facebook заборонив діпфейкові відео, які можуть ввести користувачів в оману.

У травні 2022 року Google обмежила можливість навчати моделі для створення діпфейків у хмарному середовищі Colab.

У чому небезпека діпфейків?

Крім дезінформації, переслідувань, залякувань і принижень, дипфейки можуть підірвати довіру суспільства до конкретних подій.

На думку професора й експерта в галузі інтернет-права Університету Ньюкасла Ліліан Едвардс, проблема полягає не стільки в підробках, скільки в запереченні реальних фактів.

У міру поширення технології, діпфейки можуть створити загрозу для правосуддя, де фальсифіковані події можуть видаватися за реальні.

Також вони становлять загрозу для особистої безпеки. Діпфейки вже вміють імітувати біометричні дані та обманювати системи розпізнавання облич, голосу або ходи.

Чим діпфейки можуть бути корисні?

Крім загроз, діпфейки можуть виявитися і корисними. Технологію активно використовують у розважальних цілях. Наприклад, лондонський стартап Flawless розробив штучний інтелект для синхронізації губ акторів і звукової доріжки під час дублювання фільмів різними мовами.

У липні 2021 року автори документального фільму про відомого шеф-кухаря Ентоні Бурдена, який помер 2018 року, використовували діпфейк для озвучування його цитат.

Крім цього, технологія може допомогти людям повернути голос, втрачений через хворобу.

Також діпфейки використовують для створення синтетичних наборів даних. Це позбавляє інженерів необхідності збирати фотографії реальних людей і отримувати дозволи на їх використання.

Підписуйтесь на новини ForkLog у Telegram: ForkLog AI — всі новини зі світу ШІ!