CCC'2019

Розпізнавання образів

Пошук зображень

Одним з популярних способів використання Інтернету є пошук зображень для різних цілей: використати для оздоблення сайту, блогу або профілю соціальних мереж тощо. В Інтернеті є багато варіантів пошуку зображень, від загальних пошукових систем з функцією пошуку зображень до спеціалізованих пошукових систем для перегляду і індексування зображень.

Загальний пошук зображень в Google

Google залишається джерелом інформації не лише через свою велику базу даних, а й через низку ефективних фільтрів для пошуку та можливості шукати зображення за пошуковим чи голосовим запитом.

Використовуючи розширені параметри пошуку, можна фільтрувати зображення за розміром, кольором, типом розміщеного об’єкта та багато іншого (рис.7).

Рис.7. Застосування фільтрів для обмеження результатів пошуку зображень

Зображення відображаються у вигляді мініатюр, на тепер прибрано кнопку «Відкрити в повному розмірі», що зроблено через збереження авторських прав. Після кліку на зображенні відбувається перехід до сторінки, на якій розміщено картинку. Також, ускладнено опцію пошуку по картинці: прибрано кнопку «Пошук за картинкою», яка надавала можливість відшукати подібні зображення в іншому розмірі та якості. Метою такого підходу було обмежити спроби пошуку авторських зображень без водяних знаків.

Зворотній пошук зображень Google

Сервіс для пошуку зображень використовує алгоритми аналізу і класифікації даних, а для пошуку зображень за візуальним змістом застосовуються технології комп'ютерного зору та опису змісту зображень. Дані технології перетворюють завантажену картинку в набір «візуальних слів». Після цього система серед мільярдів картинок, які містяться в її базі даних вибирає зображення, які мають схожі «візуальні слова» і видає їх користувачеві. При цьому пошук займе не більше хвилини.

Завдання, які вирішує технологія комп'ютерного зору:

  • Класифікація зображень.
  • Пошук дублікатів і схожих зображень.
  • Розпізнавання тексту.
  • Розуміння сцени і розпізнавання об'єктів на зображеннях.

В такому сервісі є кілька сценаріїв використання:

  1. Пошук такої ж картинки, але з певними змінами: вищої якості, більшого розміру, без водяного знака або, навпаки, фотожаби з нею.
  2. Дізнатися, хто перебуває на зображенні, тобто визначити зображення людини за текстовими описами на сайтах.
  3. Відображати не картинки, а сайти, де вони розміщені. Наприклад, за фотографією дизайнерського стільця, дізнатися, де його можна купити.

Існує кілька методів, які можна використати для пошуку ідентичної або схожої картинки в Інтернеті.

Кнопка вибору об’єкта пошуку

Вибір в контекстному меню

Фільтр "Картинки"

Google регулярно експериментує зі своїми сервісами, тому сторінка видачі результатів пошуку картинок щораз міняється. На 2019 рік в правому боці наявна зручна панель, що допоможе користувачеві отримати відомості щодо сайту, де розміщено картинку, поділитися чи зберегти зображення. Нижче наведено сайти, зі схожою тематикою.

Bing Images

Bing є головним конкурентом для Google, але пошук зображень може бути однією з тих речей, які Bing робить краще, ніж Google. Пошукова система Bing може фільтрувати фотографії за кольором, типом, макетом, розміром зображення, а також за ліцензійними показниками (рис.8).

Рис. 8. Сторінка видачі результатів пошуку зображень у Bing

Yahoo

Yahoo є власником великого сховища зображень Flickr і, відповідно, використовує їх у своєму пошуку. На сторінці результатів пошуку доступні всі фільтри зображень, тому, користувачі можуть легко їх використовувати для точного налаштування результатів (рис.9).

Рис. 9. Сторінка видачі результатів пошуку зображень у Yahoo

Зворотний пошук зображень

Зворотний пошук зображень – це коли за існуючим зображенням шукають інформацію, наприклад, за фотографією квітки – її назву. Цей метод пошуку стає популярним, оскільки є корисним для веб-розробників та авторів контенту.

Причини застосування зворотного пошуку зображення:

  • Перевірка джерела зображення. При зворотному пошуку зображень можна знайти початкове джерело зображення і як картинка змінилася з часом. Це особливо ефективно для аутентифікації профілів людей, новин і зображень подій.
  • Відстеження зображень, захищених авторськими правами. Фотографи та автори контенту можуть використовувати зворотний пошук зображень, щоб дізнатися як їх контент використовується в Інтернеті. Це допоможе відстежити, хто використовує авторські зображення без відповідних прав.
  • Пошук схожих зображень. Зворотний пошук зображення допоможе знайти найкращі знімки або варіанти зображення.

TinEye

TinEye - пошукова система, що спеціалізується на пошуку схожих зображень в Інтернеті. Сервіс аналізує колірну гамму, відтінки, розпізнає зображення і знаходить схожі картинки. Особливістю сервісу є те, що пошук зображень проводиться тільки за картинкою-зразком.

Пошук зображень за зразком. Фахівці компанії пропонують скористатися додатковими функціями сервісу, що розширюють можливості пошуку зображень за зразком (рис.10).

Рис. 10. Сторінка результатів зворотного пошуку зображень у TinEye

Multicolr Search. Можливість сервісу TinEye для пошуку зображень за колірною гамою. На палітрі можна підібрати і налаштувати бажану комбінацію кольорів, відповідно до якої TinEye здійснить пошук серед мільйонів зображень в сховищі Flikr (рис.11).

Рис. 11. Сторінка результатів пошуку зображень за визначеними пропорціями кольорів

На офіційному сайті TinEye можна завантажити плагіни для таких браузерів як Firefox, Chrome, Internet Explorer і Safari, що дозволяють полегшити процес пошуку за допомогою TinEye. Після установки, в меню браузера з'явиться додатковий пункт, який буде відповідати за функцію пошуку схожих зображень.

TinEye поставляється в безкоштовній і преміальної версії. У безкоштовної версії користувачі можуть виконувати максимум 150 запитів в місяць.

Візуальний пошук Pinterest

Для використання потрібно зареєструватися на сервісі. Як тільки користувач натискає кнопку пошуку зображення, результати схожих зображень відображаються майже відразу.

Рис. 13. Результати пошуку схожих зображень у сервісі Pinterest

Google Lens

Google Lens - додаток для визначення об'єктів через об'єктив камери. Число об'єктів, які розпізнає Google Lens досягає мільярда. Значна частина об'єктів потрапляє в додаток через сервіс Google Shopping. Його використовують, щоб порівняти ціни на продукти в магазині і онлайн. Тепер Google Lens навчився розпізнавати текст і об'єкти реального світу і обзавівся новими функціями.

Алгоритм Google Lens звіряє те, що бачить камера, з тисячами зображень пошукових запитів і видає правильну відповідь. Додаток використовує машинне навчання, алгоритми комп'ютерного зору і TensorFlow, щоб розпізнати об'єкт і знайти відповідність.

Система штучного інтелекту в режимі реального часу розпізнає об'єкт на фотографії і надає наявні по ньому в інтернеті відомості. Технологія обробки фото Google Lens аналізує знімок на пристрої, використовуючи алгоритми комп'ютерного зору, ідентифікує різні об'єкти, які опинилися під прицілом камери девайса, після чого виводить на екран відповідну інформацію. Так, функція буде корисна багатьом користувачам і варіантів її застосування чимало:

  • Пошук інформації про об'єкти (заклади, визначні пам'ятки).
  • Визначення видів рослин і тварин (назви квітів, породи собак тощо).
  • Пошук вподобаних предметів (аналогічних або схожих без необхідності їх опису).
  • Пошук відомостей про товари шляхом розпізнавання їх штрих-кодів.
  • Додавання візитки. Збереження контактних даних (телефону, адреси).
  • Робота з текстом (переклад на іншу мову, копіювання).

У Google відзначають, що алгоритм не завжди працює правильно і пов'язують це з навчальною вибіркою. Фотографії, які роблять користувачі можуть бути не такими якісними або знятими під іншим кутом - це впливає на результат розпізнавання. Розробники планують поліпшити роботу алгоритму, додавши більше знімків, які виглядають так, ніби зроблені на камеру смартфона.

Тепер можна скопіювати текст, який бачить камера прямо в телефон. Наприклад, перенести рецепт з кулінарної книги в замітки, перетворивши його в список продуктів. Також камера зможе скопіювати телефон з візитки та зателефонувати на нього, або занести в лист контактів. Алгоритми навчаються, використовуючи різні символи, мови, шрифти, зразки сканів книг з Google Books. Для того, щоб розпізнати схожі символи, як «о» і «0» алгоритм шукає відповідність і перевіряє опис в інтернеті.

Майбутній розвиток Google Lens розробники пов'язують з розвитком нейронних мереж: «Камера з нейронною мережею зможе помістити відповіді прямо туди, де знаходяться питання - показуючи потрібний напрямок напрямок на вулиці, допомагаючи знайти потрібні продукти на полицях магазинів або миттєво переводячи будь-яке слово перед нами в чужому місті. Ми зможемо дізнаватися більше про все, що нас оточує, просто відкривши камеру».

Cloud Vision API

Cloud Vision API - сервіс від Google для роботи з зображеннями. Програма дає детальний і детальний аналіз картинок за допомогою механізму машинного навчання. Після завантаження зображення сервіс надає звіт про те, як його бачить штучний інтелект.

1. Вкладка Faces (Обличчя): показує, видно чи особа людини, наскільки він щасливий, які взагалі відчуває емоції, чи є на ньому головний убір, як щодо простору нахилена його голова.

2. Вкладка Objects зазначає, що конкретно зображено на картинці. На цьому зображенні, машина зрозуміла, штани з ймовірністю в 94%, людина - 89%, тварина - 63%, майка - 57%.

3. Вкладка Labels (Мітки): тут показується, що ще зображено на картинці, крім людини (якщо він є). Прописуються деталі і контекстуальні аспекти зображення. На цьому зображенні - хребетна тварина, ссавець, бичача морда тощо.

4. Вкладка Web Entities (Веб-об'єкти)- з'являються слова з інтернету, які безпосередньо пов'язані з картинкою

 

5. Вкладка Properties (Властивості) - відображаються основні кольори, які присутні на картинці та виявлені об’єкти, окрім людини.

6. Вкладка Safe Search (Безпечний пошук) показує, наскільки зображення безпечно для перегляду, чи немає на ньому чогось забороненого (елементи порнографії, жорстокості, містифікації і расизму).

 

 

Порядок роботи

  1. Ознайомитися з теоретичними матеріалами щодо розпізнавання зображень та основними підходами.
  2. Здійснити прямий та зворотній пошук зображень в різних пошукових системах та сервісах. Зауважити на відмінності в результатах, релевантності знайдених зображень.
  3. Завантажити на смартфон додатки, що розпізнають об’єкти чи сканують текст і здійснити відповідні дії. Зазначити особливості використаних додатків, їх доступність, сумісність та перспективи розвитку.
  4. Скористатися сервісом Cloud Vision API. Завантажити зображення, що містить цікаві об’єкти і перевірити спроможність штучного інтелекту розпізнавати вміст зображення.
  5. Проаналізувати отримані результати і зробити висновки.
  6. Під час захисту лабораторної роботи вільно володіти теоретичним матеріалом.

Зміст звіту

  1. Назва та мета виконання лабораторної роботи.
  2. Скіншоти виконання різних варіантів пошуку зображень з порівнянням результатів за різними показниками.
  3. Аналітичні висновки щодоотриманих результатів таможливостей сучасних сервісів пошуку.