Zoom

Одним з популярних способів використання Інтернету є пошук зображень для різних цілей: використати для оздоблення сайту, блогу або профілю соціальних мереж тощо. В Інтернеті є багато варіантів пошуку зображень, від загальних пошукових систем з функцією пошуку зображень до спеціалізованих пошукових систем для перегляду і індексування зображень.

Загальний пошук зображень в Google

Google залишається джерелом інформації не лише через свою велику базу даних, а й через низку ефективних фільтрів для пошуку та можливості шукати зображення за пошуковим чи голосовим запитом.

Використовуючи розширені параметри пошуку, можна фільтрувати зображення за розміром, кольором, типом розміщеного об'єкта та багато іншого (рис.1).

Рис.1. Застосування фільтрів для обмеження результатів пошуку зображень

Зображення відображаються у вигляді мініатюр, на тепер прибрано кнопку «Відкрити в повному розмірі», що зроблено через збереження авторських прав. Після кліку на зображенні відбувається перехід до сторінки, на якій розміщено картинку. Також, ускладнено опцію пошуку по картинці: прибрано кнопку «Пошук за картинкою», яка надавала можливість відшукати подібні зображення в іншому розмірі та якості. Метою такого підходу було обмежити спроби пошуку авторських зображень без водяних знаків.

Зворотній пошук зображень Google

Сервіс для пошуку зображень використовує алгоритми аналізу і класифікації даних, а для пошуку зображень за візуальним змістом застосовуються технології комп'ютерного зору та опису змісту зображень. Дані технології перетворюють завантажену картинку в набір «візуальних слів». Після цього система серед мільярдів картинок, які містяться в її базі даних вибирає зображення, які мають схожі «візуальні слова» і видає їх користувачеві. При цьому пошук займе не більше хвилини.

Завдання, які вирішує технологія комп'ютерного зору:

• Класифікація зображень.
• Пошук дублікатів і схожих зображень.
• Розпізнавання тексту.
• Розуміння сцени і розпізнавання об'єктів на зображеннях.

В такому сервісі є кілька сценаріїв використання:

• Пошук такої ж картинки, але з певними змінами: вищої якості, більшого розміру, без водяного знакe або, навпаки, фотожаби з нею.
• Дізнатися, хто перебуває на зображенні, тобто визначити зображення людини за текстовими описами на сайтах.
• Відображати не картинки, а сайти, де вони розміщені. Наприклад, за фотографією дизайнерського стільця, дізнатися, де його можна купити.

Існує кілька методів, які можна використати для пошуку ідентичної або схожої картинки в Інтернеті (рис.2-5).

Рис. 2. Вибір об'єкта пошуку в пошуковому полі

Рис.3 Вибір команди в контекстному меню

Рис.4. Застосування фільтру "Картинки" для пошуку за пошуковим словом

Google регулярно експериментує зі своїми сервісами, тому сторінка видачі результатів пошуку картинок щораз міняється. На 2019 рік в правому боці наявна зручна панель, що допоможе користувачеві отримати відомості щодо сайту, де розміщено картинку, поділитися чи зберегти зображення. Нижче наведено сайти, зі схожою тематикою (рис.5).

Рис.5. Перелік сайтів, де знаходяться подібні зображення

Bing Images

Bing є головним конкурентом для Google, але пошук зображень може бути однією з тих речей, які Bing робить краще, ніж Google. Пошукова система Bing може фільтрувати фотографії за кольором, типом, макетом, розміром зображення, а також за ліцензійними показниками (рис.6).

Рис.6. Сторінка видачі результатів пошуку зображень у Bing

Yahoo

Yahoo є власником великого сховища зображень Flickr і, відповідно, використовує їх у своєму пошуку. На сторінці результатів пошуку доступні всі фільтри зображень, тому, користувачі можуть легко їх використовувати для точного налаштування результатів (рис.7).

Рис. 7. Сторінка видачі результатів пошуку зображень у Yahoo

Зворотний пошук зображень

Зворотний пошук зображень – це коли за існуючим зображенням шукають інформацію, наприклад, за фотографією квітки – її назву. Цей метод пошуку стає популярним, оскільки є корисним для веб-розробників та авторів контенту.
Причини застосування зворотного пошуку зображення:

• Перевірка джерела зображення. При зворотному пошуку зображень можна знайти початкове джерело зображення і як картинка змінилася з часом. Це особливо ефективно для аутентифікації профілів людей, новин і зображень подій.
• Відстеження зображень, захищених авторськими правами. Фотографи та автори контенту можуть використовувати зворотний пошук зображень, щоб дізнатися як їх контент використовується в Інтернеті. Це допоможе відстежити, хто використовує авторські зображення без відповідних прав.
• Пошук схожих зображень. Зворотний пошук зображення допоможе знайти найкращі знімки або варіанти зображення.

TinEye

TinEye - пошукова система, що спеціалізується на пошуку схожих зображень в Інтернеті. Сервіс аналізує колірну гамму, відтінки, розпізнає зображення і знаходить схожі картинки. Особливістю сервісу є те, що пошук зображень проводиться тільки за картинкою-зразком.

Пошук зображень за зразком. Фахівці компанії пропонують скористатися додатковими функціями сервісу, що розширюють можливості пошуку зображень за зразком (рис.8).

Рис. 8. Сторінка результатів зворотного пошуку зображень у TinEye

Multicolr Search. Можливість сервісу TinEye для пошуку зображень за колірною гамою. На палітрі можна підібрати і налаштувати бажану комбінацію кольорів, відповідно до якої TinEye здійснить пошук серед мільйонів зображень в сховищі Flikr (рис.9).

Рис. 9. Сторінка результатів пошуку зображень за визначеними пропорціями кольорів

На офіційному сайті TinEye можна завантажити плагіни для таких браузерів як Firefox, Chrome, Internet Explorer і Safari, що дозволяють полегшити процес пошуку за допомогою TinEye. Після установки, в меню браузера з'явиться додатковий пункт, який буде відповідати за функцію пошуку схожих зображень.

TinEye поставляється в безкоштовній і преміальної версії. У безкоштовної версії користувачі можуть виконувати максимум 150 запитів в місяць.

Візуальний пошук Pinterest

Для використання потрібно зареєструватися на сервісі. Як тільки користувач натискає кнопку пошуку зображення, результати схожих зображень відображаються майже відразу (рис.10).

Рис. 10. Результати пошуку схожих зображень у сервісі Pinterest

Google Lens

Google Lens - додаток для визначення об'єктів через об'єктив камери. Число об'єктів, які розпізнає Google Lens досягає мільярда. Значна частина об'єктів потрапляє в додаток через сервіс Google Shopping. Його використовують, щоб порівняти ціни на продукти в магазині і онлайн. Тепер Google Lens навчився розпізнавати текст і об'єкти реального світу і обзавівся новими функціями.

Алгоритм Google Lens звіряє те, що бачить камера, з тисячами зображень пошукових запитів і видає правильну відповідь. Додаток використовує машинне навчання, алгоритми комп'ютерного зору і TensorFlow, щоб розпізнати об'єкт і знайти відповідність.

Система штучного інтелекту в режимі реального часу розпізнає об'єкт на фотографії і надає наявні по ньому в інтернеті відомості. Технологія обробки фото Google Lens аналізує знімок на пристрої, використовуючи алгоритми комп'ютерного зору, ідентифікує різні об'єкти, які опинилися під прицілом камери девайса, після чого виводить на екран відповідну інформацію. Так, функція буде корисна багатьом користувачам і варіантів її застосування чимало:

• Пошук інформації про об'єкти (заклади, визначні пам'ятки).
• Визначення видів рослин і тварин (назви квітів, породи собак тощо).
• Пошук вподобаних предметів (аналогічних або схожих без необхідності їх опису).
• Пошук відомостей про товари шляхом розпізнавання їх штрих-кодів.
• Додавання візитки. Збереження контактних даних (телефону, адреси).
• Робота з текстом (переклад на іншу мову, копіювання).

У Google відзначають, що алгоритм не завжди працює правильно і пов'язують це з навчальною вибіркою. Фотографії, які роблять користувачі можуть бути не такими якісними або знятими під іншим кутом - це впливає на результат розпізнавання. Розробники планують поліпшити роботу алгоритму, додавши більше знімків, які виглядають так, ніби зроблені на камеру смартфона.

Тепер можна скопіювати текст, який бачить камера прямо в телефон. Наприклад, перенести рецепт з кулінарної книги в замітки, перетворивши його в список продуктів. Також камера зможе скопіювати телефон з візитки та зателефонувати на нього, або занести в лист контактів. Алгоритми навчаються, використовуючи різні символи, мови, шрифти, зразки сканів книг з Google Books. Для того, щоб розпізнати схожі символи, як «о» і «0» алгоритм шукає відповідність і перевіряє опис в інтернеті.

Майбутній розвиток Google Lens розробники пов'язують з розвитком нейронних мереж: «Камера з нейронною мережею зможе помістити відповіді прямо туди, де знаходяться питання - показуючи потрібний напрямок напрямок на вулиці, допомагаючи знайти потрібні продукти на полицях магазинів або миттєво переводячи будь-яке слово перед нами в чужому місті. Ми зможемо дізнаватися більше про все, що нас оточує, просто відкривши камеру».

Cloud Vision API

Cloud Vision API - сервіс від Google для роботи з зображеннями. Програма дає детальний і детальний аналіз картинок за допомогою механізму машинного навчання. Після завантаження зображення сервіс надає звіт про те, як його бачить штучний інтелект (рис.11).

Рис. 11. Фотографія-оригінал для аналізу зображення

Вкладка Faces (Обличчя): показує, видно чи особа людини, наскільки він щасливий, які взагалі відчуває емоції, чи є на ньому головний убір, як щодо простору нахилена його голова (рис.12).

Рис.12. Розпізнавання емоцій на обличчі людини

Вкладка Objects (Об'єкти) зазначає, що конкретно зображено на картинці. На цьому зображенні, машина зрозуміла, штани з ймовірністю в 94%, людина - 89%, тварина - 63%, майка - 57% (рис.13).

Рис.13. Розпізнавання загальних об'єктів на фотографії

Вкладка Labels (Мітки): тут показується, що ще зображено на картинці, крім людини (якщо він є). Прописуються деталі і контекстуальні аспекти зображення. На цьому зображенні - хребетна тварина, ссавець, бичача морда тощо (рис.14).

Рис.14. Розпізнавання деталей об'єктів на фотографії

Вкладка Web Entities (Веб-об'єкти) - з'являються слова з інтернету, які безпосередньо пов'язані з картинкою (рис.15).

Рис. 15. Підбір популярних інтернет-слів, якими можна описати фотографію

Вкладка Properties (Властивості) - відображаються основні кольори, які присутні на картинці та виявлені об'єкти, окрім людини (рис.16).

Рис.16. Визначення домінуючих кольорів

Вкладка Safe Search (Безпечний пошук) показує, наскільки зображення безпечно для перегляду, чи немає на ньому чогось забороненого (елементи порнографії, жорстокості, містифікації і расизму) (рис.17).

Рис. 17. Визначення безпечності фотографії для перегляду

Сервіс визначення віку людини

Подібні сервіси застосовують широкий комплекс спостережень, що допоможуть швидко оцінити вік:

• Лобові зморшки людини зазвичай стають помітні з 20 років. У 30 років вони вже добре виражені (особливо у людей, які не стежать особливо за собою). До 50-ти років зморшки на лобі стають дуже вираженими.
• Після 35 років з'являються невеликі складки в кутах рота. У 50 стають дуже вираженими.
• Зморшки під очима з'являються після 30 років.
• Міжбровні зморшки стають помітними у віці 50-55 років.
• Носогубні складки стають яскраво вираженими в 40-45 років тощо.

How-Old.net

Сервіс від Microsoft, де втілено новий алгоритм роботи з фотографіями. Користувач завантажує фотографію, сервіс її аналізує і протягом пари секунд надає результат: поруч з особою людини зазначається вік (рис 18).

Рис. 18. Визначення віку осіб на фотографії

• Якість фотографії: чим вище, тим точніше буде визначено вік.
• Колір. Кольорова фотографія показує кращі результати: вік визначається точніше. Хоча, якщо фото чорно-біле в хорошій якості - то сервіс працює досить добре.
• Фото, що відредаговані в Adobe Photoshop (і інших редакторах) можуть визначатися неправильно.
• Фото ілюстрованих персонажів не дуже добре обробляються: сервіс не може визначити вік (рис. 19).

Рис. 19. Розпізнавання віку ілюстрованих персонажів

Pictriev

Сервіс спроможний визначити стать, вік і схожість до відомих людей (Рис.20). Цей сервіс більш примхливий до якості фото: потрібні тільки якісні фотографії, на яких чітко видно обличчя.

Рис. 20 Результат розпізнавання особи

Інші сервіси комп'ютерного зору

• ImageNet. Велика візуальна база даних, що призначена для використання в нейронних мережах для розпізнавання візуальних об'єктів.
• What-Dog.net. Сервіс від Microsoft, що вміє визначати породу собак по фотографії.
• Люди, яких не існує. Генерація обличь людей.
• Коти, яких не існує. Генерація портретів котів.