Wyszukiwanie obrazem – czym jest i jak z niego korzystać?

Wyszukiwanie obrazem (visual search) to technologia, która pozwala szukać informacji w internecie na podstawie zdjęć obiektów – własnych lub pobranych z sieci – zamiast ich opisu.

Jak to działa od strony technicznej? Algorytmy wyszukiwania obrazem opierają się bardzo mocno na możliwościach AI: głównie uczeniu maszynowym oraz tzw. widzeniu komputerowym, czyli computer vision.

Jest wiele platform i firm, które oferują swoim klientom możliwość wyszukiwania obrazem. Najwięksi giganci inwestują w to rozwiązanie, zdając sobie sprawę z potencjału, jaki ma ta technologia. Już w 2014 roku Pinterest wprowadził pierwszą funkcję wyszukiwania po obrazie. Aktualnie pozwala on używać aparatu w aplikacji do wyszukiwania inspiracji, rozpoznaje obrazy na zdjęciu i znajduje klientowi sklepy, w których może je kupić online.

Wyszukiwarki internetowe

Jednak najważniejszym graczem jeśli chodzi o visual search jest oczywiście, od 2017 roku, Google Lens. Narzędzie jest bardzo mocno zintegrowane z całym ekosystemem giganta z Mountain View – można z niego łatwo skorzystać albo z poziomu zwykłej wyszukiwarki, albo w aplikacji mobilnej. Nic dziwnego, że co miesiąc obsługuje ponad 20 miliardów obrazów, głównie tych widzianych obiektywem smartfona.

Google Lens ma dwie główne zalety. Po pierwsze dostęp do całego indeksu Google oraz bazy zdjęć w Google Grafika. A po drugie? Poza rozpoznawaniem obiektów aplikacja potrafi:

• przetłumaczyć tekst widoczny na zdjęciu;
• przekierować użytkownika od razu do sklepów, w których może kupić wyszukiwany przedmiot;
• połączyć obraz z tekstem – do zdjęcia można dopisać swoje instrukcje, na przykład spytać „co to za model?” albo poprosić, aby wyszukiwarka znalazła dany przedmiot w innym kolorze.

Co poza Google? Funkcje wyszukiwania obrazem znajdziesz także w wyszukiwarce Bing od Microsoftu – choć o wiele mniej popularna, oferuje podobne możliwości do Google Lens. Bardzo dobrze radzi sobie np. z wyszukiwaniem ofert w sklepach na podstawie zdjęć, a do tego – co ciekawe – jest zintegrowana z Windowsem 11. Można więc np. zrobić zrzut ekranu, wyciąć z niego interesujący fragment i od razu wyszukać go przy pomocy Bing Visual Search.

Smartfony

Jednak możliwości visual search można w pełni wykorzystać dopiero na smartfonach. Wyszukiwanie wizualne na Androidzie opiera się na Google Lens; poza tym, że jest dostępny w natywnej aplikacji Google, to na wielu urządzeniach można z niego korzystać bezpośrednio z poziomu galerii. Najdalej jednak – co też nie może dziwić – idą smartfony z serii Pixel, produkowane właśnie przez Google. Tam funkcje visual search są wbudowane od razu w aplikację aparatu, więc korzystanie z nich jest jeszcze prostsze.

Apple idzie nieco inną drogą. Na iPhone’ach z iOS 15 i nowszych znajdziemy funkcję Visual Look Up, która działa dla zdjęć w niemal wszystkich aplikacjach od Apple: w galerii, w Safari, ale też np. w iMessage – to duża zaleta. Jednak wyszukiwanie obrazem na smartfonach z logo nadgryzionego jabłka ma nieco bardziej ograniczone możliwości – sprowadza się głównie do rozpoznawania obiektów na zdjęciach, bez „komercyjnych” funkcji (na przykład rekomendacji ofert).

Branża fashion

Technologia wyszukiwania obrazem jest wręcz skrojona pod branżę modową. Nic dziwnego, że podobną funkcję wdrożyło w ostatnich latach przynajmniej kilka dużych e-commerce’ów.

Pierwszy był ASOS – w aplikacji mobilnej brytyjskiej marki dostępna jest opcja Style Match, która na podstawie obrazu potrafi nie tylko znaleźć w ofercie platformy podobne ubrania do tych, które są na zdjęciu, ale też skompletować całą stylizację z pasujących do siebie produktów. Niemal identyczne narzędzie – Shop the Look – oferuje też Amazon. Z kolei na polskim rynku najlepszym przykładem zastosowania visual search jest wyszukiwarka obrazem na stronie oraz w aplikacji CCC, gdzie z bardzo dobrą trafnością można szukać w ten sposób modeli butów (i nie tylko).

Google szacuje, że co najmniej 1/5 wszystkich zapytań w Google Lens ma intencję zakupową. Dla e-sklepów, zwłaszcza z branży modowej czy wnętrzarskiej, to zatem kolejna okazja, aby sprowadzić do siebie klientów – organicznie, bez płacenia za reklamy. Ale wymaga to dobrej optymalizacji.

Optymalizacja techniczna obrazów

Jeśli zależy Ci na ruchu z Google Lens i podobnych wyszukiwarek, musisz zacząć od optymalizacji samych zdjęć produktów.

Na co zwrócić uwagę?

Dane strukturalne (schema markup) dla obrazów i produktów

Znaczniki schema są nieocenionym narzędziem dla każdego specjalisty SEO, bo pozwalają bardzo dokładnie opisać, jaka treść znajduje się na stronie, przez co algorytmy lepiej radzą sobie z jej interpretacją. Przy optymalizacji stron produktowych pod wyszukiwarki obrazów najważniejsze są znaczniki z dwóch grup: ImageObject – które definiują właściwości samego zdjęcia – oraz Product, do opisu danej oferty.

Opis produktów w języku znaczników schema mógłby wyglądać tak:

Kontekst obrazu na stronie

Warto pamiętać, że wyszukiwarki obrazów nie analizują wyłącznie zdjęć. Aby prawidłowo dopasować grafikę do zapytania użytkownika, algorytmy biorą pod uwagę też tekst towarzyszący zdjęciu. Znaczenie mogą mieć:

• akapity poprzedzające i następujące po obrazie – jeśli piszesz o „butach trekkingowych na zimę”, a obok znajduje się zdjęcie obuwia z tej kategorii, algorytm powinien sam połączyć treść w logiczną całość;
• nagłówki – to właśnie one stanowią szkielet całej treści strony;
• listy i tabele – zwłaszcza te ze specyfikacją techniczną, które stanowią ważne źródło danych o produkcie.

Budowanie autorytetu wizualnego

Kolejna ważna kwestia: gdzie tylko możesz, publikuj autorskie zdjęcia. Modele visual search bez problemu rozpoznają grafiki, które są powielane przez kilkanaście innych stron – jeżeli też tak robisz, mocno zmniejszasz swoje szanse na pojawienie się w wynikach Google Lens. Nie zawsze jest to możliwe – jeśli prowadzisz sklep, część zdjęć produktów prawdopodobnie pochodzi od producenta. Wtedy skup się na ich jakości i zadbaj o całą resztę (opisy, atrybuty alt itd.).

Wykorzystanie platform zewnętrznych

Tak jak wspomnieliśmy, prekursorem visual search nie jest wcale Google, a Pinterest. Platofrma wciąż pozostaje dla wielu najlepszym miejscem do szukania inspiracji, także zakupowych. Coraz więcej sklepów, przede wszystkim z branży fashion, home decor, beauty czy DIY korzysta z tego, że Pinterest pozwala zbudować na platformie swój „katalog sprzedażowy”. Działa on na prostej zasadzie: sklep integruje swoją bazę danych z Pinterestem, a platforma codziennie pobiera z niego zdjęcia i opisy produktów, wraz z linkami. Gdy użytkownik na niego trafi – np. dzięki Pinterest Lens – zostanie przekierowany na stronę sklepu. Dla mniejszych e-sklepów, zwłaszcza tych, które mogą pochwalić się bardziej unikalną ofertą, może to być ciekawy kierunek rozwoju.

Zawsze warto też korzystać z Google Merchant Center. Platforma pozwala wgrać katalog produktów do systemu Google, a potem promować je bezpośrednio w wyszukiwarce, w Google Grafika, a nawet na YouTubie.

Wyszukiwanie obrazem znajduje zastosowanie w zasadzie w każdym biznesie, nie jest zarezerwowane wyłącznie do branży modowej. Pozwala użytkownikom w kilka sekund zidentyfikować nie tylko produkty, ale wszystko, co widzą wokół siebie – wystarczy zdjęcie.

Klientowi spodobało się danie udostępnione przez znajomego na Instagramie? Mógłby je odnaleźć właśnie w konkretnej restauracji. Konsumentowi podoba się okolica? Może wynająć lub kupić dom w pobliżu za pomocą wyszukiwania obrazem. Ktoś chce się dowiedzieć więcej o danym przedmiocie? Tutaj też zadziała wyszukiwanie obrazem, które może przekierować na konkretną stronę informacyjną.

Przyszłość wyszukiwania wizualnego zapowiada się jeszcze ciekawiej, głównie dzięki rozwojowi modeli AI, które pozwalają algorytmom computer vision lepiej radzić sobie z analizą właściwości obiektów. Cała branża visual intellgence, która w zeszłym roku była warta ok. 11 miliardów dolarów, do 2030 r. powinna urosnąć do… 32,2 milardów (wg Grand View Research). Dla firm, które chcą iść do przodu – nie tylko w e-commerce – inwestycja w optymalizację obrazów pod wyszukiwanie wizualne wydaje się być teraz jednym z lepszych pomysłów.