Transkrypcja:

Izabela: Chyba każdy z nas jako konsument chciałby prostego i skutecznego procesu. Z tego powodu system RAG wychodzi naprzeciw branży e-commerce. O tym, czym jest, na czym polega i jak można wykorzystać RAG w biznesie powie Maciej Strzelczyk, który jest dzisiejszym gościem podcastu. Witam Ciebie Maćku. 

Maciej: Witam Cię. 

I: Zacznijmy od tego, czym właściwie jest RAG. Aby więcej o tym wiedzieć, zajrzałam do Internetu i przeczytałam, że RAG to technika łącząca wyszukiwanie informacji z generowaniem tekstu. Często pojawiają się takie słowa jak system, technika czy metoda. Czy mógłbyś zgłębić to pojęcie? 

M: RAG to w pewnym sensie framework. Jest to narzędzie codziennego użytku, uzupełniane o sprawdzoną wiedzę. Może uniknąć halucynacji, które pojawiają się przy rozmowie z czatem, botem lub innym rozwiązaniem, które nie korzysta z RAG-a. Plusem takiego rozwiązania jest fakt, że mamy czas, aby wcześniej zebrać informacje w pigułce. Mogą być przedstawione w formie dokumentu, wykresu, zdjęcia czy prezentacji. Głównie chodzi o przygotowanie danych we właściwy i konkretny sposób. Dzięki temu RAG będzie lepiej funkcjonował na konkretnych danych. Nie będzie tylko wcześnie wyuczonym botem, który może być w pewien sposób ograniczony lub mieć nieaktualne dane. RAG daje nam dodatkową kontrolę nad danymi i nad tym co w jaki sposób będzie później przedstawiane do użytkownika przy zadawanych pytaniach. 

I: Czyli wprowadzamy konkretne bazy danych a on korzysta wyłącznie z tych danych, które tam się znajdują. Czyli w stu procentach wyeliminujemy problem halucynacji? 

M: To wszystko zależy od zadawanych pytań. Jeżeli te pytania będą zadane w punkt i będą dotyczyć tego, co znajduje się w bazie RAG-owej, wtedy jest to możliwe. Możemy mieć pewność, że dane, które wprowadziliśmy będą tymi, które uzyskamy przy zadanych pytaniach. Jeśli jednak sformułujemy te pytania mniej precyzyjnie lub inaczej zbudujemy kontekst rozmowy, model może przestać sięgać do naszej bazy wiedzy RAG. Zamiast tego zacznie generować odpowiedzi w oparciu o swoje ogólne dane treningowe. W efekcie nadal nie otrzymamy w pełni dokładnych informacji, na których nam zależy. Mimo wszystko nie polegałbym na tych odpowiedziach w 100%. Powiedzmy na 99%, chyba że zastosujemy mechanizm dodatkowej weryfikacji.  

Świetnie sprawdza się tu rozwiązanie znane z systemów RAG. Pytamy czat np. o konkretną umowę, a dobrze skonfigurowany system nie tylko znajduje właściwy fragment, ale od razu podaje dokładne źródło i numer strony. 

W efekcie RAG działa jak znacznie inteligentniejsza wyszukiwarka. Zamiast szukać idealnych słów kluczowych, zadajemy pytanie po swojemu, a AI dzięki analizie kontekstu sam odnajduje odpowiedni dokument, przygotowuje odpowiedź i wskazuje źródło. Wystarczy w nie kliknąć, by od razu przejść do konkretnej strony z poszukiwaną treścią. 

I: Brzmi to bardzo interesująco. A gdybyśmy mieli porównać standardową wyszukiwarkę od tej wzbogaconej o RAG na przykładzie e-sklepu? 

M: Istnieją techniki zastosowania baz danych wzbogacone o różne dane, które następnie możemy w różny sposób segregować, układać po czym budować odpowiednie pytanie. W większości przypadków te pytania nie są aż tak złożone i skomplikowane. Zwykle są to pytania konkretnie wcześniej ustalone. Dla przykładu pytamy o nazwę produktu, w kontekście przeglądarki i sklepów, zapytanie trafia do bazy do odpowiednych, wcześniej zdefiniowanych kolumn. Finalnie mamy wąskie grupy danych, o które dopytujemy. W przypadku AI i architektury RAG sytuacja wygląda inaczej.  

Cały proces jest niezwykle dynamiczny i opiera się na odpowiednim przygotowaniu danych. W dużym skrócie sprowadza się to do zamiany informacji na wektory i późniejszym odpytywaniu tak stworzonej bazy wektorowej. Kluczowe jest więc nie tylko właściwe przygotowanie samych danych, ale też wybór odpowiednich technik i konfiguracji, którymi będziemy z nich korzystać. Istotą wykorzystania tych danych jest ich odpowiedni podział na porcje, które spowodują, że dane będą miały sens a nie zostaną zniszczone.  

Pracę z RAG-iem musimy zacząć od zadbania o jakość i formę danych wejściowych. Jest to kluczowe, aby silnik podczas tak zwanej iniekcji mógł je właściwie podzielić, przetworzyć na wektory, zaindeksować i zapisać w bazie wektorowej. To są właśnie dwa pierwsze etapy. Pierwszy z nich to odpowiednie przygotowanie danych – zadbanie o wyczerpujące opisy i dobrą strukturę katalogów. W przypadku zdjęć warto upewnić się, że każde z nich ma dokładny opis tekstowy. Aby przyspieszyć ten proces, możemy użyć dodatkowego modelu AI, który automatycznie opisze obraz. W efekcie system nie tylko szuka podstawowego opisu danego produktu, ale uwzględnia też jego tagi, atrybuty, wymiary czy sposób użycia. Już na tym etapie warto wzbogacić opisy o dodatkowy kontekst. Z czym produkt się komponuje, na jaką porę roku pasuje, do czego służy oraz jakie ma warianty czy wersje kolorystyczne. Zbiór takich informacji, połączony ze szczegółowym opisem zdjęć, tworzy pełną bazę wiedzy o danym produkcie, co jest kluczowe dla precyzyjnego wyszukiwania. 

Tak przygotowaną treść poddajemy procesowi iniekcji i dzielimy na mniejsze fragmenty. Odpowiednia konfiguracja tego etapu to lwia część sukcesu. Drugim krokiem jest samo odpytywanie RAG-a. Różni się ono od tradycyjnych wyszukiwarek sklepowych tym, że zapytanie użytkownika jest „w locie” przekształcane przez model na postać zrozumiałą dla bazy wektorowej. 

Jeśli do przygotowania danych w bazie użyjemy innego modelu lub metody niż do przetwarzania zapytań użytkownika, system po prostu nie zadziała. Oba te procesy muszą być ze sobą ściśle skorelowane i zaplanowane jako spójna całość. 

I: Czyli jeśli pytam o coś asystenta wzbogaconego o RAG, muszę spodziewać się, że na dalszym etapie, system również odpytuje wewnętrznie? 

M: Wszystko zależy od złożoności takiego bota lub czatu. Pod spodem bardziej złożonych systemów, takich jak ChatGPT, nie stoi jeden pojedynczy model. Dzieje się tam znacznie więcej. To cały ekosystem wyspecjalizowanych modeli, z których każdy realizuje konkretne zadanie. 

Niektóre odpowiadają za analizę intencji użytkownika, inne poprawiają lub doprecyzowują prompt, a jeszcze inne dbają o logiczne rozumowanie. Wszystko po to, aby intencja pytającego została idealnie zrozumiana przez kolejne moduły. Podobnie wygląda kwestia samej odpowiedzi. Zanim trafi ona do użytkownika, może przechodzić przez filtry weryfikujące jej poprawność. 

Kluczowym elementem są tu także zabezpieczenia i filtrowanie treści. Zapytanie wejściowe musi zostać odpowiednio przetworzone i sprawdzone, aby system nie dał się wyprowadzić w pole i nie wygenerował niepożądanej lub błędnej odpowiedzi. 

I: Przy dzisiejszych standardowych wyszukiwarkach sklepowych musimy wpisać bardzo konkretne słowa kluczowe, aby znaleźć dany produkt. Z czatem AI jest inaczej, możemy z nim po prostu rozmawiać, a on bez problemu wyłapuje cały kontekst naszej wypowiedzi. 

M: Kontekst to kluczowy element budowania czatu, o którym nie wolno zapominać. Pamiętajmy, że bazowo model językowy widzi tylko pojedyncze pytania. Gdybyśmy nie zadbali o historię konwersacji, dla AI każde kolejne zapytanie byłoby kompletnie oderwane od poprzedniego. 

Dopiero właściwe zarządzanie kontekstem sprawia, że LLM nie analizuje izolowanego zdania, ale całą dotychczasową rozmowę. Widzi ostatnie pytanie w ścisłym powiązaniu z tym, co padło wcześniej. Bez tego mechanizmu mielibyśmy jedynie prosty schemat „pytanie-odpowiedź”, pozbawiony jakiejkolwiek relacji i spójności. 

I: Jak w takim razie RAG zmieni sposób, w jaki klienci będą korzystać z asystentów AI podczas całego procesu zakupowego? 

M: Przede wszystkim klienci otrzymają dostęp do pewnych i sprawdzonych informacji. Odpowiedzi czatbota nie będą obarczone wysokim ryzykiem halucynacji, ponieważ zostaną oparte na rzetelnej bazie wiedzy sklepu z konkretnymi produktami, ich cenami, opisami i atrybutami. 

Co więcej, baza RAG może zostać wzbogacona o logiczne powiązania między produktami, np. zasady łączenia ubrań z katalogów modowych czy dedykowane instrukcje. Gdy klient zapyta: „Co mogłabym dobrać do tej sukienki, aby stworzyć pełną stylizację?”, system dopasuje spójne, komplementarne dodatki. 

Docelowo cały ten proces zostanie mocno zautomatyzowany. Rekomendacje wyświetlane w oknie czatu będą tworzyć gotowy zestaw. Klient jednym kliknięciem przeniesie całą listę produktów bezpośrednio do koszyka i przejdzie do finalizacji zamówienia. 

 

I: Czyli w praktyce całkowicie omijamy tradycyjne przeglądanie kart produktów. Wystarczy wejść na stronę sklepu, porozmawiać z asystentem AI i z poziomu konwersacji przejść prosto do koszyka i płatności. 

M: Samo przetwarzanie zapytania przebiega analogicznie, jak opisywaliśmy wcześniej. Każde pytanie, niezależnie od tematu, w pierwszej kolejności trafia na warstwę filtrów bezpieczeństwa. Oceniamy tam, czy treść nie jest wulgarna, niebezpieczna dla bazy lub czy nie dotyczy poufnych danych, np. dostępu do konta innego użytkownika. Wchodzimy tu bezpośrednio w kwestie RODO i ochrony prywatności. 

Gdy pytanie zostanie zweryfikowane i wyczyszczone, trafia do mechanizmów RAG. Jest dzielone i przekształcane według tej samej metody, którą zastosowaliśmy wcześniej do przygotowania bazy, te procesy muszą być ze sobą w 100% spójne. Następnie system skanuje bazę wektorową w poszukiwaniu odpowiednich informacji. 

Na tym etapie możemy precyzyjnie dostosowywać parametry np. zasięg i dokładność wyszukiwania. Pamiętajmy jednak o pewnym kompromisie. Im szerszy kontekst przeszukujemy, tym większe ryzyko, że model zacznie halucynować. Z drugiej strony, jeśli dane wsadowe zostały perfekcyjnie przygotowane i zaindeksowane, to nawet przy szerokim wyszukiwaniu poziom halucynacji pozostaje znikomy. 

W praktyce optymalizacja takich systemów opiera się na testach. Przygotowuje się stałą grupę pytań kontrolnych i po każdej zmianie konfiguracji sprawdza się oraz porównuje odpowiedzi. W ten sposób krok po kroku dostraja się cały framework i powiązane modele, minimalizując błędy. 

I: Wspomniałeś o kontach użytkowników. Wiele osób wyobraża sobie asystenta AI nie tylko jako doradcę modowego, ale też pomocnika w kwestiach obsługi klienta np. sprawdzania statusu reklamacji czy zwrotów po zalogowaniu. Czy RAG jest w stanie sięgnąć tak głęboko do danych konkretnego profilu? 

M: W teorii tak, ale w praktyce musimy tu niezwykle uważać na RODO i architekturę przechowywania danych.  Absolutnie nie można dopuścić do sytuacji, w której jeden użytkownik, zadając odpowiednie pytanie, uzyska wgląd w dane innego klienta. 

Wymagałoby to bardzo zaawansowanego filtrowania, precyzyjnej identyfikacji uprawnień i zupełnie innego podejścia do struktury bazy. Łączenie danych osobowych w jednej, ogólnej bazie RAG jest obarczone ogromnym ryzykiem. Wymagałoby to wdrożenia wielu specjalistycznych zabezpieczeń i dedykowanych warstw ochrony. Należy podchodzić do tego z dużą ostrożnością. 

I: A jak myślisz, czy technologia wykorzystująca RAG stanie się wkrótce standardem w e-commerce? 

M: Trudno jednoznacznie przewidzieć, jak reagować będą konsumenci. Wszystko zależy od tego, czy rozmowa z czatem, lub po prostu dyktowanie pytań do telefonu, okaże się na tyle wygodna, że ludzie chętnie zastąpią nią dotychczasowe metody. W teorii dostajemy kontakt z wirtualnym sprzedawcą, tyle że dysponującym nieporównywalnie większą wiedzą i zdolnością szybkiego doboru produktów. 

Żeby technologia oparta na RAG i modelach LLM stała się standardem w e-commerce, muszą zostać spełnione dwa kluczowe warunki. Pierwszy z nich dotyczy opłacalności wdrożenia. Koszt utrzymania modeli oraz infrastruktury nie może przekroczyć progu opłacalności dla właścicieli sklepów. Drugi warunek informuje o tym, że odpowiedzi muszą być trafne, bez irytujących halucynacji. Proces ma być szybki, wygodny i kończyć się np. komendą „Dodaj te produkty do koszyka”. 

Dziś klienci oczekują natychmiastowych rezultatów, które ułatwiają podejmowanie decyzji. Jeśli asystent AI dobrze dobierze stylizację, trafi z rozmiarem i zaoszczędzi czas użytkownika, ludzie zaczną naturalnie do tego rozwiązania wracać. 

I: Robiąc zakupy w sieci, sam korzystasz z takich rozwiązań? Gdy wchodzisz na stronę e-sklepu, Twoim pierwszym odruchem jest przetestowanie asystenta AI, czy jednak wybierasz tradycyjną wyszukiwarkę? 

M: Szczerze mówiąc, korzystam z AI przy zakupach już od jakiegoś czasu, ale na razie na poziomie ogólnych narzędzi, takich jak ChatGPT czy Copilot. Pytam je o rekomendacje produktów z najróżniejszych kategorii, od ubrań po elektronikę czy sprzęt rowerowy. 

Wyniki bywają jednak różne. Zwykły czat przeszukuje po prostu ogólnodostępny internet, przez co brakuje mu dostępu do zweryfikowanych danych. I to jest właśnie przewaga, którą daje nam RAG. Operuje na sprawdzonej, dedykowanej bazie wiedzy danego sklepu. 

Kolejnym krokiem będzie dla mnie przetestowanie dedykowanych asystentów RAG-owych bezpośrednio na stronach konkretnych e-sklepów. Chcę sprawdzić w praktyce, na ile trafnie polecają produkty. 

Z własnego doświadczenia widzę jednak, że AI mocno skraca czas poszukiwań. Pojawia się tu pewna wygoda, a nawet nawyk. Zamiast wpisywać każde zapytanie w Google i ręcznie porównywać dziesiątki stron, zdaje się na odpowiedź generowaną przez model. Jeżeli asystenci RAG dostarczą mi precyzyjne, pewne informacje, to z pewnością będę z tego rozwiązania korzystał. 

I: Mam bardzo podobnie. Ten inteligentny proces wyszukiwania rozwija się tak dynamicznie, że sami powoli oswajamy się z nowymi standardami, które niebawem zdominują e-commerce. 

M: Zdecydowanie tak. Wszystko wskazuje na to, że dokładnie w tym kierunku to zmierza. 

I: Dobrze Maćku. Bardzo Ci dziękuję za dzisiejszą rozmowę. Mam nadzieję, że zainspiruje właścicieli e-sklepów, którzy będą chcieli włączyć RAG-a do swojej działalności. Dziękuję Ci bardzo. 

M: Dziękuję również.