Trénoval jsem chatbota AI na dokumentech mé společnosti za patnáct minut

Výraz "trénování AI" evokuje představy obrovských datových sad, klastrů GPU, odbornosti na strojové učení a výpočetního rozpočtu, který si mohou dovolit jen dobře financované výzkumné laboratoře. Toto vnímání, ačkoli přesné pro budování základních modelů od nuly, je hluboce zavádějící, pokud jde o vytvoření chatbota, který rozumí vaší specifické firmě. Rozlišení je důležité, protože brání tisícům společností implementovat řešení konverzační AI, která nejsou jen v jejich dosahu, ale lze ji nasadit za méně času, než trvá napsání programu jednání.

Trénování chatbota na vědomostech specifických pro společnost nevyžaduje trénování jazykového modelu od nuly. Vyžaduje poskytnutí stávajícího jazykového modelu kontextu, který potřebuje k přesnému odpovídání na otázky o vaší firmě. Model již ví, jak rozumět otázkám, konstruovat koherentní odpovědi a udržovat tok rozhovoru. Co mu chybí, je znalost vašich konkrétních produktů, zásad, postupů a terminologie. Poskytnutí těchto znalostí je záležitostí nahrávání dokumentů, nikoli spouštění tréninkových cyklů v tisících GPU. Proces je spíše podobný orientaci nového zaměstnance s složkou informací než jakékoli práci podobné výzkumu strojového učení.

API ChatBot na yeb.to činí tento proces explicitním a zjednodušeným. Nahrajte své dokumenty znalostí. Systém je zpracuje do prohledávatelné znalostní báze. Definujte případy použití, které popisují, co by měl chatbot být schopen dělat. Začněte rozhovory. Chatbot čerpá z nahraných znalostí, aby odpovídal na otázky, poskytoval informace a vedl uživatele procesy, které jsou specifické pro vaši firmu. Patnáct minut od prvního nahrání k první užitečné konverzaci není marketingový optimismus. Je to skutečný časový plán, když jsou dokumenty znalostí již zorganizovány a případy použití jsou jasné.

Co se počítá jako znalost a jak nahrávání funguje

Nahrávání znalostí přijímá řadu formátů dokumentů, které pokrývají způsoby, jak většina společností ukládá své institucionální znalosti. PDF produktových příruček, dokumenty Word obsahující příručky zásad, textové soubory se kompilacemi nejčastějších otázek, soubory Markdown s technickou dokumentací a exporty prostého textu z wiki systémů slouží jako platné zdroje znalostí. Systém tyto dokumenty příjímá, rozděluje je na sémanticky koherentní bloky a indexuje je způsobem, který umožňuje chatbotovi získat relevantní pasáže při odpovídání na otázky.

Kvalita odpovědí chatbota přímo závisí na kvalitě a úplnosti nahraných znalostí. Příručka produktu, která podrobně popisuje funkce, případy použití, omezení a kroky k řešení problémů, vytváří chatbota, který dokáže odpovědět na podrobné otázky o produktu s přesností. Řídký dokument, který pokrývá pouze základní funkce, vytváří chatbota, který může odpovědět na základní otázky, ale odkloní se od čehokoli konkrétnějšího. Toto není omezení technologie, ale odraz základního principu, že chatbot ví, co mu bylo řečeno, a řeknutí více mu umožňuje lepší výsledky.

Proces nahrávání automaticky zvládá formátování dokumentů, odstraňuje irelevantní informace o rozložení, zatímco zachovává sémantickou strukturu, která má význam pro porozumění. Nadpisy se stávají hranicemi sekcí. Odrážky se stávají vyčíslitelnými položkami. Tabulky udržují své vztahy řádek-sloupec. Cílem je extrahovat obsah informací z dokumentu, přičemž se zbavit prezentační vrstvy, protože chatbot musí pochopit, co dokument říká, nikoli jaký font používá. Toto automatizované zpracování eliminuje potřebu ruční přípravy dokumentů, což znamená, že stávající dokumenty společnosti mohou být nahrány tak, jak jsou, bez přeformátování.

Více dokumentů lze nahrát a vytvořit tak komplexní znalostní bázi, která zahrnuje různé aspekty podniku. Kompletní nastavení může zahrnovat katalog produktů, příručku péče o zákazníky, technické nejčastější otázky, průvodce cenami a dokument přehledu společnosti. Každý dokument přispívá k jinému aspektu znalostí chatbota a systém je bezproblémově integruje tak, aby jeden rozhovor mohl čerpat informace z více zdrojů. Zákazník ptající se na funkci produktu a následně se ptající na ceny obdrží koherentní odpovědi na obě otázky, ačkoli informace pocházejí z různých nahraných dokumentů.

Případy použití a učení chatbota, co by měl dělat

Nahrávání znalostí chatbotovi říká, co ví. Definování případů použití mu říká, co by měl s těmito znalostmi dělat. Případ použití je popis konverzačního scénáře, na který by měl být chatbot připraven reagovat: odpovídání na otázky o produktech, vedení uživatelů procesem nastavení, kvalifikace prodejních potenciálních zákazníků, zpracování žádostí o podporu nebo jakýkoli jiný konverzační cíl, který je v souladu s potřebami firmy.

Případy použití slouží jako pokyny chování, které určují, jak chatbot aplikuje své znalosti. Bez definovaných případů použití chatbot reaguje na otázky získáním relevantních znalostí a jejich prezentací. S definovanými případy použití chatbot rozumí nejen tomu, jaké informace poskytnout, ale také tomu, jak strukturovat konverzaci kolem těchto informací. Případ použití podpory by mohl chatbota instruovat, aby si vyjasnilo otázky před poskytnutím řešení. Případ použití kvalifikace prodeje by jej mohl instruovat, aby sbíral informace o potřebách potenciálního zákazníka, než doporučí produkty. Případ použití obecné nejčastější otázky by jej mohl instruovat, aby poskytoval přímé odpovědi bez rozsáhlého úvodu.

Proces definování případu použití nevyžaduje programování nebo odbornost na prompt engineering. Každý případ použití je popsán v přirozeném jazyce: jaký typ otázek nebo žádostí by mohl mít uživatel, jaké informace by měl chatbot poskytnout, jaký tón by měl používat a jaké akce by měl navrhnout. Systém tyto popisy překládá na parametry chování, které vedou odpovědi chatbota. Netechnický vlastník firmy může definovat případy použití stejně efektivně jako vývojář, protože definice jsou vyjádřeny v přirozeném jazyce, který používá sám chatbot.

Počet a specifičnost případů použití by měly odrážet zamýšlený rozsah chatbota. Chatbot pro podporu zákazníků by mohl potřebovat deset až patnáct případů použití pokrývajících různé kategorie podpory. Jednoduchý chatbot nejčastějších otázek by mohl potřebovat tři až čtyři. Chatbot pro kvalifikaci prodeje by mohl potřebovat pět až sedm případů použití pokrývajících různé produktové řady nebo segmenty zákazníků. Zahájení s menším počtem širších případů použití a jejich zdokonalování na základě skutečných vzorů rozhovorů je praktický přístup, který rychle poskytuje dobré výsledky a postupem času se zlepšuje, když data o používání odhalí, které scénáře vyžadují podrobnější zpracování.

První rozhovor a co chatbot opravdu ví

Moment pravdy přichází, když je položena první skutečná otázka. Nikoli testovací otázka, na kterou vývojář již zná odpověď, ale skutečná otázka od někoho, kdo očekává užitečnou odpověď. Toto je místo, kde kvalita znalostní báze a jasnost případů použití buď splácí, nebo odhalují mezery. Dobře připravený chatbot zvládne první otázku sebejistě, poskytuje přesnou odpověď vyvozenou z nahraných znalostí a prezentovanou tónem konzistentním s definovanými případy použití. Špatně připravený chatbot se potácí, poskytuje generické odpovědi, které by se mohly vztahovat na jakoukoli firmu, nebo se vyhýbá variacím na "prosím kontaktujte podporu pro více informací".

Prvních několik dnů živého provozu je nejcennějších pro zlepšení efektivnosti chatbota. Rozhovory odhalují otázky, které si skuteční uživatelé skutečně kladou, které se často výrazně liší od otázek, které firma očekávala. Chatbot produktu může přijímat více otázek o cenách a dostupnosti než o funkcích, což naznačuje, že znalostní báze potřebuje silnější dokumentaci cen. Chatbot podpory může přijímat otázky formulované způsoby, které definice případu použití neanticipovaly, což naznačuje vylepšení konverzačních pokynů.

Iterace znalostní báze a případů použití na základě dat skutečných rozhovorů je klíčem k rychlému zlepšení. Každý rozhovor, který vytváří neuspokojivou odpověď, identifikuje specifickou mezeru: buď znalostní báze postrádá relevantní informace, nebo definice případu použití nevedou chatbota k aplikaci dostupných informací správně. Řešení těchto mezer je inkrementální práce, přidání dokumentu zde, zdokonalení případu použití tam, a každé zlepšení prospívá všem budoucím rozhovorům, které se dotýkají stejného tématu. Chatbot se s každým kolem vylepšení smysluplně zlepšuje a tempo zlepšení je nejrychlejší v prvních několika týdnech, kdy jsou odstraňovány nejčastější mezery.

Křivka učení pro správce chatbota je stejně rychlá. Na konci prvního týdne osoba spravující chatbota rozumí tomu, jaký druh znalostí vytváří nejlepší odpovědi, jak specifické definice případů použití musí být a které konverzační vzory vyžadují pozornost. Tato provozní obeznámenost, získaná přímou zkušeností spíše než čtením dokumentace, je tím, co chatbot transformuje z nástroje pro nastavení a zapomenutí v nepřetržitě se zlepšující aktivum, které s každým týdnem nabývá na hodnotě pro firmu.

Není potřeba odbornost na ML a co to skutečně znamená

Tvrzení, že není potřeba odbornost na strojové učení, si zaslouží vysvětlení, protože zní jako marketingový jazyk a je důležité vysvětlit, proč je to skutečně pravda. API ChatBot interně zvládá všechny technicky složité operace: dělení dokumentů, vektorové vkládání, sémantické vyhledávání, správu okna kontextu, konstruování podnětu a generování odpovědí. Toto jsou operace, které vyžadují znalosti ML k implementaci od nuly. Nevyžadují znalosti ML k používání přes API, které je abstrahuje za jednoduchým rozhraním.

Dovednosti potřebné k nastavení a údržbě chatbota prostřednictvím tohoto systému jsou zcela netechnické: schopnost organizovat znalosti společnosti do dokumentů, schopnost popisovat konverzační scénáře v přirozeném jazyce a schopnost číst protokoly rozhovorů a identifikovat, kde odpovědi selhaly. Jedná se o dovednosti, kterými disponuje kterýkoli obchodní manažer, vedoucí péče o zákazníky nebo odborník na marketing. Technickou infrastrukturu zvládá API a obchodní inteligenci zvládají lidé, kteří porozumívají podnikání.

Toto rozdělení odpovědnosti je to, co činí patnáctiminutové nasazení realistickým spíše než aspiračním. Technicky tvrdé části jsou již vyřešeny a běží jako služba. Specifické pro firmu části, které může poskytnout jen firma, je jednoduché poskytnout prostřednictvím nahrávání dokumentů a definic případů použití v přirozeném jazyce. Průsečík těchto dvou vstupů vytváří chatbota, který kombinuje konverzační schopnosti velkého jazykového modelu se specifickými znalostmi a chováním firmy, aniž by kdokoli zúčastněný musel pochopit, jak jazykový model nebo systém získávání znalostí fungují interně.

Výsledkem je chatbot, který zná vaše produkty, mluví tónem vaší značky, zvládá scénáře, které definujete, a zlepšuje se, jak mu poskytujete lepší znalosti a jasnější pokyny. Celá pipeline ML běží za kulisami, neviditelná pro obchodního uživatele, což je přesně to, jak by to mělo fungovat. Firma nemusí rozumět transformerům a vkládáním více, než řidič musí rozumět vstřikování paliva a inženýrství převodu. Vozidlo funguje. Cíl je dosažen. Detaily motoru jsou obavy někoho jiného.