Co to jest ElevenLabs ElevenAI? Nowości z Summit NYC
Spis treści
- Co ElevenLabs zmienia w modelach głosowych?
- Dostrajanie modeli do Twojej firmy
- Interaction Engine, czyli kto mówi i kiedy
- Co nowego w ElevenAgents?
- Memory: agent pamięta klienta
- Routines: praca przed rozmową i po niej
- Co to jest ElevenAI i dla kogo?
- Co ElevenLabs zmienia dzięki partnerom, Marketplace i NVIDIA?
- Czego ElevenLabs nie napisało w ogłoszeniu z Summit NYC?
- Kto powinien sprawdzić ElevenAI, ElevenAgents i resztę nowości?
- Najczęstsze pytania
- Co buduje ElevenLabs i czym się zajmuje?
- Czy ElevenAI jest darmowe?
- Czy ElevenAI nagrywa rozmowy bez wiedzy uczestników?
- Co robi funkcja Memory (pamięć) w ElevenAgents?
Co to jest ElevenLabs ElevenAI? To nowa aplikacja ElevenLabs, która słucha rozmów zespołu, także spotkań na żywo, i zamienia je w notatki oraz listę zadań. Firma pokazała ją na konferencji ElevenLabs Summit NYC. Razem z nią pokazała pamięć klientów w agentach głosowych, automatyczne zadania po rozmowie i dostrajanie modeli do języka konkretnej firmy.
Najciekawszy dla Polski fragment ogłoszenia ElevenLabs zajmuje dwa zdania w akapicie o współpracy z NVIDIA. Jak czytamy w ogłoszeniu ElevenLabs, obie firmy będą pracować nad agentem głosowym dla państwowej platformy e-zdrowia w Polsce, czyli programem AI, który sam prowadzi rozmowę przez telefon. Agent ma działać na serwerach po stronie zamawiającego i umawiać wizyty pacjentom, którzy mają tylko telefon stacjonarny. Telefon na kablu i AI w jednej rozmowie.
Co ElevenLabs zmienia w modelach głosowych?
ElevenLabs zaczynało od głosu. Teraz firma buduje modele i narzędzia do każdej rozmowy człowieka z technologią. Na scenie Mati Staniszewski, szef i współzałożyciel ElevenLabs, zapowiedział zmiany w samych modelach.
Dostrajanie modeli do Twojej firmy
Każda branża ma własny słownik. ElevenLabs buduje więc modele zamiany mowy na tekst pod konkretne branże. Przykład z ogłoszenia: model medyczny odróżnia dwie podobnie brzmiące nazwy leków. Pomyłka byłaby groźna, bo jeden leczy gruźlicę, a drugi osłabia odporność. Model dla finansów jest w przygotowaniu.
Teraz ElevenLabs idzie krok dalej. W najbliższych miesiącach firma pomoże dostrajać wybrane otwarte modele językowe oraz własne modele głosowe do potrzeb jednej firmy. Dostrajanie (po angielsku fine-tuning) to douczanie gotowego modelu na Twoich danych. Chodzi o to, żeby model rzadziej przekręcał nazwy Twoich produktów i nie kazał klientom powtarzać tego samego. Otwarte modele to takie, które każdy może pobrać i uruchomić u siebie.
Jak to ma działać? Twoja firma przynosi dane z rozmów, które już prowadzą jej agenci. Wybiera miarę, na której jej zależy, na przykład zadowolenie klientów albo niezawodność. Niezawodność to na przykład sytuacja, w której agent warsztatu samochodowego za każdym razem poprawnie zapisuje numer rejestracyjny i termin wizyty. Badacze ElevenLabs pomagają dostrajać model na tej podstawie, a każda kolejna rozmowa daje nowy materiał.
Staniszewski: „Nie rozwiążemy problemu rozmowy człowieka z AI, jeśli nie uwzględnimy tego, co wyróżnia ludzi i firmy”. Dla Ciebie to sygnał, że Twoje zapisy rozmów z klientami (nagrania i transkrypcje) zaczynają mieć wartość dla samego modelu.
Co możesz zrobić już teraz:
- Zbierz słownik swojej branży: nazwy produktów, skróty i terminy, które klienci przekręcają najczęściej.
- Zastanów się, co ma się poprawić po wdrożeniu: czy klienci mają być zadowoleni, czy agent ma rzadziej się mylić. ElevenLabs każe to wybrać na starcie.
- Sprawdź, czy masz zgodę klientów na używanie zapisów rozmów do takich celów.
Interaction Engine, czyli kto mówi i kiedy
Interaction Engine to nowy system, który pilnuje rytmu rozmowy. Decyduje, kiedy agent ma się odezwać, a kiedy zamilknąć, bo klient wszedł mu w słowo. Wybiera też model językowy do każdej części rozmowy.
Tańszy model zajmuje się wstępnym rozpoznaniem sprawy, na przykład ustala, czy klient dzwoni z reklamacją, czy pyta o fakturę. Najmocniejszy model (w branży mówi się „frontier model”) wchodzi dopiero przy trudniejszych zadaniach. Dzięki temu Twoja firma zużywa mniej tokenów, czyli kawałków tekstu, za które płaci przy każdym zapytaniu do modelu.
Co nowego w ElevenAgents?
ElevenAgents to platforma do budowania agentów głosowych i czatowych. Firmy używają ich w sprzedaży, obsłudze klienta, rekrutacji i operacjach. Z platformy korzystają już między innymi Yahoo, Westgate i KPN.
Memory: agent pamięta klienta
Memory pozwoli agentowi rozpoznać powracającego, zalogowanego klienta i przypomnieć sobie, co mówił wcześniej. System CRM, czyli baza klientów firmy, dalej zostaje głównym źródłem danych. Memory zapisuje to, na co CRM nie ma rubryki: upodobania, ograniczenia, zbliżające się ważne wydarzenia w życiu klienta.
Przykład z ogłoszenia: abonent wspomniał, że przeprowadza się w marcu. Gdy dzwoni w kwietniu, agent sam pyta o przeniesienie usługi na nowy adres. Teraz Twoja firma. Klientka szkoły językowej mówi raz, że może rozmawiać tylko wieczorem, i agent przestaje dzwonić do niej rano.
Routines: praca przed rozmową i po niej
Większość roboty przy zgłoszeniu klienta dzieje się po odłożeniu słuchawki. Routines to nowa warstwa automatyzacji w ElevenAgents. Uruchamia zadania wieloetapowe przed rozmową, w trakcie i po niej, w narzędziach, których Twój zespół już używa.
Ogłoszenie podaje takie przykłady zadań, które Routines wykonuje za Ciebie:
- wstępna ocena osoby starającej się o kredyt hipoteczny i oddzwonienie po kilku minutach;
- przypomnienie pacjentom o wizycie i zaproponowanie zwolnionego terminu osobom z listy oczekujących;
- wysłanie raportu mailem, zapis w CRM albo rozpoczęcie połączenia.
W małej firmie oznacza to mniej przepisywania notatek z rozmów do arkusza. Agent robi to sam, a Ty dzwonisz tylko tam, gdzie trzeba człowieka.
Co to jest ElevenAI i dla kogo?
ElevenAI to aplikacja, którą Staniszewski pokazał przedpremierowo. Działa jak współpracownik AI w zespole firmowym.
Pod spodem pracuje Scribe v3, najdokładniejszy model ElevenLabs do zamiany mowy na tekst. Opisałem go szerzej w tekście o modelu Scribe v3. ElevenAI zapisuje to, co mu dyktujesz, robi notatki ze spotkań i po rozmowie wysyła każdemu uczestnikowi notatkę oraz jego zadania. Może też podpowiadać w trakcie rozmowy.
Notatki powstają za zgodą wszystkich uczestników. Aplikacja ma wbudowane powiadomienie i mechanizm zgody, żeby druga strona wiedziała, że ktoś ją nagrywa. Jeśli zastanawiasz się, co wolno wrzucać do takich narzędzi, zajrzyj do tekstu o tym, czy AI jest niebezpieczne.
Darmowy wczesny dostęp do ElevenAI ruszył w dniu ogłoszenia. Możesz nagrać poniedziałkową odprawę z zespołem i dostać listę ustaleń: kto dzwoni do hurtowni, kto wysyła ofertę klientowi. Po spotkaniu z klientem od razu masz notatkę do wysłania.
Co ElevenLabs zmienia dzięki partnerom, Marketplace i NVIDIA?
Sieć partnerów ElevenLabs liczy ponad 550 firm w 44 krajach, w tym Google Cloud, IBM, Deloitte, DXC i Genesys. Firma uruchomiła ElevenLabs Partner Program. Ma ułatwić wdrożenie agentów razem z doradcami, agencjami i integratorami, czyli firmami, które podłączają nowe narzędzia do Twoich systemów. Doradcy i agencje to często te same firmy, z którymi już współpracujesz i które znają Twój biznes.
Współpraca z NVIDIA ma trzy elementy:
- model językowy NVIDIA Nemotron 3.5 Super VL jest już dostępny w ElevenAgents;
- ElevenLabs uruchamia nowe serwery NVIDIA Vera Rubin, które pobierają 15 MW, czyli tyle prądu, ile wytwarza mała elektrownia;
- agent dla polskiej platformy e-zdrowia, o którym pisałem na początku.
ElevenLabs Marketplace to wybrany zestaw branżowych aplikacji i agentów, które partnerzy zbudowali na technologii ElevenLabs. Obejmuje zdrowie, finanse, ubezpieczenia, edukację i handel. Od przyszłego roku firmy zapłacą za tych agentów z budżetu, który już uzgodniły z ElevenLabs.
Czego ElevenLabs nie napisało w ogłoszeniu z Summit NYC?
Ogłoszenie ElevenLabs zostawia sporo pytań, które zadasz sobie od razu:
- Nie podaje cen ElevenAI po zakończeniu wczesnego dostępu ani tego, jak długo ten dostęp potrwa.
- Nie mówi, czy ElevenAI dobrze rozumie polskie spotkania.
- Nie wymienia, które otwarte modele językowe będzie można dostrajać, ani ile to kosztuje.
- Nie podaje dat dla Memory, Routines i Interaction Engine, firma opisuje je jako zapowiedzi.
- Nie mówi, kiedy dokładnie ruszy agent dla polskiej platformy e-zdrowia.
Uczciwie: na dziś nie wiem, jak ElevenAI, Memory i Routines zachowają się w polskiej firmie. Ogłoszenie tego nie sprawdza.
Kto powinien sprawdzić ElevenAI, ElevenAgents i resztę nowości?
Jeśli prowadzisz małą firmę, uczysz albo pracujesz w zespole, który żyje spotkaniami, zacznij od ElevenAI. Wczesny dostęp jest darmowy, więc ryzykujesz tylko czas. Przetestuj go na jednym spotkaniu wewnętrznym i sprawdź, czy notatka po polsku nadaje się do wysłania bez poprawek.
Jeśli obsługujesz dużo telefonów od klientów, przyglądaj się ElevenAgents z funkcjami Memory i Routines. Ogłoszenie nie podaje cen, więc zanim zaplanujesz budżet, poproś ElevenLabs o wycenę dla swojej firmy i liczby rozmów, które obsługujesz. Przed testami przeczytaj, jak bezpiecznie wrzucać dane do takich narzędzi.
Dostrajanie modeli i zakupy w Marketplace to na razie oferta dla części firm. Chodzi o te, które mają umowę z ElevenLabs i własne wdrożenia agentów. Jeśli Twoja firma jeszcze ich nie ma, wróć do tematu, gdy ElevenLabs poda ceny i daty w kolejnym ogłoszeniu.
Najczęstsze pytania
Co buduje ElevenLabs i czym się zajmuje?
ElevenLabs zaczynało od głosu. Teraz firma buduje modele i narzędzia do każdej rozmowy człowieka z technologią. Na swojej konferencji pokazała aplikację ElevenAI, czyli program, który słucha rozmów zespołu i zamienia je w notatki oraz listę zadań. Pokazała też pamięć klientów w agentach głosowych, automatyczne zadania po rozmowie i dostrajanie modeli do języka konkretnej firmy. ElevenAgents to jej platforma do budowania agentów głosowych i czatowych. Agent to program AI, który sam prowadzi rozmowę z klientem.
Czy ElevenAI jest darmowe?
Wczesny dostęp do ElevenAI jest darmowy i ruszył w dniu ogłoszenia. Dlatego ryzykujesz tylko czas. Ogłoszenie nie podaje jednak cen po zakończeniu wczesnego dostępu ani tego, jak długo ten dostęp potrwa. Przetestuj wczesny dostęp na jednym spotkaniu wewnętrznym i sprawdź, czy notatka po polsku nadaje się do wysłania bez poprawek.
Czy ElevenAI nagrywa rozmowy bez wiedzy uczestników?
Nie. Notatki powstają za zgodą wszystkich uczestników. Aplikacja ma wbudowane powiadomienie i mechanizm zgody, żeby druga strona wiedziała, że ktoś ją nagrywa. Po rozmowie ElevenAI wysyła każdemu uczestnikowi notatkę oraz jego zadania. Może też podpowiadać w trakcie rozmowy.
Co robi funkcja Memory (pamięć) w ElevenAgents?
Memory pozwoli agentowi rozpoznać powracającego, zalogowanego klienta i przypomnieć sobie, co mówił wcześniej. System CRM, czyli baza klientów firmy, dalej zostaje głównym źródłem danych. Memory zapisuje to, na co CRM nie ma rubryki: upodobania, ograniczenia, zbliżające się ważne wydarzenia w życiu klienta. Klient, który wspomniał o marcowej przeprowadzce, w kwietniu usłyszy pytanie o nowy adres.
Artykuł powstał w oparciu o: https://elevenlabs.io/blog/nyc-summit