Український бізнес дуже хоче робити ШІ. Поки не зовсім розуміє, як саме цей ШІ допоможе і що конкретно можна з ним зробити, але гайп на ринку цілком реальний. Ми в Sense Bank стараємось зберегти холодну голову і впроваджувати ШІ там, де він доречний. Як саме, розповідаємо далі.
Людям сподобався ChatGPT, тому вони будуть намагатись його використовувати зокрема і для роботи. Що, своєю чергою, несе ризики витоку конфіденційної інформації. Особливо, якщо ти – банк, у якого ще більше регуляцій та вимог, ніж у звичайного бізнесу.
Якщо заборонити ChatGPT зовсім, користувачі шукатимуть лазівки і все ще “виноситимуть” дані за межі нашого контролю. Але у нас може бути “свій чат джіпіті вдома”, який дозволить на порядок менше хвилюватися через ризики витоку та, як бонус – гнучкіше підлаштовувати його під наші потреби. Так з’явився проєкт, розроблений спеціалістами Sense Bank, For Your Eyes Only.
В пошуку альтернативи
Початковий план був простий і надійний як швейцарський годинник: запускаємо середовище для локального розгортання мовних моделей Ollama, потім чіпляємо до нього вебінтерфейс Open WebUI та віддаємо користувачам, щоб вони могли користуватись цим замість ChatGPT та інших LLM-інструментів.
Жодних “trust me bro” підходів до приватності, все під контролем: всередині мережевого периметра банку, з логуванням і контролем доступу.
Крім того, коли ми тільки починали проєкт, якраз вийшла у відкритий доступ модель Gemma 3 від Google, яка показала себе найкращою з загальнодоступних в плані розуміння української, що для нас як державного банку було ключовим критерієм.
Згодом відбулися певні зміни. У нас з’явилась нова система чатів з клієнтами (її назву не будемо розголошувати з міркувань безпеки), яка підтримує інтеграцію з ШІ-інструментами. Ми вирішили з цим поекспериментувати. Нам сподобалось, операторам чату сподобалось теж. Тому ми пішли з цим в продакшн.
Як ШІ працює в державному банку
Для інтеграції системи чатів з Ollama нам знадобилось підняти між ними ще LiteLLM – цей сервіс приймає запити по OpenAI-сумісному API та перетворює їх на льоту на запити до API Ollama. Так, Open WebUI трохи залишився за бортом, але він ще не пройшов всю свою арку персонажа і на нього чекає повернення в нашу історію.
Завдяки цьому ми отримали цілий набір інструментів для операторів чату клієнтської підтримки. Тепер вони можуть за допомогою моделі Gemma 3 скоротити своє повідомлення, розширити його, перефразувати, перекласти англійською, змінити tone of voice та навіть сумаризувати діалог, що особливо корисно, якщо він довгий або чат передається від одного оператора іншому.
Втім, на етапі пілотування проєкту не обійшлося і без смішного. Коли оператор спробував перефразувати звичайне питання «яка у вас зарплата?», то замість відповіді на нього Gemma обурилась і почала розповідати, що вона, взагалі-то, велика мовна модель. І працює безплатно на невдячних шкіряних мішків.
На цьому ми не збираємось зупинятися. Попереду ще багато покращень, масштабування проєкту та розширення його функціоналу. Зокрема, ми працюємо над тим, щоб написати всередині Open WebUI пайплайн, який дозволить підставляти системний промпт та потенційно знання, залежно від того, який саме відділ працює з інструментом.
Наприклад, стиль відповіді оператора клієнтської підтримки та оператора внутрішнього service desk будуть різними, вже не кажучи про набори знань, якими їхні інструменти мають оперувати. Також це рішення дозволить нам оминути LiteLLM, оскільки Open WebUI має OpenAI-подібний API.
Як і будь-яка інша популярна технологія, ШІ вабить ілюзією універсального інструмента, яким і цвях можна забити й пиріг спекти. Ми не втомлюємось нагадувати собі та колегам, що у кожного інструмента є як переваги, так і обмеження. А кнопки “Зробити афігєнно” немає ні в кого, як би вас не намагались переконати у протилежному продавці зміїних олій.
Читайте також
