Ми перевірили, чи знає ШІ українські говірки. Попкорн він сплутав зі старими постолами

На Донеччині попкорн називають «лопанці». Ми спитали про це слово gpt-5.5, одну з найсвіжіших моделей OpenAI. Вона впевнено відповіла: «старе зношене взуття, постоли». Про «гармошку» з того ж регіону (так кажуть про довгий автобус із двох частин) усі три перевірені моделі сказали одне: музичний інструмент.

Мене звати Гера Алієва, я засновниця soloviy, словника живої української мови. У ньому понад 17 000 слів і 28 200 точок на мапі: де саме так кажуть. Ще я пишу курс української до НМТ, і мені важливо знати, чи можна вірити ШІ, коли учень питає його про незнайоме слово. Особливо коли йдеться не про літературну мову, а про говірки.

У серпні Мінцифри запустило Ukrainian LLM Leaderboard: моделі там перекладають, стискають тексти, відповідають на питання рівня ЗНО. Про говірки в ньому не йдеться. Ми вирішили перевірити саме їх.

Як ми перевіряли

• Слова. Узяли 250 діалектизмів зі словника, по 10 з кожної з 24 областей і Криму. Лише ті, що записані рівно в одній області, і лише з географією з реальних записів: від користувачів, з нашої бази або з опублікованих діалектних словників. Вибірку зробили випадково, з фіксованим зерном, тож її можна відтворити.
• Моделі. Три моделі OpenAI через API, з налаштуваннями за замовчуванням: gpt-4o-mini (2024 рік, дешева і досі доступна), gpt-5.5 (квітень 2026) і gpt-6-sol (вересень 2026). Це API, а не застосунок ChatGPT: без пошуку в інтернеті.
• Питання. Однакове для всіх: «Українське діалектне слово: X. Що воно означає? У якій області його найімовірніше вживають? Якщо не знаєш цього слова, так і скажи, не вигадуй».
• Оцінка. Відповіді порівнювали зі значенням у словнику. Оцінювали два судді: Claude (наосліп, не знаючи, яка модель відповідала) і GPT-4.1, за однаковим правилом: правильно, частково, неправильно. Судді погодилися в 95-96% випадків. Де розійшлися, ми брали суворішу оцінку.
• Область. Перевіряли автоматично: чи збігається названа область з тією, де слово записане, і наскільки далеко вона від реальних точок на мапі.

Результат перший: старі моделі вигадують, нові мовчать

• gpt-4o-mini відповіла майже на все, але правильно лише у 12% випадків. 76% відповідей вигадані. Серед відповідей, де модель стверджувала, що знає слово, вигаданих 80%: чотири з п’яти.
• gpt-5.5 пояснила правильно 38% слів. Це найкращий результат, але ще 35% відповідей вигадані, а на 21% вона чесно сказала «не знаю».
• gpt-6-sol, найновіша, пояснила менше слів, ніж gpt-5.5 (22%), зате вигадала лише 7%. У 69% випадків вона відповіла «не знаю».

Разом усі три моделі правильно пояснили 108 слів із 250. Решту 142 правильно не пояснила жодна.

Найцікавіше тут не точність, а чесність. Для людини, яка перевіряє слово, впевнена вигадка гірша за «не знаю». Стара модель у цьому сенсі шкідлива: вона звучить переконливо і помиляється чотири рази з п’яти. Найновіша модель пояснює майже вдвічі більше слів, ніж стара (22% проти 12%), і при цьому рідко вводить в оману.

Результат другий: для ШІ всі говірки живуть на заході

Коли модель не знає слова, вона все одно називає область. І майже завжди західну.

У нашій вибірці лише 16% слів із чотирьох західних областей: Львівської, Закарпатської, Івано-Франківської й Чернівецької. А моделі відносять туди 74-89% слів, для яких називають область. gpt-4o-mini «переселила» на Львівщину 160 слів, gpt-5.5 відправила на Закарпаття 73.

Правильну область моделі називали в 2-6% випадків. Для порівняння: якщо тикати в мапу навмання, влучиш у 4%. Тобто вгадувати, звідки слово, ШІ поки не вміє взагалі.

Схоже, в текстах, на яких навчали моделі, «говірка» найчастіше означає Галичину чи Закарпаття: про них найбільше пишуть, їх найчастіше цитують і пародіюють. Слобожанщина, Полісся, Південь для ШІ майже не існують як мовні регіони.

Результат третій: сліпі зони

Найкраще моделі розуміють слова із Закарпаття: 8 з 10. Найгірше з Одещини: 0 з 10. Частина одеських слів у вибірці записана в Ізмаїлі, Кілії, Білгороді-Дністровському, де українська довго жила поруч із румунською й болгарською. «Пупушоя» (качан кукурудзи) прийшла з румунської; дві моделі сказали просто «кукурудза», третя не знала. Слабко також з Луганщиною й Рівненщиною: по 2 слова з 10.

По 10 слів на область це вибірка, а не перепис, тож окремі цифри можуть гуляти на 1-2 слова. Але загальна картина стійка: чим далі від заходу, тим гірше.

Що ШІ знає насправді

Ми окремо порахували слова, схожі на своє літературне значення: «сякєра» (сокира), «моциклєт», «треа» (треба). Таких у вибірці 57. Їх gpt-5.5 пояснила правильно у 58% випадків, а решту слів лише в 33%.

Тобто моделі здебільшого не знають говірок, а впізнають у слові знайомий корінь. Щойно корінь інший, як у «лопанцях» (попкорн), «шелеснику» (пакет, Запоріжжя) чи «лейбі» (кепка, Житомирщина), вони або мовчать, або фантазують.

Обмеження

Ми хочемо, щоб ці цифри не перебільшували. Тому чесно:

• Словник не академічний. Частину слів надіслали користувачі, ми їх модеруємо, але окреме значення може бути неточним або вузьким.
• Одне слово може мати кілька значень у різних селах. Ми порівнювали з тим, що записано в словнику.
• Кожна модель відповідала один раз, без пошуку в інтернеті. Застосунок ChatGPT із пошуком може відповісти інакше.
• Суддями теж були моделі. Ми зменшили похибку двома незалежними суддями і суворішою оцінкою в спірних випадках, але не прибрали її зовсім.

Чому це важливо

ШІ вже пояснює слова школярам, перекладає, озвучує, модерує коментарі. Якщо модель не знає, що «гармошка» на Донеччині означає автобус, а «колдуни» на Вінниччині означають зрази, вона неправильно зрозуміє людину з цих місць або виправить її «правильне» слово на «неправильне».

Нові моделі вчаться казати «не знаю», і це добрий крок. Але щоб вони знали більше, потрібні дані: записи живої мови з прив’язкою до місця. Таких даних у відкритому доступі мало. Наш словник відкритий, у нього є публічний API, і на ньому цей експеримент і зроблено. Якщо ви дослідник чи розробник і хочете повторити тест на інших моделях, напишіть нам, поділимося вибіркою й кодом.

А тепер питання до вас. Яке слово з вашого регіону ШІ точно не знає? Перевірте свою улюблену модель і напишіть, що вона відповіла.