Чому ШІ досі погано рахує, але добре пише вірші

Сучасні великі мовні моделі (LLM) показують виражену асиметрію: вони здатні створювати складні поетичні форми та гнучкі метафори, але водночас роблять помилки навіть у простих обчисленнях і підрахунку символів. Це не пов'язано з браком навчальних даних, а випливає з фундаментальних особливостей архітектури трансформерів.

Ключову роль відіграє токенізація — процес розбиття тексту на фрагменти, які модель сприймає як атомарні одиниці. Наприклад, токенізатор OpenAI cl100k_base представляє слово "strawberry" не як десять літер, а як три блоки: "Str", "aw" та "berry". Через це модель не бачить окремих символів усередині токена, що унеможливлює точну відповідь на питання про кількість літер "r". Аналогічно числа можуть розбиватися на фрагменти, які втрачають позиційну структуру розрядів, тож будь-яка зміна форматування, як-от додавання коми, повністю збиває обчислення.

Другий бар'єр пов'язаний із теорією апроксимації. Нейромережі є безперервними інтерполяторами, які добре працюють із "гладкими" функціями. Творчі завдання, як-от написання віршів, підпадають під цю категорію, оскільки заміна слова синонімом не руйнує зміст. Натомість дискретна математика вимагає точності: помилка в одному розряді призводить до повністю неправильного результату, що створює для моделей складні розриви.

Третє обмеження — комунікаційне вузьке горло. Трансформери спроєктовані для максимально паралельних обчислень, але математичні алгоритми, як-от ділення, послідовні за своєю природою. Фіксована кількість шарів змушує модель виконувати всі кроки за один прохід, що знижує точність при збільшенні розрядності чисел.

Для подолання цих обмежень розробники використовують метод "ланцюжка думок" (Chain of Thought): модель розписує завдання покроково, що фактично розширює її обчислювальну глибину. Нові моделі, зокрема сімейство o1 від OpenAI, застосовують навчання з підкріпленням, щоб самостійно перевіряти кроки та виправляти помилки. Це дозволяє уникати типових промахів, хоча базовий принцип трансформерів залишається орієнтованим на ймовірнісну творчість, а не на сувору логіку обчислень.