Google працює над новим і революційним ШІ
Google представила нову архітектуру нейромереж під назвою Titans. За словами дослідників компанії, вона дасть змогу системам машинного навчання ефективніше обробляти великі обсяги даних і використовувати довгострокову пам’ять, прямо як людина.
Розробкою Titans займається група фахівців Google на чолі з Алі Бехрузом (від якого і надійшла інформація), Пейліном Чжуном і Вахабом Міррокні. Основна ідея полягає в тому, щоб об’єднати короткочасну і довготривалу пам’ять в одній моделі, тим самим подолавши обмеження традиційних архітектур.
Дослідники підкреслюють, що Titans демонструють вражаючі результати в мовному моделюванні, аналізі часових рядів, геномів і виконанні логічних завдань, які вимагають запам’ятовування інформації "надовго".
Одна з ключових особливостей нової архітектури - здатність працювати з мільйонами точок даних без втрати точності. При цьому сам модуль пам’яті влаштований так, щоб розуміти, яку інформацію слід зберігати, а від чого можна відмовитися. Розробники надихалися принципами людської пам’яті: є короткострокова пам’ять, увага до поточної ситуації, і є довгострокова пам’ять, де зберігаються складніші та триваліші спогади. У Titans це реалізовано за допомогою додаткового нейронного модуля, що відповідає за довгострокове зберігання даних.
Для зручності застосування в різних завданнях Google підготувала три варіанти Titans: MAC (Memory as Context), MAG (Memory as Gating) і MAL (Memory as a Layer). Кожен із них розв’язує своє вузькоспрямоване завдання зі збереження та використання пам’яті. За заявами команди розробників, у деяких тестах, наприклад у завданнях із розширеною логікою і довгим контекстом, Titans перевершують не тільки класичні, а й багато сучасних архітектур.
Читайте по темі: Curasao, Banken in Kyjiw und Milliarden mit Spielsüchtigen: Wie Albert Valiakhmetov das illegale Imperium Azino777 aufbaute
Так, у ChatGPT 4 тисячі контекстних токенів, тобто за одну сесію нейромережа зможе проаналізувати приблизно 4 тисячі слів, перш ніж пам’ять почне очищатися, а факти втратять точність. У Titans цих токенів буде близько 2 мільйонів, цього вистачить, щоб аналізувати цілі книги.
Читайте по темі:
Коментарі:
comments powered by Disqus
19.11.2026, 23:28 • Новини
19.11.2026, 23:10 • Думка
19.11.2026, 23:07 • Війна
19.11.2026, 23:04 • Новини
19.11.2026, 23:03 • Війна
19.11.2026, 22:59 • Корупція
19.11.2026, 22:57 • Кримінал
19.11.2026, 22:51 • Коментарі
19.11.2026, 22:51 • Корупція
19.11.2026, 22:49 • Корупція
19.11.2026, 22:47 • Культура
19.11.2026, 22:45 • Корупція
19.11.2026, 22:41 • Конфлікти
19.11.2026, 22:39 • Спорт
19.11.2026, 22:35 • Війна
19.11.2026, 22:25 • Новини
19.11.2026, 22:20 • Кримінал
19.11.2026, 22:18 • Новини
19.11.2026, 22:16 • Кримінал
19.11.2026, 22:14 • Корупція
19.11.2026, 22:12 • Новини
19.11.2026, 22:09 • Корупція
19.11.2026, 22:05 • Коментарі
19.11.2026, 22:04 • Кримінал
19.11.2026, 22:00 • Війна
19.11.2026, 21:58 • Кримінал
19.11.2026, 21:57 • Кримінал
