Компанія NVIDIA представила DGX Station, що дозволяє користувачам розробляти та запускати моделі штучного інтелекту (ШІ) з кількістю параметрів до 1 трильйона локально на Windows. Очікується, що DGX Station з'явиться в четвертому кварталі цього року, що дозволить компаніям створювати та розгортати власні системи ШІ без надсилання даних у зовнішню хмару, фактично надаючи підприємствам власний суперкомп'ютер для ШІ розміром з робоче місце.
У короткій історії впровадження ШІ в бізнесі завдання навчання, тонкого настроювання, великомасштабного виведення та багато іншого покладалися на потужні системи ШІ, що працюють на Linux. Проте бізнес здебільшого не використовує Linux. Їхні інструменти підвищення продуктивності, програми для проєктування та розробки – все це працює на Windows.
Таким чином, розробка інструментів ШІ для внутрішнього використання потребує додаткового кроку: забезпечення доступу до даних для ШІ систем, що працюють на Linux. За допомогою DGX Station для Windows NVIDIA усуває цю складність і спрощує створення, запуск та підключення агентів ШІ до наявних програм та інфраструктури на платформі Windows.
Що таке DGX Station?
DGX Station працює на базі суперчіпа NVIDIA GB300 Grace Blackwell Ultra, який підключається до 72-ядерного процесора NVIDIA Grace. Система може похвалитися 748 Гб когерентної пам'яті із продуктивністю до 20 петафлопс у режимі FP4.
DGX Station оснащена мережевою картою NVIDIA ConnectX-8 SuperNIC, яка підтримує мережне з'єднання 800 Гбіт/с, оптимізоване для гіпермасштабних обчислювальних навантажень ШІ. ConnectX-8 SuperNIC може бути розгорнута для забезпечення надзвичайно швидких мереж передачі даних для робочих навантажень ШІ або для з'єднання кількох станцій DGX, забезпечуючи ще потужніші рішення.
"У міру того, як підприємства масштабують агентів ШІ у своїх організаціях, їм необхідна інфраструктура ШІ, яка може безпосередньо підключатися до додатків і робочих процесів, що забезпечують роботу їхнього бізнесу", - заявив Кріс Марріотт, віцепрезидент з корпоративних платформ NVIDIA, у пресрелізі.
"DGX Station надає ШІ суперкомп'ютерного класу безпосередньо в Windows, де мільйони людей вже щодня проєктують, розробляють, досліджують і створюють", - додав Марріотт. DGX Station, розроблена у співпраці з Microsoft, є виділеною інфраструктурою для запуску моделей ШІ з кількістю параметрів до 1 трильйона. При необхідності DGX Station може бути налаштована для одночасного запуску сотень агентів ШІ в масштабі.
Агенти ШІ, що працюють цілодобово
Хоча наш досвід роботи з агентами ШІ може обмежуватися відповідями на наші запити, використання ШІ в бізнесі відбувається інакше. Корпоративний ШІ працює постійно, підключений до додатків та робочих процесів, продовжуючи міркувати та реагувати в режимі реального часу.
За наявності доступу до великих обсягів даних автономні агенти повинні розроблятися та розгортатися в безпечному середовищі виконання, яке визначає їхні дії, використовувані інструменти та роль у більшій системі.
DGX покликана надати компаніям безпечне середовище виконання для розгортання та тестування агентів ШІ перед масштабуванням до центрів обробки даних. NVIDIA OpenShell забезпечує безпечне середовище виконання та використовує нові функції безпеки Windows для створення окремих ізольованих пісочниць для роботи агентів ШІ.
Розділяючи операції на рівні додатків та забезпечення дотримання політик на рівні інфраструктури, DGX Station виводить політики конфіденційності та безпеки за межі досяжності агента, запобігаючи їх витоку або перевизначенню.
"Протягом десятиліть Microsoft і NVIDIA співпрацюють для розвитку найпотужніших обчислювальних платформ у світі", - заявив Паван Давулурі, виконавчий віцепрезидент Windows + Devices у Microsoft, у пресрелізі.
"Сьогодні ми виводимо цю співпрацю на новий рівень, масштабуючи всю потужність Windows від тонких та легких ПК до робочих станцій класу центрів обробки даних за допомогою DGX Station на базі GB300. Це відкриває новий клас продуктивності ШІ на Windows, платформі, якій підприємства довіряють у питаннях безпеки, керованості та сумісності".
