Российские исследователи представили новый фреймворк для работы с большими данными

Российские исследователи представили новый фреймворк для работы с большими данными

21.01.2021     

Специалисты Национального центра когнитивных разработок ИТМО представили платформу, которая упростит создание моделей технологических и бизнес-процессов. Она поможет принимать эффективные управленческие решения в условиях отсутствия полных данных.

ИИ-модели для социальных и бизнес-процессов

На платформе разработчики создали отраслевые модели, которые повысят продуктивность работы предприятий и помогут сократить расходы. Решение может точно прогнозировать цены на железнодорожные услуги, находить заколонные циркуляции на нетфтедобывающих скважинах, планировать логистику для их обслуживания и пр.

В руководстве оператора использование платформы рассматривается на примере задачи загрузки железнодорожных вагонов на металлообрабатывающем предприятии. Платформа позволяет рассчитать оптимальный график доставки грузов с учетом возможного дефицита сырья, цен на перевозки и выполнение работ. Аналогичный подход можно применить практически к любому бизнес-процессу: построить балансовые модели, составить расписание, сформировать ценообразование и др.

Простота и доступность

Для работы на платформе не нужны дополнительное ПО, специальные знания или навыки программирования.

Системные требования для работы с платформой невысоки: стандартный компьютер с Windows XP, процессор Pentium 4, 2 ГБ оперативной памяти.

Персональный компьютер пользователя должен иметь доступ к серверу, на котором развернуто программное обеспечение программного комплекса и подключен к интернету. Программа работает через браузер, и тяжелые вычисления не нагружают систему.

 

 

Суть разработки

Платформа создает цифровых двойников промышленных систем и моделирует их поведение. Процессы построения систем, их обучения и проверки моделей бизнес-процессов унифицированы. В работе можно использовать неструктурированные данные из различных источников. Платформа поддерживает гибридное моделирование: модели на основе данных сочетаются с классическими причинно-следственными вариантами. С ее помощью можно легко управлять бизнес-процессами, оптимизировать и прогнозировать результаты их выполнения.

Платформа поставляется с инструментами подготовки и кросс-валидации статических и динамических данных, 200 готовыми моделями машинного обучения и математическими функциями. На их основе можно создавать сложные проекты. Писать модели можно с нуля или на базе имеющихся, управлять параметрами и сразу видеть результат изменений.

В графическом представлении есть только два типа объектов: модели и данные, – а также связи между ними. Можно взять готовую модель и, например, построить оптимальное расписание с произвольным числом работ и ресурсов. А результаты представить в виде диаграммы Ганта – соответствующий инструмент встроен в платформу.

Модели и процессы можно выгрузить в SCADA, продолжить работу с данными в Excel или объединить несколько моделей в один проект, чтобы обрабатывать сложные цепочки динамических данных. Кроме того, в платформе предусмотрена возможность отделить облачные сервисы и интегрировать их в существующую ИТ-инфраструктуру.

Фреймворк для композитных моделей

Разработчики также представили фреймворк FEDOT для генеративного автоматического машинного обучения. С его помощью можно создавать сложные композитные модели.

Генеративное автоматическое машинное обучение позволяет выращивать модели на основе данных – улучшать и усложнять их в процессе работы, создавать новые цепочки обработки и композиции решений. Внутри FEDOT реализован собственный язык описания задачи. Он поможет сконфигурировать фреймворк и добиться оптимальных результатов.

Ядро FEDOT конфигурируется под разные классы задач: модели системной динамики, предсказательное или имитационное моделирование и др. В репозитории на GitHub также есть библиотека умных композиционных алгоритмов. Они нужны для идентификации моделей на основе данных, к которым предъявляются разные требования. Доступны и отдельные модели для решения физических, социо-финансовых, гидрометеорологических и других задач.

С FEDOT можно получить модель с нужной сложностью, качеством, интерпретируемостью, запустить моделирование, приостановить идентификацию модели, а позднее возобновить ее. С фреймворком доступна интеграция различных решений на Python с открытым исходным кодом – это многократно расширяет его возможности.

Острые темы также не обошли стороной 

Пандемия COVID-19 и способы борьбы с ней продолжают оставаться в центре внимания. Разработчики из НЦКР также внесли свой вклад в решение этих задач. Они использовали платформу для создания модели распространения инфекционных болезней на примере COVID-19. Полученные результаты помогут в разработке превентивных мер и способов остановить распространение заболевания.

 

 

Система может спрогнозировать эффективность тотального карантина – как изменится ситуация с количеством заболевших, выздоровевших и смертельных исходов в случаях действия, отсутствия или усиления карантинных мер:

 

 

Видеопрезентация ключевых возможностей платформы



Источник: https://infostart.ru/journal/news/tekhnologii/rossiyskie-issledovateli-predstavili-novyy-freymvork-dlya-raboty-s-bolshimi-dannymi_1365555/
Автор:
Ксения Шестакова Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. chg 22.01.21 05:54 Сейчас в теме
Интересно конечно будет ознакомиться, но заявление:
Решение может точно.........

Мягко скажем не корректное, а если откровенно то профанское.

ЗЫ: ещё и регистрация не работает, просто супер платформа.
2. Артано 700 23.01.21 12:44 Сейчас в теме
(1)То дерьма не подвезут, то вёдра украдут
Оставьте свое сообщение

См. также

Google Database Migration Service стал доступен для всех

Новость MySQL PostgreSQL Google Интеграция Интернет ИТ-новость

Компания Google открыла всем пользователям бесплатный доступ к сервису Database Migration Service. Это позволит компаниям провести миграцию своих баз из MySQL. PostgreSQL и других платформ в облако Cloud SQL без выделения дополнительных ресурсов.

сегодня в 13:27    1224    user1015646    0       

Российские разработчики представили бесплатный онлайн-редактор кода

Новость Mail.Ru ИТ-новость

Компания Mail.Ru запустила онлайн-сервис для совместной работы с кодом на базе платформы All Cups. Он поддерживает Python, C++, Java и еще шесть популярных языков программирования.

вчера в 16:42    1398    user1015646    3       

Rust станет одним из основных языков разработки Android

Новость Android ИТ-новость Мобильные приложения Языки программирования

С целью уменьшения количества ошибок, связанных с безопасностью памяти, Google объявил, что Android будет поддерживать Rust в низкоуровневом системном коде ОС. Об этом 6 апреля сообщили члены команды разработчиков Android в блоге Google Security.

вчера в 13:58    1137    SKravchenko    2       

Минпромторг готов выделять по 500 млн рублей в год на разработку ИИ

Новость Искусственный интеллект ИТ-новость Минпромторг Цифровая экономика

Минпромторг подготовил проект постановления для поддержки разработчиков решений на базе ИИ. Компании смогут получить до 3 млрд рублей на пять лет, по 500 млн каждый год.

13.04.2021    847    VKuser24342747    2       

ARM представила новую процессорную архитектуру v9

Новость ИТ-новость Микроэлектроника

Компания ARM разработала инновационную процессорную архитектуру v9. Она обладает масштабным потенциалом и будет использоваться для систем искусственного интеллекта и безопасности, мобильных устройств и специализированных вычислений.

12.04.2021    984    user1015646    0       

Microsoft разделит ключевые компоненты Windows

Новость Windows ИТ-новость

Модули Windows 10 становятся всё более независимыми. Меню «Пуск» стало отдельным компонентом около двух лет назад. Теперь пришёл черёд отделить панель задач – это должно исправить проблему с зависаниями системы.

09.04.2021    3285    user1015646    0       

Правительство начнет регулировать цифровые экосистемы

Новость Импортозамещение ИТ-новость Новости компаний Цифровая экономика

Правительство готовит концепцию регулирования для быстро развивающихся цифровых экосистем, таких как Сбер, Яндекс, Тинькофф и других. Цель – повысить конкурентоспособность экосистем за рубежом.

08.04.2021    6336    mouse187    1       

Ремонтировать технику Apple в России станет проще

Новость iOS ИТ-новость Новости компаний

Компания Apple расширила программу независимого ремонта своей техники. В список стран, где она теперь доступна, попала и Россия.

08.04.2021    7812    user1015646    0       

Треть пользователей готова избавиться от предустановленного отечественного ПО

Новость Импортозамещение ИТ-новость Мобильные приложения

Компания ESET провела опрос, в котором 29% респондентов заявили о своем желании удалить предустановленные российские приложения со смартфонов, ноутбуков и телевизоров.

07.04.2021    2273    VKuser24342747    2       

Google начала тестировать FLoC – технологию-убийцу cookies в Chrome

Новость Google Безопасность Интернет ИТ-новость

Google продолжает разрабатывать альтернативу cookie-файлам. Поисковый гигант уже приступил к тестированию технологии, позволяющей хранить данные о пользователе браузера в обезличенном виде.

06.04.2021    5088    VKuser24342747    0       

В России пройдет закрытое тестирование электронной почты с кириллицей в адресах

Новость Импортозамещение Интернет ИТ-новость

Проект поддержки доменных имен на национальных языках и регистратор доменных имен начали проект по тестированию работы электронной почты с кириллице в адресах.

02.04.2021    2277    Senator_I    1       

Crystal – простой, как Ruby, и «быстрый», как C

Новость ИТ-новость Языки программирования

Вышел первый стабильный релиз языка Crystal. Синтаксис Crystal схож с Ruby, что делает язык легким для чтения и записи и снижает кривую обучения для опытных разработчиков.

02.04.2021    2812    SKravchenko    1       

Платежная система Visa разрешит платежи в криптовалюте

Новость Безопасность Блокчейн ИТ-новость Онлайн-торговля

Крупнейшие поставщики платежных услуг для банковских карт выходят на криптовалютный рынок. Visa вслед за Mastercard сообщила, что начнет поддерживать транзакции в цифровых токенах.

02.04.2021    2202    VKuser24342747    1       

Samsung стала предустанавливать на смартфоны неудаляемые приложения. Яндекс против

Новость Импортозамещение ИТ-новость Мобильные приложения Новости компаний Яндекс

С 1 апреля в России вступает в силу закон об обязательной предустановке отечественных приложений. Samsung стала инсталлировать ПО Яндекса на свои устройства без возможности удаления. Российский ИТ-гигант призвал производителя не делать этого.

01.04.2021    2509    user1015646    0       

Линус Торвальдс рассказал о том, где Rust впишется в Linux

Новость Linux ИТ-новость Языки программирования

Медленно, но верно язык Rust проникает в Linux. Линус Торвальдс и Грег Кроа-Хартман поделились своим мнением насчет перспектив Rust в Linux.

31.03.2021    2507    SKravchenko    0       

В России создали невидимые этикетки

Новость ИТ-новость

Специалисты из Университета ИТМО и Санкт-Петербургского академического университета представили новую технологию создания этикеток. Она призвана защитить рынок от распространения контрафакта.

30.03.2021    1390    user1015646    8       

Google и Microsoft начали совместную работу над совместимостью браузеров

Новость Google Интернет ИТ-новость Новости компаний

Компании Google, Microsoft и Igalia объявили о запуске совместного проекта Compat2021. С его помощью будет улучшена совместимость браузеров Chrome, Edge, Firefox и Safari.

30.03.2021    1192    VKuser24342747    0       

Представлен Windows Community Toolkit v7.0: что нового

Новость ИТ-новость Новости компаний Языки программирования

Компания Microsoft выпустила новую версию Windows Community Toolkit v7.0. Это коллекция расширений, инструментов помощи и настраиваемых кнопок для разработки UWP- и .NET-приложения для Windows 10.

29.03.2021    7450    user1015646    1       

Google Chrome начнет автоматически добавлять https:// ко всем веб-адресам

Новость Google Безопасность Интернет ИТ-новость

В новой версии браузера Google Chrome будет отключен редирект с http:// на https://. Веб-обозреватель будет сразу загружать сайт через защищенный протокол, уже ставший стандартом.

29.03.2021    3166    VKuser24342747    0       

Разработчик придумал фейковый язык программирования MOVA, чтобы отсеивать лживые резюме

Новость ИТ-новость Языки программирования

MOVA – язык программирования, который предлагает способ представления независимо изменяющихся объектов без обращения к какой-либо схеме для назначений. Такая парадигма могла бы быть увлекательной, если бы MOVA не был фейком.

26.03.2021    2448    SKravchenko    4       

Фонд свободного программного обеспечения назвал лауреатов премии Free Software Awards 2020

Новость ИТ-новость

Фонд свободного программного обеспечения (FSF) ежегодно вручает награды разработчикам, повлиявшим на развитие open source решений. В этом году премия была присуждена троим номинантам.

25.03.2021    5102    VKuser24342747    0       

В ногу с Apple: Google снизила комиссию с разработчиков приложений

Новость Android iOS Google ИТ-новость Мобильные приложения Новости компаний

Корпорация Google уменьшила комиссию с разработчиков в официальном магазине приложений Google Play с 30% до 15%. Аналогичный шаг в прошлом году сделала Apple.

24.03.2021    1176    user1015646    10       

Apple согласилась предустанавливать российское ПО

Новость iOS Гаджеты Импортозамещение ИТ-новость Мобильные приложения

Минцифры обязало производителей техники устанавливать софт из реестра отечественного ПО на устройства для рынка РФ. Компания Apple ранее выступала резко против этой инициативы, но теперь, похоже, решила пойти на компромисс.

23.03.2021    3653    user1015646    1       

Представлена Java 16: что нового

Новость ИТ-новость Языки программирования

Java 16 получила механизм записей для компактного объявления классов, сопоставление шаблонов для оператора instanceof, параллельная обработка потоков сборщиком мусора и инструменты для упаковки автономных приложений.

22.03.2021    2122    user1015646    0       

Создан сервис, который поможет отдохнуть от Zoom-конференций

Новость ИТ-новость

Порой Zoom-конференции просто крадут время и не дают работать эффективно. Американский программист создал сервис, который поможет быстро завершить видеозвонок – якобы по уважительной причине.

19.03.2021    5554    user1015646    0