asapBI: подружить DWH и AI?
2 фев 2026
— AI, есть задача. Наши смежники скоро выкатят новое поле в исходной системе в Контрагентах, надо отследить и, когда оно появится, пробросить его по потоку данных. Далее протестируй эту новую разработку и загрузку, и если все ок – напиши мне письмо.
— Буду проверять появление поля ежедневно в 9-00, после его появления приступлю к работе!
Использование AI при построении DWH встречает ряд трудностей, основная из которых – галлюцинации. Если в языках программирования можно легко откатить изменения, то если в таблице ошибочно удален столбец с данными – восстановление его – это те еще танцы с бубном. Ручная работа, штучная задача. А еще перед этим – обязательный бэкап, и чтобы этот бэкап не стал бэкапом Шредингера!
А что если можно создавать отдельную песочницу на каждую задачу разработчику, в том числе и для AI? Тогда если результат генерации не понравится – можно уточнить задачу, создать новую песочницу, а старую – удалить.
Песочница – это отдельная база данных, куда копируются объекты из базы разработки. Таких отдельных песочниц у каждого разработчика может быть много.
Плюсы использования песочницы:
- Изолированная разработка – один разработчик не мешает другим. В том числе он может удалить в своей песочнице данные и залить свои, для тестирования алгоритмов обработки.
- Использование AI – он не разрушит основную базу, а будет ураганить только в песочнице.
- Гипотезы в Prod – а еще мы можем эту отдельную песочницу перенести в Prod и проверить какую-либо гипотезу. А если гипотеза не прокатит – безболезненно ее удалить.
Конечно, мы должны уметь переносить модель данных из песочниц разных разработчиков в Dev и решать при этом коллизии.
Но раз мы умеем переносить модели Dev → Test → Prod, то просто добавится песочница:
И конечно, чтобы создавать песочницы, работать с ними, переносить наработки из нее на Dev, нужна платформа данных. Такая, например, как asapBI, которая в едином интерфейсе объединяет множество компонентов (базы данных, оркестраторы, системы для обработки данных – Trino, Spark и прочее).
Использование песочниц без какой-либо автоматической платформы, которая берет на себя всю рутину, будет напоминать старинную китайскую пытку «Смерть От Тысячи Кликов», когда надо создавать и связывать объекты во множестве разрозненных интерфейсов.
Опыт коллег
Наверное, наиболее далеко по пути использования таких песочниц ушли разработчики Т-Банка.
Они уже давненько копают эту тему:
Интересно, как у них там сейчас дела обстоят? И копает ли кто-либо еще в этом направлении?