Как написать собственный Data Lineage для визуализации связей между данными Hadoop кластера и потоками их трансформации на стеке Spark, ZIO, Postgres? В докладе я поделюсь нашим опытом: расскажу, как мы подключали SparkListener, использовали Postgres для обработки графа, находили memory leak в ZIO библиотеке, а также о других вызовах, с которыми столкнулись в процессе. ------------------- Больше о Scala и ФП можно найти в нашем телеграм-канале: Подписывайтесь, чтобы узнать, чем занимаются Scala-команды в Вертикалях и не пропустить наши следующие ивенты.