“SkewSense: ML-Driven Partition Optimization for Distributed Systems” başlıklı bildirimizin IEEE Xplore üzerinde yayımlandığını paylaşmaktan mutluluk duyuyorum.
Bu çalışmada dağıtık büyük veri işleme sistemlerinde performansı olumsuz etkileyen data skew problemine odaklandık. Geliştirdiğimiz SkewSense, veri setinin dağılım metriklerini analiz ederek Apache Spark için uygun partition stratejisini öneren makine öğrenmesi destekli bir karar mekanizmasıdır.
Deneysel sonuçlarımız SkewSense yaklaşımının özellikle aggregation ve hot-key odaklı sorgularda performans iyileştirmesi sağlayabildiğini göstermektedir. Ayrıca çalışma, partition stratejisi seçiminde yalnızca veri dağılımının değil, sorgu tipinin de dikkate alınması gerektiğini ortaya koymaktadır.
Çalışmanın tam metnine buradan ulaşabilirsiniz:
https://ieeexplore.ieee.org/document/11537208
━━━━━━━━━━━━━━━━━━━━
I am pleased to share that our paper titled “SkewSense: ML-Driven Partition Optimization for Distributed Systems”, prepared together with my esteemed advisor Assoc. Prof. Dr. Muhammet Baykara, has been published in IEEE Xplore.
In this study, we focused on data skew, an important performance issue in distributed big data processing systems. We developed SkewSense, a machine learning-based decision mechanism that analyzes data distribution metrics and recommends a suitable partitioning strategy for Apache Spark.
Our experimental results show that SkewSense can improve performance, particularly in aggregation and hot-key-oriented queries. The study also highlights that partition strategy selection should consider not only data distribution but also query type.
You can access the full paper here:
https://ieeexplore.ieee.org/document/11537208
#IEEEXplore #ICHORA #SkewSense #ApacheSpark #BigData #DistributedSystems #DataSkew #MachineLearning #DataEngineering #SoftwareEngineering #FiratUniversity
İlk Yorumu Siz Yapın