دوره 15، شماره 2 - ( 6-1397 )                   جلد 15 شماره 2 صفحات 31-44 | برگشت به فهرست نسخه ها


XML English Abstract Print


Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:

Hazrati I, Daneshpour N. Improving Near Real Time Data Warehouse Refreshment. JSDP. 2018; 15 (2) :31-44
URL: http://jsdp.rcisp.ac.ir/article-1-636-fa.html
حضرتی عیسی، دانشپور نگین. بهبود به‌روزرسانی پایگاه داده تحلیلی نیمه‌آنی . پردازش علائم و داده‌ها. 1397; 15 (2) :31-44

URL: http://jsdp.rcisp.ac.ir/article-1-636-fa.html


دانشگاه تربیت دبیر شهید رجایی
چکیده:   (265 مشاهده)
امروزه تصمیم‌­گیری سریع، اهمیت زیادی در محیط کسب و کار دارد. بنابراین مدیران سعی دارند تا از داده­‌های موجود در پایگاه داده تحلیلی برای پیش‌­بینی و تصمیم‌­گیری درست استفاده کنند. برای داشتن داده­‌های مناسب، باید تغییرات ایجاد‌شده در منابع، با کم‌ترین تأخیر در پایگاه داده تحلیلی اعمال شوند. برای رسیدن به این هدف، الگوریتم‌­های متعددی ارایه شده است که از آن جمله به الگوریتم X-HYBRIDJOIN می‌­توان اشاره کرد. در این الگوریتم برای انتخاب پارتیشنی از لوح سخت که در حافظه اصلی بارگزاری می‌­شود از روش مناسبی استفاده نشده است. در این مقاله الگوریتم جدیدی ارائه می‌­شود که در آن تغییراتی در نحوه انتخاب پارتیشن یادشده، ایجاد شده است. بدین صورت که برای هر پارتیشنی از R که بر روی لوح سخت قرار دارد، تعداد رکوردهای موجود از آن پارتیشن در حافظه اصلی، شمارش شده و در آرایه‌­ای ثبت می‎شود. با استفاده از آرایه به‌دست آمده، هر بار پارتیشنی را می‌­توان انتخاب کرد که شامل بیشترین رکورد برای پیوست است. برای شمارش تعداد رکوردهای هر پارتیشن، در هنگام ورود جریان داده، بررسی می‌­شود که جریان داده ورودی مربوط به کدام پارتیشن است. نتایج حاصل از اجرای الگوریتم جدید نشان می‌­دهد که زمان پیوست و فضای مصرفی کاهش یافته است.
متن کامل [PDF 3913 kb]   (87 دریافت)    
نوع مطالعه: پژوهشي | موضوع مقاله: مقالات پردازش داده‌های رقمی
دریافت: ۱۳۹۵/۱۱/۳ | پذیرش: ۱۳۹۷/۲/۹ | انتشار: ۱۳۹۷/۶/۲۵ | انتشار الکترونیک: ۱۳۹۷/۶/۲۵

فهرست منابع
1. [1] حضرتی آغبلاغ، عیسی و دانشپور، نگین، "RX-HYBRIDJOIN: الگوریتمی بهبود یافته برای پایگاه داده تحلیلی نیمه‌آنی،" دهمین سمپوزیوم پیشرفت علوم و تکنولوژی، مشهد، موسسه آموزش عالی خاوران. 1394.
2. [1] I. Hazrati, N. Daneshpour, "RX-HYBRIDJOIN: improved algorithm for near-real-time data warehouse," presented at the 10th Symposium on the Advancement of Science and Technology, Mashhad, Khavaran Higher Education Institution, 2015.
3. [2] حضرتی آغبلاغ، عیسی و دانشپور، نگین، "IX-HYBRIDJOIN: الگوریتمی بهبود یافته برای پایگاه داده تحلیلی نیمه‌آنی،" مقاله منتشر شده در بیست و یکمین کنفرانس ملی کامپیوتر ایران، تهران، پژوهشکده دانش‌های بنیادین. 1394.
4. [2] I. Hazrati, N. Daneshpour, "IX-HYBRIDJOIN: improved algorithm for near-real-time data warehouse," presented at the 21th National Computer Conference of Iran, Tehran, Institute of Basic Sciences, 2015.
5. [3] A. Nguyen and A. Tjoa, "Zero-latency data warehousing for heterogeneous data sources and continuous data streams," Paper presented at the 5th International Conference on Information Integration and Web-based Applications Services, Austrian, 2003, pp. 55–64.
6. [4] A. Gupta, F. Yang, J. Govig, A. Kirsch, K. Chan, K. Lai, S. Wu, S. G. Dhoot, A. R. Kumar, A. Agiwal, S. Bhansali, M. Hong, J. Cameron, M. Siddiqi, D. Jones, J. Shute, A. Gubarev, S. Venka--taraman, and D. Agrawal, "Mesa: geo-replicated, near real-time, scalable data warehouse-ing," presented at the 40th International Conf-erence on Very Large Data Bases, China, 2014, pp. 1259-1270.
7. [5] A. Karakasidis, P. Vassiliadis, and E. Pitoura, " ETL queues for active data warehousing," presented at the 2th International Workshop on Information Quality in Information Systems, New York, 2005, pp. 28–39.
8. [6] C. Anderson, The Long Tail: Why the Future of Business is Selling Less of More, Hyperion, 2009.
9. [7] F. Dehne, Q. Kong, A. Rau-Chaplin, H. Zaboli, and R. Zhou, "Scalable real-time OLAP on cloud architectures," Journal of Parallel and Distributed Computing, vol. 79-80, pp. 31-41, 2015. [DOI:10.1016/j.jpdc.2014.08.006]
10. [8] F. Dehne, Q. Kong, A. Rau-Chaplin, H. Zaboli, and R. Zhou, "Distributed Tree Data Structure For Real-Time OLAP On Cloud Architectures," presented at the International Conference on Big Data, Silicon Valley, 2013, pp. 499-505.
11. [9] F. Majeed and S. Mahmood, "Efficient data streams processing in the real time data ware-house," presented at the 3rd IEEE Interna-tional Conference on Computer Science and Infor-mation Technology, Chengdu, 2010, pp. 57-61.
12. [10] F. Majeed, S. Mahmood, S. Ubaid, N. Khalil, S. Siddiqi, and F. Ashraf, "A burst resolution technique for data streams management in the real-time data warehouse," presented at the 7th Internat-ional Conference on Emerging Technologies, Islamabad, 2011, pp. 1-5. [PMID]
13. [11] H. Zhou, D. Yang, and Y. Xu, "An ETL strategy for real-time data warehouse," presented at the International Conference on Intelligent Systems and Knowledge Engineering, Shanghai, 2011, pp. 329–336.
14. [12] H. Alzeini, SH. Hameed, and M. Habaebi, "A framework for developing real-time OLAP algorithm using multi-core processing and GPU: heterogeneous computing," presented at the 5th International Conference on Mechatronics, Kuala Lumpur. 2013.
15. [13] L. Golab, T. Johnson, J. S. Seidel, and V. Shkapenyuk, "Stream warehousing with data depot," presented at the 35th SIGMOD Interna-tional Conference on Management of Data, Rhode Island, 2009, pp. 847–854. [DOI:10.1145/1559845.1559934]
16. [14] L. Chen, W. Rahayu, and D. Taniar, "Towards near real-time data warehousing," presented at the 24th IEEE International Conference on Advanced Information Networking and Applications, Perth, 2011, pp. 1150-1157.
17. [15] M. Obal, B. Dursun, Z. Erdem, and A. Kadir, "A real-time data warehouse approach for data processing," presented at the Signal Processing and Communications Applications Conference, Haspolat, 2013, pp. 1-4.
18. [16] M. A. Naeem, G. Dobbie, and G. Weber, "X-HYBRIDJOIN for near-real-time data warehousing," presented at the 28th British National Conference on Databases, Manchester, 2011, pp. 33–47.
19. [17] M. A. Naeem, G. Dobbie, and G. Weber, "A lightweight stream-based join with limited resource consumption" presented at the 14th International Conference DaWaK, Vienna, 2011, pp. 431-442.
20. [18] M. A. Naeem, G. Dobbie, and G. Weber, "Hybridjoin for near-real-time data warehousing," International Journal of Data Warehousing and Mining, vol. 7, no. 4, pp. 21-42, 2011. [DOI:10.4018/jdwm.2011100102]
21. [19] M. A. Naeem, G. Dobbie, and G. Weber, "An event-based near real-time data integration archite-cture," presented at the Enterprise Distributed Object Computing Conference Workshops, Munich, 2008, pp. 401–404. [DOI:10.1109/EDOCW.2008.14]
22. [20] M. A. Naeem and N. Jamil, "An efficient stream-based join to procees end user transactions in real-time data warehousing," Journal of Digital Infor-mation Management, vol. 3, pp. 201-215, 2014.
23. [21] M. Thiele and W. Lehner, "Evaluation of load scheduling strategies for real-time data warehouse environments," presented at the 35th International Conference on Very Large Databases, Lyon, 2009, pp. 84-99.
24. [22] N. Polyzotis, S. Skiadopoulos, P. Vassiliadis, A. Simitsis, and N. Frantzell, "Meshing Streaming Updates with Persistent Data in an Active Data Warehouse," IEEE Transactions on Knowledge and Data Engineering, vol. 20, issue. 7, pp. 976-991, 2008. [DOI:10.1109/TKDE.2008.27]
25. [23] R. Abrahiem, "A new generation of middleware solutions for a near-real-time data warehousing architecture," presented at the 2007 IEEE International Conference on Electro/Information Technology, Chicago, 2007, pp. 192-197. [DOI:10.1109/EIT.2007.4374453]
26. [24] S. Sudha and S. Manikandan, "M-hybridjoin- an adaptive approach for stream based near real-time data warehousing," International Journal of Ad-vanced Engineering Technology, vol. 7, issue 1, pp. 321-326, 2016.
27. [25] T. Jorg, and S. Dessloch, "Near real-time data warehousing using state-of-the-art ETL tools," presented at the 35th International Conference on Very Large Databases, Lyon. 2009.
28. [26] W. J. Labio, J. L. Wiener, H. Garcia, and V. Gorelik, "Efficient resumption of interrupted ware-house loads," SIGMOD Rec. vol. 29, no. 2, pp. 46–57, 2000. [DOI:10.1145/335191.335379]
29. [27] W. J. Labio, J. Yang, Y. Cui, H. Garcia, and J. Widom, "Performance issues in incremental warehouse maintenance," presented at the 26th International Conference on Very Large Data Bases, San Francisco, 2000, pp.461–472.
30. [28] ] M. A. Naeem, G. Dobbie, and G. Weber, "Efficient usage of memory resources in near-real-time data warehousing," presented at the Emerging Trends and Applications in Information Communi-cation Technologies, Pakistan, 2012, pp. 326-337.
31. [29] M. A. Naeem, G. Dobbie, and G. Weber, "Optimised X-HYBRIDJOIN for near-real-time data warehousing" presented at the 23th Austra-lasian Database Conference, Melbourne, 2012, pp. 21-30.

ارسال نظر درباره این مقاله : نام کاربری یا پست الکترونیک شما:
CAPTCHA code

ارسال پیام به نویسنده مسئول


کلیه حقوق این وب سایت متعلق به فصل‌نامة علمی - پژوهشی پردازش علائم و داده‌ها می باشد.