دوره 15، شماره 2 - ( 6-1397 )
جلد 15 شماره 2 صفحات 44-31 |
برگشت به فهرست نسخه ها
Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
Hazrati I, Daneshpour N. Improving Near Real Time Data Warehouse Refreshment. JSDP 2018; 15 (2) :31-44
URL: http://jsdp.rcisp.ac.ir/article-1-636-fa.html
URL: http://jsdp.rcisp.ac.ir/article-1-636-fa.html
حضرتی عیسی، دانشپور نگین. بهبود به‌روزرسانی پایگاه داده تحلیلی نیمه‌آنی
. پردازش علائم و داده‌ها. 1397; 15 (2) :31-44
دانشگاه تربیت دبیر شهید رجایی
چکیده: (3779 مشاهده)
امروزه تصمیم‌گیری سریع، اهمیت زیادی در محیط کسب و کار دارد. بنابراین مدیران سعی دارند تا از داده‌های موجود در پایگاه داده تحلیلی برای پیش‌بینی و تصمیم‌گیری درست استفاده کنند. برای داشتن داده‌های مناسب، باید تغییرات ایجاد‌شده در منابع، با کم‌ترین تأخیر در پایگاه داده تحلیلی اعمال شوند. برای رسیدن به این هدف، الگوریتم‌های متعددی ارایه شده است که از آن جمله به الگوریتم X-HYBRIDJOIN می‌توان اشاره کرد. در این الگوریتم برای انتخاب پارتیشنی از لوح سخت که در حافظه اصلی بارگزاری می‌شود از روش مناسبی استفاده نشده است. در این مقاله الگوریتم جدیدی ارائه می‌شود که در آن تغییراتی در نحوه انتخاب پارتیشن یادشده، ایجاد شده است. بدین صورت که برای هر پارتیشنی از R که بر روی لوح سخت قرار دارد، تعداد رکوردهای موجود از آن پارتیشن در حافظه اصلی، شمارش شده و در آرایه‌ای ثبت می‌شود. با استفاده از آرایه به‌دست آمده، هر بار پارتیشنی را می‌توان انتخاب کرد که شامل بیشترین رکورد برای پیوست است. برای شمارش تعداد رکوردهای هر پارتیشن، در هنگام ورود جریان داده، بررسی می‌شود که جریان داده ورودی مربوط به کدام پارتیشن است. نتایج حاصل از اجرای الگوریتم جدید نشان می‌دهد که زمان پیوست و فضای مصرفی کاهش یافته است.
نوع مطالعه: پژوهشي |
موضوع مقاله:
مقالات پردازش داده‌های رقمی
دریافت: 1396/4/3 | پذیرش: 1397/2/9 | انتشار: 1397/6/25 | انتشار الکترونیک: 1397/6/25
دریافت: 1396/4/3 | پذیرش: 1397/2/9 | انتشار: 1397/6/25 | انتشار الکترونیک: 1397/6/25
فهرست منابع
1. [1] حضرتی آغبلاغ، عیسی و دانشپور، نگین، "RX-HYBRIDJOIN: الگوریتمی بهبود یافته برای پایگاه داده تحلیلی نیمه‌آنی،" دهمین سمپوزیوم پیشرفت علوم و تکنولوژی، مشهد، موسسه آموزش عالی خاوران. 1394.
2. [1] I. Hazrati, N. Daneshpour, "RX-HYBRIDJOIN: improved algorithm for near-real-time data warehouse," presented at the 10th Symposium on the Advancement of Science and Technology, Mashhad, Khavaran Higher Education Institution, 2015.
3. [2] حضرتی آغبلاغ، عیسی و دانشپور، نگین، "IX-HYBRIDJOIN: الگوریتمی بهبود یافته برای پایگاه داده تحلیلی نیمه‌آنی،" مقاله منتشر شده در بیست و یکمین کنفرانس ملی کامپیوتر ایران، تهران، پژوهشکده دانش‌های بنیادین. 1394.
4. [2] I. Hazrati, N. Daneshpour, "IX-HYBRIDJOIN: improved algorithm for near-real-time data warehouse," presented at the 21th National Computer Conference of Iran, Tehran, Institute of Basic Sciences, 2015.
5. [3] A. Nguyen and A. Tjoa, "Zero-latency data warehousing for heterogeneous data sources and continuous data streams," Paper presented at the 5th International Conference on Information Integration and Web-based Applications Services, Austrian, 2003, pp. 55–64.
6. [4] A. Gupta, F. Yang, J. Govig, A. Kirsch, K. Chan, K. Lai, S. Wu, S. G. Dhoot, A. R. Kumar, A. Agiwal, S. Bhansali, M. Hong, J. Cameron, M. Siddiqi, D. Jones, J. Shute, A. Gubarev, S. Venka--taraman, and D. Agrawal, "Mesa: geo-replicated, near real-time, scalable data warehouse-ing," presented at the 40th International Conf-erence on Very Large Data Bases, China, 2014, pp. 1259-1270.
7. [5] A. Karakasidis, P. Vassiliadis, and E. Pitoura, " ETL queues for active data warehousing," presented at the 2th International Workshop on Information Quality in Information Systems, New York, 2005, pp. 28–39.
8. [6] C. Anderson, The Long Tail: Why the Future of Business is Selling Less of More, Hyperion, 2009.
9. [7] F. Dehne, Q. Kong, A. Rau-Chaplin, H. Zaboli, and R. Zhou, "Scalable real-time OLAP on cloud architectures," Journal of Parallel and Distributed Computing, vol. 79-80, pp. 31-41, 2015. [DOI:10.1016/j.jpdc.2014.08.006]
10. [8] F. Dehne, Q. Kong, A. Rau-Chaplin, H. Zaboli, and R. Zhou, "Distributed Tree Data Structure For Real-Time OLAP On Cloud Architectures," presented at the International Conference on Big Data, Silicon Valley, 2013, pp. 499-505.
11. [9] F. Majeed and S. Mahmood, "Efficient data streams processing in the real time data ware-house," presented at the 3rd IEEE Interna-tional Conference on Computer Science and Infor-mation Technology, Chengdu, 2010, pp. 57-61.
12. [10] F. Majeed, S. Mahmood, S. Ubaid, N. Khalil, S. Siddiqi, and F. Ashraf, "A burst resolution technique for data streams management in the real-time data warehouse," presented at the 7th Internat-ional Conference on Emerging Technologies, Islamabad, 2011, pp. 1-5. [PMID]
13. [11] H. Zhou, D. Yang, and Y. Xu, "An ETL strategy for real-time data warehouse," presented at the International Conference on Intelligent Systems and Knowledge Engineering, Shanghai, 2011, pp. 329–336.
14. [12] H. Alzeini, SH. Hameed, and M. Habaebi, "A framework for developing real-time OLAP algorithm using multi-core processing and GPU: heterogeneous computing," presented at the 5th International Conference on Mechatronics, Kuala Lumpur. 2013.
15. [13] L. Golab, T. Johnson, J. S. Seidel, and V. Shkapenyuk, "Stream warehousing with data depot," presented at the 35th SIGMOD Interna-tional Conference on Management of Data, Rhode Island, 2009, pp. 847–854. [DOI:10.1145/1559845.1559934]
16. [14] L. Chen, W. Rahayu, and D. Taniar, "Towards near real-time data warehousing," presented at the 24th IEEE International Conference on Advanced Information Networking and Applications, Perth, 2011, pp. 1150-1157.
17. [15] M. Obal, B. Dursun, Z. Erdem, and A. Kadir, "A real-time data warehouse approach for data processing," presented at the Signal Processing and Communications Applications Conference, Haspolat, 2013, pp. 1-4.
18. [16] M. A. Naeem, G. Dobbie, and G. Weber, "X-HYBRIDJOIN for near-real-time data warehousing," presented at the 28th British National Conference on Databases, Manchester, 2011, pp. 33–47.
19. [17] M. A. Naeem, G. Dobbie, and G. Weber, "A lightweight stream-based join with limited resource consumption" presented at the 14th International Conference DaWaK, Vienna, 2011, pp. 431-442.
20. [18] M. A. Naeem, G. Dobbie, and G. Weber, "Hybridjoin for near-real-time data warehousing," International Journal of Data Warehousing and Mining, vol. 7, no. 4, pp. 21-42, 2011. [DOI:10.4018/jdwm.2011100102]
21. [19] M. A. Naeem, G. Dobbie, and G. Weber, "An event-based near real-time data integration archite-cture," presented at the Enterprise Distributed Object Computing Conference Workshops, Munich, 2008, pp. 401–404. [DOI:10.1109/EDOCW.2008.14]
22. [20] M. A. Naeem and N. Jamil, "An efficient stream-based join to procees end user transactions in real-time data warehousing," Journal of Digital Infor-mation Management, vol. 3, pp. 201-215, 2014.
23. [21] M. Thiele and W. Lehner, "Evaluation of load scheduling strategies for real-time data warehouse environments," presented at the 35th International Conference on Very Large Databases, Lyon, 2009, pp. 84-99.
24. [22] N. Polyzotis, S. Skiadopoulos, P. Vassiliadis, A. Simitsis, and N. Frantzell, "Meshing Streaming Updates with Persistent Data in an Active Data Warehouse," IEEE Transactions on Knowledge and Data Engineering, vol. 20, issue. 7, pp. 976-991, 2008. [DOI:10.1109/TKDE.2008.27]
25. [23] R. Abrahiem, "A new generation of middleware solutions for a near-real-time data warehousing architecture," presented at the 2007 IEEE International Conference on Electro/Information Technology, Chicago, 2007, pp. 192-197. [DOI:10.1109/EIT.2007.4374453]
26. [24] S. Sudha and S. Manikandan, "M-hybridjoin- an adaptive approach for stream based near real-time data warehousing," International Journal of Ad-vanced Engineering Technology, vol. 7, issue 1, pp. 321-326, 2016.
27. [25] T. Jorg, and S. Dessloch, "Near real-time data warehousing using state-of-the-art ETL tools," presented at the 35th International Conference on Very Large Databases, Lyon. 2009.
28. [26] W. J. Labio, J. L. Wiener, H. Garcia, and V. Gorelik, "Efficient resumption of interrupted ware-house loads," SIGMOD Rec. vol. 29, no. 2, pp. 46–57, 2000. [DOI:10.1145/335191.335379]
29. [27] W. J. Labio, J. Yang, Y. Cui, H. Garcia, and J. Widom, "Performance issues in incremental warehouse maintenance," presented at the 26th International Conference on Very Large Data Bases, San Francisco, 2000, pp.461–472.
30. [28] ] M. A. Naeem, G. Dobbie, and G. Weber, "Efficient usage of memory resources in near-real-time data warehousing," presented at the Emerging Trends and Applications in Information Communi-cation Technologies, Pakistan, 2012, pp. 326-337.
31. [29] M. A. Naeem, G. Dobbie, and G. Weber, "Optimised X-HYBRIDJOIN for near-real-time data warehousing" presented at the 23th Austra-lasian Database Conference, Melbourne, 2012, pp. 21-30.
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
