Signal and Data Processing
پردازش علائم و دادهها
JSDP
Engineering & Technology
http://jsdp.rcisp.ac.ir
1
admin
2538-4201
2538-421X
10.52547/jsdp
1
8888
fa
jalali
1397
6
1
gregorian
2018
9
1
15
2
online
1
fulltext
fa
بهبود بهروزرسانی پایگاه داده تحلیلی نیمهآنی
Improving Near Real Time Data Warehouse Refreshment
مقالات پردازش دادههای رقمی
Paper
پژوهشي
Research
<div style="text-align: justify;"><span dir="RTL"><span style="font-family:nazanin;"><span style="font-size:12.0pt;">امروزه تصمیم­گیری سریع، اهمیت زیادی در محیط کسب و کار دارد. بنابراین مدیران سعی دارند تا از داده­های موجود در پایگاه داده تحلیلی برای پیش­بینی و تصمیم­گیری درست استفاده کنند. برای داشتن داده­های مناسب، باید تغییرات ایجادشده در منابع، با کمترین تأخیر در پایگاه داده تحلیلی اعمال شوند. برای رسیدن به این هدف، الگوریتم­های متعددی ارایه شده است که از آن جمله به الگوریتم </span></span></span><span style="font-family:times new roman bold,serif;"><span style="font-size:8.0pt;">X-HYBRIDJOIN</span></span><span dir="RTL"><span style="font-family: nazanin; font-size: 12pt;"> می­توان اشاره کرد. در این الگوریتم برای انتخاب پارتیشنی از لوح سخت که در حافظه اصلی بارگزاری می­شود از روش مناسبی استفاده نشده است. در این مقاله الگوریتم جدیدی ارائه می­شود که در آن تغییراتی در نحوه انتخاب پارتیشن یادشده، ایجاد شده است. بدین صورت که برای هر پارتیشنی از </span><font face="times new roman bold, serif"><span style="font-size: 10.6667px;">R</span></font></span><span dir="RTL"><span style="font-family:nazanin;"><span style="font-size:12.0pt;"> که بر روی لوح سخت قرار دارد، تعداد رکوردهای موجود از آن پارتیشن در حافظه اصلی، شمارش شده و در آرایه­ای ثبت می‎شود. با استفاده از آرایه بهدست آمده، هر بار پارتیشنی را می­توان انتخاب کرد که شامل بیشترین رکورد برای پیوست است. برای شمارش تعداد رکوردهای هر پارتیشن، در هنگام ورود جریان داده، بررسی می­شود که جریان داده ورودی مربوط به کدام پارتیشن است. نتایج حاصل از اجرای الگوریتم جدید نشان می­دهد که زمان پیوست و فضای مصرفی کاهش یافته است.</span></span></span></div>
<div style="text-align: justify;"><strong>Near-real time data warehouse gives the end users the essential information to achieve appropriate decisions. Whatever the data are fresher in it, the decision would have a better result either. To achieve a fresh and up-to-date data, the changes happened in the side of source must be added to the data warehouse with little delay. For this reason, they should be transformed in to the data warehouse format. One of the famous algorithms in this area is called X-HYBRIDJOIN. In this algorithm the data characteristics of real word have been used to speed up the join operation. This algorithm keeps some partitions, which have more uses, in the main memory. In the proposed algorithm in this paper, disk-based relation is joined with input data stream. The aim of such join is to enrich stream. The proposed algorithm uses clustered index for disk-based relation and join attribute. Moreover, it is assumed that the join attribute is exclusive throughout the relation. This algorithm has improved the mentioned algorithm in two stages. At the first stage, some records of source table which are frequently accessible are detected. Detection of such records is carried out during the algorithm implementation. The mechanism is in the way that each record access is counted by a counter and if it becomes more than the determined threshold, then it is considered as the frequently used record and placed in the hash table. The hash table is used to keep the frequently used records in the main memory. When the stream is going to enter in to join area, it is searched in this table. At the second stage, the choice method of the partition which is going to load in the main memory has been changed. One dimensional array is used to choose the mentioned partition. This array helps to select a partition of source table with highest number of records for the join among all partitions of source table. Using this array in each iteration, always leads to choose the best partition loading in memory. To compare the usefulness of the suggested algorithm some experiments have been done. Experimental results show that the service rate acquired in suggested algorithm is more than the existing algorithms. Service rate is the number of joined records in a time unit. Increasing service rate causes the effectiveness of the algorithm.</strong></div>
پایگاه داده تحلیلی نیمهآنی, پیوست, جریان داده, تصمیمگیری
Near Real Time Data Warehouse, Join, Data Stream, Decision Making
31
44
http://jsdp.rcisp.ac.ir/browse.php?a_code=A-10-815-4&slc_lang=fa&sid=1
Isa
Hazrati
عیسی
حضرتی
i.hazrati@srttu.edu
10031947532846006305
10031947532846006305
No
Shahid Rajaee Teacher Training University
دانشگاه آزاد اسلامی، میاندوآب
Negin
Daneshpour
نگین
دانشپور
ndaneshpour@srttu.edu
10031947532846006306
10031947532846006306
Yes
Shahid Rajaee Teacher Training University
دانشگاه تربیت دبیر شهید رجایی