Partitionierung zur effizienten Duplikaterkennung in relationalen Daten

موارد تکراری یا تکراری مجموعه داده‌های متعددی هستند که یک شیء واقعی را توصیف می‌کنند، مانند مشتریانی که چندین بار در یک سیستم CRM وارد شده‌اند یا نمایش‌های متفاوتی از یک محصول. یافتن این موارد تکراری حتی برای کامپیوترهای مدرن یک کار پیچیده و زمان بر است. Uwe Draisbach دو تا از استراتژی های پارتیشن بندی مربوطه را مقایسه می کند که انتخاب هوشمندانه ای از جفت های مجموعه داده را برای مقایسه ایجاد می کند. از این رو، او یک رویه تعمیم‌یافته را توسعه می‌دهد و نشان می‌دهد که انتخاب هوشمندانه از جفت‌های مجموعه داده‌ها می‌تواند به طور قابل‌توجهی تلاش را بدون کاهش قابل توجه کیفیت تشخیص تکراری کاهش دهد.

این کار انجام شد. با "جایزه بهترین مدرک کارشناسی ارشد کیفیت اطلاعات" از انجمن آلمان برای اطلاعات و کیفیت داده انجام شد.

Duplikate bzw. Dubletten sind mehrere Datensätze, die das gleiche Realweltobjekt beschreiben, etwa mehrfach erfasste Kunden in einem CRM-System oder unterschiedliche Repräsentationen eines Produkts. Das Auffinden dieser Duplikate ist auch für moderne Computer eine komplexe und zeitintensive Aufgabe. Uwe Draisbach vergleicht zwei der einschlägigen Partitionierungsstrategien, die eine intelligente Auswahl von zu vergleichenden Datensatzpaaren treffen. Daraus entwickelt er ein verallgemeinertes Verfahren und zeigt, dass eine intelligente Auswahl der Datensatzpaare den Aufwand signifikant reduzieren kann, ohne die Qualität der Duplikaterkennung wesentlich zu verringern.

Die Arbeit wurde mit dem „Information Quality Best Master Degree Award“ der Deutschen Gesellschaft für Informations- und Datenqualität ausgezeichnet.