Information-Theoretic Evaluation for Computational Biomedical Ontologies

توسعه روش‌های مؤثر برای پیش‌بینی حاشیه‌نویسی‌های هستی‌شناختی یک هدف مهم در زیست‌شناسی محاسباتی است، اما ارزیابی عملکرد آنها به دلیل مشکلات ناشی از ساختار هستی‌شناسی‌های زیست پزشکی و حاشیه‌نویسی ناقص ژن‌ها دشوار است. این کار یک چارچوب نظری اطلاعاتی را برای ارزیابی عملکرد پیش‌بینی عملکرد پروتئین محاسباتی پیشنهاد می‌کند. برای مدل‌سازی احتمال قبلی عملکرد یک پروتئین، از یک شبکه بیزی استفاده می‌شود که بر اساس هستی‌شناسی زیربنایی ساختار یافته است. سپس مفاهیم اطلاعات نادرست و عدم قطعیت باقیمانده تعریف می‌شوند که می‌توان آن‌ها را شبیه به دقت و یادآوری دانست. در نهایت فاصله معنایی به عنوان یک آماره واحد برای رتبه بندی مدل های طبقه بندی پیشنهاد شده است. این رویکرد با تجزیه و تحلیل سه پیش‌بینی‌کننده عملکرد پروتئین از شرایط هستی‌شناسی ژن ارزیابی می‌شود. این کار به چندین نقطه ضعف معیارهای فعلی می پردازد و بینش های ارزشمندی را در مورد عملکرد ابزارهای پیش بینی عملکرد پروتئین ارائه می دهد.

The development of effective methods for the prediction of ontological annotations is an important goal in computational biology, yet evaluating their performance is difficult due to problems caused by the structure of biomedical ontologies and incomplete annotations of genes. This work proposes an information-theoretic framework to evaluate the performance of computational protein function prediction. A Bayesian network is used, structured according to the underlying ontology, to model the prior probability of a protein's function. The concepts of misinformation and remaining uncertainty are then defined, that can be seen as analogs of precision and recall. Finally, semantic distance is proposed as a single statistic for ranking classification models. The approach is evaluated by analyzing three protein function predictors of gene ontology terms. The work addresses several weaknesses of current metrics, and provides valuable insights into the performance of protein function prediction tools.