تطوير محرك بحث للمحتوى العربي

Abstract

الملخــــــــــــــــــــــــــــــــــــــص ظهر في السنوات القليلة الماضية عدد من محركات البحث التي تدعم اللغة العربية، علل الكثيرون الأسباب المتأخرة لظهور محركات بحث تختص باللغة العربية والصفحات المتعلقة بها إلى أن اللغة العربية لغة صرفية(morphological) تختلف كثيرا ًعن اللغات الأخرى مثل اللغة الإنكليزية واللغة الفرنسية لأنها لغات لصقية(affixational ). تواجه محركات البحث العربية العديد من المشاكل ، أهمها: مشكلة صعوبة الزحف إلى مواقع الويب العربية بإستخدام زواحف ويب خاصة بمحرك البحث العربي، ومشكلة الترميز (Encoding) في صفحات الويب باللغة العربية في برنامج زاحف الويب (web crawler)، و مشكلة عدم دقة النتائج المسترجعة فمحركات البحث الأخرى تسترجع عدد كبير من النتائج التى تتضمن نتائج لا علاقة لها بالاستعلام المطلوب. و يبقى الحل في أنه تم استخدام لغة (python ) في برمجة برنامج زاحف الويب ، ولغة(php ) في برمجة برنامج محرك البحث، ولغة (HTML5) ولغة (JAVASCRIPT) لأجل إعطاء بعض الجماليات والأمن على محرك البحث ، وإطار العمل (Bootstrap) لتقسيم شاشة موقع محرك البحث لثلاث لوحات، هي: لوحة الرأس، ولوحة الجسم، ولوحة الذيل. النتائج التي تم التوصل إليها من خلال هذا البحث تتمثل في الآتي: تم تطوير محرك بحث داعم للغة العربية مثلاً، وتم حل مشكلة الترميز (encoding ) لصفحات الويب العربية في برنامج الزاحف، وتم الحصول على نتائج بحث أكثر دقة وذات صلة مع الاستعلام المطلوب. و نجد أن أهم التوصيات لهذا البحث هي كيفية عمل قاموس نحوي يساعد على معالجة الأخطاء النحوية لعبارات البحث باللغة العربية ، و أيضاً تطبيق مفهوم البحث الدلالي semantic search ، و أخيراً الإستفادة من تقنيات التنقيب عن البيانات في تحسين و تجويد عملية البحث في محرك البحث العربي.

Abstract In the last few years a number of search engines have appeared which support Arabic language. Explain the reasons of late appearance of search engines that related to Arabic language and pages has appeared because Arabic language is morphological language, while other languages as English or French are language’s affixation. Arab search engines face many problems, the most important of which are: the problem of the difficulty of crawling into Arabic Web sites by using a special web crawlers of Arabic search engine, and problem is that how to encode the Arabic web pages in web crawler program, and problem of inaccuracy of back results and the other search engines got back a large number of results, the included results not related to required query. The solution remains that Python has been used to program the Web crawler, and language of php in programming of the search engine program, and language of HTML5 and JAVASCRIPT for giving some of aesthetics and security on the search engine, and BOOTSTRAP framework to divide the screen search engine site to three panels: the head panel, and the body panel, and the tail panel. Results that have been reached by this research represented in the following: Been developed Arabic search engine, and was resolved the encoding problem for Arabic web pages in web crawler program, and it was obtained search results that more accurate and relevant with the required query. The most important recommendations for this research are how to create a grammatical dictionary that helps to address the grammatical errors of the search terms in Arabic, the implementation of the concept of semantic search, and finally benefit from the techniques of data exploration in improving and improving the search process in the Arab search engine.