تعرف علي كيفية بناء محرك بحث مثل google.

هل فكرت يومًا في إنشاء محرك بحث كامل الميزات يعمل بشكل مشابه لـ Google أو Bing؟ برزت جوجل كواحدة من أكبر الشركات على الإنترنت في فترة زمنية قصيرة جدًا. ربما يكون جميع رواد الأعمال عبر الإنترنت قد استمتعوا برؤية نجاح Google كشركة. بالتفكير في التكنولوجيا ، كيف يعمل Google بهذه السرعة والقوة؟ كيف تدير Google التسامح مع الخطأ؟ أين تقوم Google بحفظ كل هذه البيانات من مليارات صفحات الويب؟ هل يمكنك إنشاء محرك بحث مثل جوجل؟ إذا كان الأمر كذلك فكيف؟

حسنًا ، عند التفكير في إنشاء محرك بحث مثل Google ، فأنت بحاجة إلى معرفة الجوانب المختلفة. بادئ ذي بدء ، لا يمكن بناء محرك بحث مثل google بين عشية وضحاها. يستغرق الزحف إلى جميع البيانات وتخزينها شهورًا أو حتى سنوات ، ولتصنيف النتائج ، لجعلها تزحف إلى الويب بالكامل تقريبًا. ولكن في العادة يجب أن تكون قادرًا على البدء في إنتاج نتائج البحث في غضون أسبوعين.

أين تخزن البيانات؟ أين تخزن Google البيانات؟ تمتلك Google قاعدة بيانات NOSQL فريدة تسمى BigTable حيث يتم تخزين بيانات البحث بالكامل. يعمل BigTable على نظام موزع يعمل على نظام HDFS موثوق للغاية. يدعم نظام الملفات هذا الحوسبة الموزعة لدعم آلاف الملاحظات المرفقة في الشبكة.

لا يمكنك تشغيل google على MySQL. فترة. ولا حتى في Oracle ، إذا كنت تبحث عن خدمة ذات نطاق عالمي. يجب أن يكون لديك شيء مشابه لـ BigTable والذي يعمل على نظام ملفات مثل HDFS. لكن BigTable هي تقنية خاصة بـ Google وليست مفتوحة المصدر وغير متاحة للجمهور ، باستثناء إصدار مستضاف منها تم توفيره مؤخرًا في google cloud.

Hadoop :Hadoop عبارة عن مجموعة من مكونات / برامج / أدوات bigdata المختلفة بما في ذلك HDFS الذي يعتبر على نطاق واسع أفضل نظام ملفات موزع متوفر الآن. Hadoop هو مصدر مفتوح تم بحثه وتطويره باستمرار بواسطة Apache! Hadoop هو أفضل نظام ملفات يمكنك استخدامه لتشغيل تطبيقات متعددة الآلات قابلة للتطوير بدرجة كبيرة مثل محركات البحث والتحليلات وما إلى ذلك ، يساعدك برنامج Hadoop على توصيل آلاف العقد معًا للعمل كنظام ملفات قابل للتوسيع.

HBase :Hbase هي قاعدة بيانات تعمل على نظام NOSQL (ليس فقط SQL) ، والتي يمكن أن تعمل أعلى Hadoop لتخزين بيتابايت من البيانات. على الرغم من أنها تستند إلى Java وتعتبر قاعدة بيانات موثوقة. يتم صيانة Hadoop بواسطة Apache.

Hypertable :Hypertable هي قاعدة بيانات NOSQL أخرى تعمل على Hadoop. إنه يعمل على أساس C ++ وتدعي شركة Hypertable أن الأداء أسرع بكثير في HBase. كما أن دعم Hypertable جيد جدًا ولديه مرونة أكبر في الاستعلامات مقارنة بـ HBase.

لذلك لتشغيل نسخة Google ، يجب عليك إما استخدام Hadoop + HBase أو Hadoop + Hypertable.

بالطبع أفهم أنك لا تريد أن تبدأ بمركز البيانات الخاص بك في البداية. تمتلك Google مركز بيانات خاص بها يتوسع باستمرار حول العالم. سيكون الحل المثالي للبدء هو الارتباط بمركز بيانات أو شركة مضيفة يمكنها توفير سلسلة من العقد (أجهزة الكمبيوتر) في شبكة واحدة. السبب الرئيسي وراء الحاجة إلى عقد في شبكة واحدة هو أنه بينما نقوم بتوسيع المزيد من العقد في المستقبل في نظام موزع قابل للتطوير ، يمكن للعقد الموجودة في نفس الشبكة المادية تحسين أداء محرك البحث الخاص بك بشكل كبير.

هنا يأتي الجزء الأكثر تعقيدًا وإثارة للاهتمام في رحلتك لبناء محرك بحث Google استنساخ. بغض النظر عن قرارك لاستخدام التكنولوجيا المناسبة أو استخدام البنية التحتية المناسبة ، إذا لم تكن الشفرة قوية ومصممة لإدارة قابلية التوسع ، فلن يكون عنكبوتك فعالًا بدرجة كافية. لست قادرًا على تغطية مكونات منطق برنامجك ، خوارزمية لبناء عنكبوت. على أي حال ، سيعطيك الرسم البياني أدناه الموجود على Inout Spider فكرة جيدة عن المكونات الرئيسية المطلوبة لبناء عنكبوت. Inout Spider هو تطبيق تجاري (يُنظر إليه على نطاق واسع على أنه تطبيق قوي لعنكبوت بيانات محرك البحث ، ونص قياسي لجوجل استنساخ) يعمل على تقنيات Hadoop و Hypertable. لذلك إذا لم تتمكن من كتابة التعليمات البرمجية بنفسك ، فإنني أوصيك بالتفكير في Inout Spider.

~~ملخص~~

إن بناء محرك بحث مثل google ، ليس مهمة سهلة أبدًا ، وإلا لكنا قد رأينا الكثير من النسخ المستنسخة من Google عبر الإنترنت. ولكن مع التكنولوجيا والأجهزة والبرامج المناسبة (تطبيقاتك الخاصة أو التجارية مثل Inout Spider) ، يمكن تحقيق حلمك.

التنصل: من خلال استنساخ Google ، لا أعني استنساخًا دقيقًا لجوجل ، يتم استخدام مصطلح Google كمرادف لـ "محرك البحث". تم وضع مسافة بادئة لهذه المقالة لمساعدتك في إنشاء محرك بحث قياسي مثل Google و Bing و Yahoo و Baidu وما إلى ذلك.

كيفية بناء محرك بحث مثل جوجل.