ওয়েব ক্রলার কী? - টেকোপিডিয়া থেকে সংজ্ঞা

সংজ্ঞা - ওয়েব ক্রলারের অর্থ কী?

একটি ওয়েব ক্রলার একটি ইন্টারনেট বট যা ওয়েব ইনডেক্সিংয়ে সহায়তা করে। সমস্ত পৃষ্ঠাগুলি সূচী না হওয়া পর্যন্ত তারা কোনও ওয়েবসাইটের মাধ্যমে একটি পৃষ্ঠায় ক্রল করে। ওয়েব ক্রোলাররা কোনও ওয়েবসাইট এবং তাদের সম্পর্কিত লিঙ্ক সম্পর্কিত তথ্য সংগ্রহ করতে সহায়তা করে এবং এইচটিএমএল কোড এবং হাইপারলিঙ্কগুলিকে বৈধতা দিতে সহায়তা করে।

একটি ওয়েব ক্রলার একটি ওয়েব মাকড়সা, স্বয়ংক্রিয় সূচক বা কেবল ক্রলার হিসাবেও পরিচিত।

টেকোপিডিয়া ওয়েব ক্রলারের ব্যাখ্যা দেয়

ওয়েব ক্রোলাররা ওয়েবসাইটের ইউআরএল, মেটা ট্যাগের তথ্য, ওয়েব পৃষ্ঠার সামগ্রী, ওয়েবপৃষ্ঠায় থাকা লিঙ্কগুলি এবং সেই লিঙ্কগুলি থেকে শুরু করে গন্তব্যগুলি, ওয়েব পৃষ্ঠার শিরোনাম এবং অন্য কোনও প্রাসঙ্গিক তথ্য সংগ্রহ করে। তারা একই URL টি আবার ডাউনলোড করা এড়াতে ইতিমধ্যে ডাউনলোড করা URL গুলি সম্পর্কে নজর রাখে। পুনরায় দেখার নীতি, নির্বাচন নীতি, সমান্তরালীতি নীতি এবং ভদ্রতা নীতি হিসাবে নীতিগুলির সংমিশ্রণ ওয়েব ক্রলারের আচরণ নির্ধারণ করে। ওয়েব ক্রলারগুলির জন্য অনেকগুলি চ্যালেঞ্জ রয়েছে, যথা বৃহত এবং ক্রমাগতভাবে বিকশিত ওয়ার্ল্ড ওয়াইড ওয়েব, সামগ্রী নির্বাচন বাণিজ্য, সামাজিক বাধ্যবাধকতা এবং বিরোধীদের সাথে ডিল করা।

ওয়েব ক্রলারগুলি ওয়েব অনুসন্ধান ইঞ্জিন এবং সিস্টেমগুলির মূল উপাদান যা ওয়েব পৃষ্ঠাগুলি সন্ধান করে। তারা ওয়েব এন্ট্রিগুলি সূচিকায়নে সহায়তা করে এবং ব্যবহারকারীদেরকে সূচকের বিপরীতে প্রশ্নগুলি প্রেরণ করতে এবং তথ্যের সাথে মেলে এমন ওয়েবপৃষ্ঠাগুলি সরবরাহ করে। ওয়েব ক্রোলারগুলির আরেকটি ব্যবহার ওয়েব সংরক্ষণাগারে রয়েছে, যার মধ্যে বিভিন্ন সময় ওয়েবপৃষ্ঠাগুলি নিয়মিতভাবে সংগ্রহ ও সংরক্ষণাগারভুক্ত থাকে। ওয়েব ক্রলারগুলি ডেটা মাইনিংয়েও ব্যবহৃত হয়, যেখানে পৃষ্ঠাগুলির বিভিন্ন পরিসংখ্যানের মতো বিশ্লেষণ করা হয় এবং ডেটা বিশ্লেষণগুলি সেগুলি পরে সম্পাদিত হয়।