সুচিপত্র:
সংজ্ঞা - মানচিত্রের অর্থ কী?
কম্পিউটারের ক্লাস্টারে বৃহত ডেটা সেট প্রসেসিং এবং উত্পাদন করার জন্য গুগল দ্বারা প্রবর্তিত একটি প্রোগ্রামিং মডেল ম্যাপ্রেডস।
গুগল প্রথমে গুগলের ওয়েব পৃষ্ঠার সূচিকরণের জন্য কাঠামোটি তৈরি করেছিল এবং নতুন কাঠামোটি পূর্ববর্তী সূচী অ্যালগরিদমগুলি প্রতিস্থাপন করেছিল। শিক্ষানবিশ বিকাশকারীরা মানচিত্রের ফ্রেমওয়ার্কটি উপকারী বলে মনে করেন কারণ গ্রন্থাগার রুটিনগুলি ইনফ্রা-ক্লাস্টার যোগাযোগ, টাস্ক মনিটরিং বা ব্যর্থতা পরিচালনার প্রক্রিয়া সম্পর্কে কোনও উদ্বেগ ছাড়াই সমান্তরাল প্রোগ্রাম তৈরি করতে ব্যবহার করা যেতে পারে।
মানচিত্রের পণ্য মেশিনের একটি বৃহত ক্লাস্টারে চালিত হয় এবং এটি অত্যন্ত স্কেলযোগ্য। এটিতে জাভা, সি # এবং সি ++ এর মতো একাধিক প্রোগ্রামিং ল্যাঙ্গুয়েজ দ্বারা সরবরাহের বিভিন্ন রূপ রয়েছে।
টেকোপিডিয়া মানচিত্রের ব্যাখ্যা দেয়
মানচিত্রের ফ্রেমওয়ার্কের দুটি অংশ রয়েছে:
- "মানচিত্র" নামে একটি ফাংশন যা বিতরণ ক্লাস্টারের বিভিন্ন পয়েন্টকে তাদের কাজ বিতরণের অনুমতি দেয়
- "হ্রাস" নামে একটি ফাংশন যা ক্লাস্টারদের ফলাফলের চূড়ান্ত রূপকে এক আউটপুটে কমাতে ডিজাইন করা হয়েছে
মানচিত্রের ফ্রেমওয়ার্কের প্রধান সুবিধা হ'ল এটির ফল্ট সহনশীলতা, যেখানে ক্লাস্টারের প্রতিটি নোড থেকে পর্যায়ক্রমিক প্রতিবেদনগুলি কাজ শেষ হলে প্রত্যাশিত।
একটি কাজ অন্য নোড থেকে অন্য নোডে স্থানান্তরিত হয়। যদি মাস্টার নোড লক্ষ্য করে যে কোনও নোড প্রত্যাশার চেয়ে দীর্ঘ ব্যবধানের জন্য নিরব রয়েছে, তবে মূল নোড হিমায়িত / বিলম্বিত কার্যটিতে পুনরায় নিয়োগ প্রক্রিয়া সম্পাদন করে।
মানচিত্রের ফ্রেমওয়ার্কটি কার্যকরী প্রোগ্রামিংয়ে ব্যবহৃত "মানচিত্র" এবং "হ্রাস" ফাংশন দ্বারা অনুপ্রাণিত হয়। একটি ফাইল সিস্টেম বা একটি ডাটাবেসের মধ্যে সঞ্চিত ডেটাতে গণনা প্রক্রিয়াকরণ ঘটে, যা ইনপুট কী মানগুলির একটি সেট নেয় এবং আউটপুট কী মানগুলির একটি সেট উত্পাদন করে।
প্রতিদিন, গুগলের ক্লাস্টারে অসংখ্য মানচিত্রের প্রোগ্রাম এবং ম্যাপ্রেডিউস কাজ সম্পাদিত হয়। প্রোগ্রামগুলি স্বয়ংক্রিয়ভাবে পণ্য মেশিনের বৃহত ক্লাস্টারে সমান্তরাল এবং কার্যকর হয়। রানটাইম সিস্টেমটি ইনপুট ডেটা বিভক্তকরণ, মেশিনগুলির একটি সেট জুড়ে প্রোগ্রামটির সম্পাদনের সময়সূচি নির্ধারণ, মেশিনের ব্যর্থতা পরিচালনা এবং প্রয়োজনীয় আন্তঃমাচীন যোগাযোগ পরিচালনার সাথে কাজ করে। সমান্তরাল এবং বিতরণ সিস্টেমের সাথে কোনও অভিজ্ঞতা ছাড়াই প্রোগ্রামাররা সহজেই একটি বৃহত বিতরণ ব্যবস্থার সংস্থান ব্যবহার করতে পারে।
ম্যাপ্রেডিউস ডিস্ট্রিবিউটেড গ্রেপ, ডিস্ট্রিবিউটড সাজ্ট, ওয়েব লিংক-গ্রাফ রিভার্সাল, ওয়েব অ্যাক্সেস লগ স্ট্যাটাস, ডকুমেন্ট ক্লাস্টারিং, মেশিন লার্নিং এবং স্ট্যাটিস্টিকাল মেশিন অনুবাদে ব্যবহৃত হয়।
