সুচিপত্র:
প্রত্যেকে হাদোপ সম্পর্কে কথা বলছে, গরম নতুন প্রযুক্তি যা বিকাশকারীদের মধ্যে অত্যন্ত মূল্যবান এবং কেবল বিশ্বের পরিবর্তন করতে পারে (আবার)। তবে শুধু এটা কি, যাইহোক? এটি কি প্রোগ্রামিংয়ের ভাষা? একটি ডাটাবেস? একটি প্রসেসিং সিস্টেম? একটি ভারতীয় চা আরামদায়ক?
বিস্তৃত উত্তর: হাদুপ এই সমস্ত জিনিস (চা আরামদায়ক বাদে) এবং আরও অনেক কিছু। এটি একটি সফ্টওয়্যার লাইব্রেরি যা আরও আধুনিক আধুনিক বাজওয়ার্ডের সস্তা, দরকারী প্রক্রিয়াকরণের জন্য একটি প্রোগ্রামিং কাঠামো সরবরাহ করে: বড় ডেটা।
হাডোপ কোথা থেকে এল?
অ্যাপাচি হাদুপ একটি অলাভজনক সংস্থা আপাচি সফটওয়্যার ফাউন্ডেশন থেকে ফাউন্ডেশন প্রকল্পের অংশ, যার লক্ষ্য "জনস্বার্থের জন্য সফ্টওয়্যার সরবরাহ করা"। এর মতো, হ্যাডোপ লাইব্রেরিটি সমস্ত বিকাশকারীদের জন্য বিনামূল্যে, মুক্ত-উত্স সফ্টওয়্যার।
অন্তর্নিহিত প্রযুক্তি যা হাদোপকে শক্তি দেয় আসলে গুগল আবিষ্কার করেছিল। প্রথম দিনগুলিতে, অতি-দৈত্য নয় এমন সার্চ ইঞ্জিনটি ইন্টারনেট থেকে তারা যে পরিমাণ প্রচুর পরিমাণে ডেটা সংগ্রহ করছিল তা সূচীকরণের একটি উপায়ের প্রয়োজন এবং এটি তার ব্যবহারকারীদের জন্য অর্থবহ, প্রাসঙ্গিক ফলাফলগুলিতে পরিণত করে। বাজারে তাদের প্রয়োজনীয়তা মেটাতে পারে এমন কিছুই না থাকায় গুগল তাদের নিজস্ব প্ল্যাটফর্ম তৈরি করেছে।
এই উদ্ভাবনগুলি নাচ নামে একটি উন্মুক্ত উত্স প্রকল্পে প্রকাশিত হয়েছিল, যা পরে হাদুপ একটি ভিত্তি হিসাবে ব্যবহার করেছিল as মূলত, হডোপ গুগলের শক্তিটিকে বড় আকারের ডেটাতে এমনভাবে প্রয়োগ করে যা সমস্ত আকারের সংস্থাগুলির পক্ষে সাশ্রয়ী।
হাডোপ কীভাবে কাজ করে?
পূর্বে উল্লিখিত হিসাবে, হাদোপ একটি জিনিস নয় - এটি অনেকগুলি বিষয়। হ্যাডোপ হ'ল সফটওয়্যার লাইব্রেরিতে চারটি প্রাথমিক অংশ (মডিউল) এবং একটি সংখ্যক অ্যাড-অন সলিউশন রয়েছে (যেমন ডাটাবেস এবং প্রোগ্রামিং ল্যাঙ্গুয়েজ) যা এর আসল-বিশ্বের ব্যবহারকে বাড়িয়ে তোলে। চারটি মডিউল হ'ল:- হডোপ কমন: এটি হ'ডোপ মডিউলগুলিকে সমর্থন করে এমন সাধারণ ইউটিলিটিগুলির (সাধারণ পাঠাগার) সংগ্রহ)
- হ্যাডোপ ডিস্ট্রিবিউটড ফাইল সিস্টেম (এইচডিএফএস): স্ট্রাকড ডেটাতে কোনও বিধিনিষেধ ব্যতীত একটি শক্তিশালী বিতরণ করা ফাইল সিস্টেম (যার অর্থ ডেটা কাঠামোগত বা কাঠামোগত এবং স্কিমলেস হতে পারে, যেখানে অনেক ডিএফএস কেবল কাঠামোগত ডেটা সংরক্ষণ করবে) যা রিডানডেন্সির সাথে হাই-থ্রুপুট অ্যাক্সেস সরবরাহ করে ( এইচডিএফএস একাধিক মেশিনে ডেটা সংরক্ষণ করার অনুমতি দেয় - সুতরাং যদি কোনও মেশিন ব্যর্থ হয়, অন্য মেশিনগুলির মাধ্যমে উপলভ্যতা বজায় থাকে)।
- হডোপ ইয়ার্ন: এই কাঠামোটি কাজের সময়সূচী এবং ক্লাস্টার রিসোর্স পরিচালনার জন্য দায়ী; এটি নিশ্চিত করে যে অপ্রয়োজনীয়তা বজায় রাখতে ডেটা একাধিক মেশিনের মধ্যে পর্যাপ্ত পরিমাণে ছড়িয়েছে। ইয়ার্ন হ'ল মডিউল যা হ্যাডোপকে বড় ডেটা প্রক্রিয়া করার জন্য সাশ্রয়ী এবং ব্যয় সাশ্রয়ী উপায় করে তোলে।
- হ্যাডোপ ম্যাপ্রেইডুস: গুগল প্রযুক্তিতে তৈরি এই ইয়ার্ন-ভিত্তিক সিস্টেমটি বড় ডেটা সেটগুলির কাঠামোগত সমান্তরাল প্রক্রিয়াকরণ করে (কাঠামোগত এবং কাঠামোগত না করা)। এমপিপি এবং নোএসকিউএল ডাটাবেস সহ আজকের বেশিরভাগ বড় ডেটা প্রসেসিং ফ্রেমওয়ার্কগুলিতে মানচিত্রের সন্ধানও পাওয়া যায়।
বড় ডেটা সহ কাজ করার জন্য প্রয়োজনীয় প্রসেসিং পাওয়ারের পরিমাণটি পরিচালনা করতে পারে এমন হার্ডওয়্যারটি এটিকে হালকাভাবে রাখার জন্য ব্যয়বহুল। এটি হ্যাডোপের আসল উদ্ভাবন: ব্যর্থতা রোধের জন্য অ্যাপ্লিকেশন পর্যায়ে বিল্ট-ইন রিডানডেন্সি সহ একাধিক, আরও ছোট মেশিন, যার প্রতিটি তার নিজস্ব স্থানীয়করণ এবং স্টোরেজ সহ প্রচুর পরিমাণে প্রসেসিং শক্তি ভাঙ্গার ক্ষমতা।
হাদুপ কী করে?
সহজভাবে উল্লেখ করা হয়েছে, হ্যাডোপ বড় ডেটা সবার কাছে অ্যাক্সেসযোগ্য এবং ব্যবহারযোগ্য করে তোলে।
হাদুপের আগে, বড় বড় ডেটা ব্যবহার করা সংস্থাগুলি বেশিরভাগ ক্ষেত্রে রিলেশনাল ডাটাবেস এবং এন্টারপ্রাইজ ডেটা গুদাম (যা বিপুল পরিমাণে ব্যয়বহুল হার্ডওয়্যার ব্যবহার করে) দিয়ে থাকে। যদিও এই সরঞ্জামগুলি কাঠামোগত ডেটা প্রক্রিয়াকরণের জন্য দুর্দান্ত - যা এমন ডেটা যা ইতিমধ্যে সাজানো এবং ব্যবস্থাপনামূলক উপায়ে সংগঠিত করা হয় - অব্যবহৃত কাঠের ডেটা প্রক্রিয়াকরণের ক্ষমতা অত্যন্ত সীমাবদ্ধ ছিল, তাই এটি কার্যত অস্তিত্বহীন ছিল। ব্যবহারযোগ্য হওয়ার জন্য, ডেটা প্রথমে কাঠামোগত করতে হয়েছিল যাতে এটি টেবিলগুলিতে ঝরঝরে ফিট করে।
হাদুপ কাঠামোটি সেই প্রয়োজনীয়তাটি পরিবর্তন করে এবং এটি সস্তার সাথে করে। হ্যাডোপের সাহায্যে, 10 থেকে 100 গিগাবাইট এবং এর বেশি পরিমাণের ডেটা, কাঠামোগত এবং কাঠামোগত উভয়ই সাধারণ (পণ্য) সার্ভার ব্যবহার করে প্রক্রিয়া করা যায়।
হাদুপ প্রতিটি শিল্পে সমস্ত আকারের ব্যবসায়ের জন্য সম্ভাব্য বড় ডেটা অ্যাপ্লিকেশন নিয়ে আসে। ওপেন-সোর্স কাঠামোটি ফিনান্স সংস্থাগুলি পোর্টফোলিও মূল্যায়ন এবং ঝুঁকি বিশ্লেষণের জন্য পরিশীলিত মডেল তৈরি করতে বা অনলাইন খুচরা বিক্রেতাকে তাদের অনুসন্ধানের উত্তরগুলি সূক্ষ্ম-সুর করতে এবং গ্রাহকদের যে পণ্য কেনার সম্ভাবনা রয়েছে তার দিকে নির্দেশ করতে দেয়।
হাদুপের সাথে, সম্ভাবনাগুলি সত্যই সীমাহীন।
