সুচিপত্র:
- হাদুপ এর শুরুটা কীভাবে করলেন?
- হাদোপ সম্পর্কে এত গুরুত্বপূর্ণ কী?
- পড়াতে স্কিমা কী?
- মধু কি?
- হাদোপ কোন ধরণের ডেটা বিশ্লেষণ করে?
- আপনি কি হাদোপের সত্যিকারের বিশ্বের উদাহরণ দিতে পারেন?
- হাদুপ ইতিমধ্যে অপ্রচলিত বা কেবল মরফিং করছে?
হাদুপ কী? এটি হলুদ খেলনা হাতি। আপনি যা আশা করেছিলেন তা নয়? এটি সম্পর্কে: ডগ কাটিং - এই ওপেন সোর্স সফ্টওয়্যার প্রকল্পের সহ-স্রষ্টা - নিজের ছেলের কাছ থেকে নাম ধার করেছিলেন যিনি তার খেলনা হাতি হাদুপকে ডাকেন। সংক্ষেপে, হ্যাডোপ হ'ল অ্যাপাচি সফটওয়্যার ফাউন্ডেশন দ্বারা নির্মিত একটি সফ্টওয়্যার কাঠামো যা ডেটা-ইনটেনসিভ, ডিস্ট্রিবিউটেড কম্পিউটিং ডেভেলপ করতে ব্যবহৃত হয়। এবং এটি অন্য একটি বাজওয়ার্ড পাঠকদের একটি মূল উপাদান: বড় ডেটা যথেষ্ট পরিমাণে পাওয়া যায় না বলে মনে হয়। এই অনন্য, অবাধে লাইসেন্সযুক্ত সফ্টওয়্যার সম্পর্কে আপনার সাতটি বিষয় জানা উচিত।
হাদুপ এর শুরুটা কীভাবে করলেন?
বারো বছর আগে, গুগল বিপুল পরিমাণে ডেটা সংগ্রহ করে তা পরিচালনা করতে একটি প্ল্যাটফর্ম তৈরি করেছিল। সংস্থাটি প্রায়শই এটি করে, গুগল তার নকশাটি দুটি কাগজপত্রের আকারে জনসাধারণের কাছে উপলভ্য করেছে: গুগল ফাইল সিস্টেম এবং মানচিত্রে uce
একই সময়ে, ডগ কাটিং এবং মাইক কাফেরেলা একটি নতুন সার্চ ইঞ্জিন নাচতে কাজ করছিলেন। দু'জন কীভাবে বিপুল পরিমাণে ডেটা পরিচালনা করবেন তা নিয়ে লড়াই করে যাচ্ছিলেন। এরপরে গুগলের কাগজপত্র দুটি নিয়ে গবেষকরা পেলেন। ভাগ্যবান ছেদটি কাটিং এবং ক্যাফেরেলা কে একটি আরও ভাল ফাইল সিস্টেমের সাথে পরিচয় করিয়ে দিয়ে এবং ডেটা ট্র্যাক রাখার একটি উপায় অবশেষে হাদুপ তৈরির দিকে নিয়ে যায়।
হাদোপ সম্পর্কে এত গুরুত্বপূর্ণ কী?
আজ, ডেটা সংগ্রহ করা আগের চেয়ে সহজ। এই সমস্ত ডেটা থাকা অনেক সুযোগ উপস্থাপন করে তবে চ্যালেঞ্জগুলিও রয়েছে:- প্রচুর পরিমাণে ডেটা প্রক্রিয়াকরণের নতুন পদ্ধতিগুলির প্রয়োজন।
- ক্যাপচার করা তথ্যটি একটি অরক্ষিত বিন্যাসে রয়েছে।
এর পরে, তাদের বিন্যাসে থাকা কাঠামোগত ডেটা বা ডেটা মোকাবেলা করতে হয়েছিল যে স্ট্যান্ডার্ড রিলেশনাল ডাটাবেস সিস্টেমগুলি পরিচালনা করতে অক্ষম। কাটিং এবং ক্যাফেরেলা হ্যাডোপকে যে কোনও ধরণের ডেটা দিয়ে কাজ করার জন্য ডিজাইন করেছিলেন: কাঠামোগত, কাঠামোগত, চিত্র, অডিও ফাইল, এমনকি পাঠ্য। এই ক্লৌডেরা (হ্যাডোপ ইন্টিগ্রেটার) শ্বেত কাগজটি কেন এটি গুরুত্বপূর্ণ তা ব্যাখ্যা করে:
-
"আপনার সমস্ত ডেটা ব্যবহারযোগ্য করে তোলার মাধ্যমে, কেবলমাত্র আপনার ডাটাবেসে যা আছে তা নয়, হাদুপ আপনাকে গোপনীয় সম্পর্কগুলি উন্মোচন করতে দেয় এবং উত্তরগুলি প্রকাশ করে যা সর্বদা পৌঁছানোর বাইরে থাকে। আপনি হার্ড ডেটার উপর ভিত্তি করে আরও সিদ্ধান্ত নেওয়া শুরু করতে পারেন, শিকারের পরিবর্তে, এবং চেহারা সম্পূর্ণ ডেটা সেটগুলিতে, কেবল নমুনা এবং সারাংশ নয় ""
পড়াতে স্কিমা কী?
যেমনটি আগেই উল্লেখ করা হয়েছিল, হ্যাডোপের অন্যতম সুবিধা হ'ল এটির কাঠামোগত ডেটা পরিচালনা করার ক্ষমতা। এক অর্থে, এটি "রাস্তার নিচে লাথি মারছে"। শেষ পর্যন্ত তথ্য বিশ্লেষণের জন্য কোনও ধরণের কাঠামোর প্রয়োজন।
সেই কারণেই পঠন সংক্রান্ত স্কিমা কার্যকর হয়। পঠিত স্কিমা হ'ল ডেটাটি কোন ফর্ম্যাটটিতে রয়েছে, কোথায় ডেটা পাবেন (মনে রাখবেন ডেটাটি বেশ কয়েকটি সার্ভারের মধ্যে ছড়িয়ে ছিটিয়ে রয়েছে) এবং ডেটাতে কী করা উচিত - এটি কোনও সাধারণ কাজ নয়। বলা হয়ে থাকে যে হ্যাডোপ সিস্টেমে ডেটা ম্যানিপুলেটেড করার জন্য ব্যবসায় বিশ্লেষক, একজন পরিসংখ্যানবিদ এবং জাভা প্রোগ্রামার এর দক্ষতা প্রয়োজন। দুর্ভাগ্যক্রমে, এই যোগ্যতাগুলির অনেক লোক নেই।
মধু কি?
হ্যাডোপ যদি সফল হতে থাকে তবে ডেটা সহ কাজ করা সহজ করতে হবে। সুতরাং, মুক্ত-উত্সব ভিড় কাজ করতে পেরে এবং মাতালকে তৈরি করেছে:-
"এইচআইভি এই ডেটাতে কাঠামো প্রজেক্ট করার জন্য এবং এইচআইকিউএল নামে একটি এসকিউএল-জাতীয় ভাষা ব্যবহার করে ডেটাটিকে জিজ্ঞাসা করার একটি প্রক্রিয়া সরবরাহ করে the একই সময়ে এই ভাষাটি অসুবিধাগ্রস্থ হলে বা প্রথাগত মানচিত্র / হ্রাসকারী প্রোগ্রামারগুলিকে তাদের কাস্টম ম্যাপারগুলি এবং হ্রাসকারীগুলিতে প্লাগ করতে দেয় traditional এই যুক্তিটি HiveQL এ প্রকাশ করতে অক্ষম। "
এইচআইভি উভয় বিশ্বের সেরাকে সক্ষম করে: এসকিউএল কমান্ডগুলির সাথে পরিচিত ডেটাবেস কর্মীরা ডেটা ম্যানিপুলেট করতে পারে এবং পড়ার প্রক্রিয়াতে স্কিমার সাথে পরিচিত বিকাশকারীরা এখনও কাস্টমাইজড কোয়েরি তৈরি করতে সক্ষম।
হাদোপ কোন ধরণের ডেটা বিশ্লেষণ করে?
ওয়েব অ্যানালিটিক্স হ'ল প্রথম জিনিস যা মনে আসে, ওয়েবসাইটগুলি অপ্টিমাইজ করার জন্য ওয়েব লগ এবং ওয়েব ট্র্যাফিক বিশ্লেষণ করে। উদাহরণস্বরূপ, ফেসবুকটি অবশ্যই ওয়েব অ্যানালিটিক্সের মধ্যে রয়েছে, হ্যাডোপ ব্যবহার করে সংস্থাটি যে পরিমাণ টেরাবাইট ডেটা সংগ্রহ করে তা সারণি করে।
সংস্থাগুলি ঝুঁকি বিশ্লেষণ, জালিয়াতি সনাক্তকরণ এবং গ্রাহক-বেস বিভাজন সম্পাদনের জন্য হডোপ ক্লাস্টার ব্যবহার করে। ইউটিলিটি সংস্থাগুলি তাদের বৈদ্যুতিক গ্রিড থেকে সেন্সর ডেটা বিশ্লেষণ করতে হাদোপ ব্যবহার করে, যাতে তাদের বিদ্যুতের উত্পাদন অনুকূলিত করে তোলে। টার্গেট, 3 এম এবং মেডট্রনিক্সের মতো একটি বড় সংস্থাগুলি পণ্য বিতরণ, ব্যবসায়ের ঝুঁকি মূল্যায়ন এবং গ্রাহক-বেস বিভাগকে অনুকূলকরণের জন্য হাদুপ ব্যবহার করে।
বিশ্ববিদ্যালয়গুলি হ্যাডোপেও বিনিয়োগ করা হয়। সফ্টওয়্যার সেন্ট টমাস গ্র্যাজুয়েট প্রোগ্রামস বিশ্ববিদ্যালয়ের একজন সহযোগী অধ্যাপক ব্র্যাড রুবিন উল্লেখ করেছিলেন যে তাঁর হ্যাডোপ দক্ষতা বিশ্ববিদ্যালয়ের গবেষণা দলগুলি দ্বারা সংকলিত প্রচুর পরিমাণে তথ্য সংগ্রহ করতে সহায়তা করছে।
আপনি কি হাদোপের সত্যিকারের বিশ্বের উদাহরণ দিতে পারেন?
এর অন্যতম সুপরিচিত উদাহরণ হ'ল টাইমসম্যাচিন। নিউইয়র্ক টাইমস এর পুরো পৃষ্ঠা সংবাদপত্র টিআইএফএফ চিত্র, সম্পর্কিত মেটাডেটা এবং ১৮২১ সাল থেকে ১৯২২ সাল পর্যন্ত টেরাবাইটের পরিমাণের তথ্য সংকলন রয়েছে। এনওয়াইটির ডেরেক গটফ্রিড, ইসি 2 / এস 3 / হ্যাডোপ সিস্টেম এবং বিশেষায়িত কোড ব্যবহার করে:-
"৪০৫, ০০০ টি খুব বড় টিআইএফএফ চিত্র, এসজিএমএলে ৩.৩ মিলিয়ন নিবন্ধ এবং টিআইএফএফগুলিতে আয়তক্ষেত্রাকার অঞ্চলগুলিতে ম্যাপিং প্রবন্ধের ৪০৫, ০০০ এক্সএমএল ফাইল। "
অ্যামাজন ওয়েব সার্ভিসেস ক্লাউডে সার্ভার ব্যবহার করে গটফ্রিড উল্লেখ করেছেন যে তারা টাইমসম্যাচিনের জন্য প্রয়োজনীয় সমস্ত ডেটা 36 ঘন্টারও কম সময়ে প্রক্রিয়া করতে সক্ষম হয়েছিল।
হাদুপ ইতিমধ্যে অপ্রচলিত বা কেবল মরফিং করছে?
হাদুপ এখন প্রায় এক দশক ধরে প্রায় হয়েছে। এটির অনেকের বক্তব্য এটি অচল। একজন বিশেষজ্ঞ ড। ডেভিড রিকো বলেছেন যে "আইটি পণ্যগুলি স্বল্পকালীন হয় dog কুকুরের বছরে গুগলের পণ্যগুলি প্রায় 70০ এবং হ্যাডোপ ৫ 56 হয়" "
রিকো যা বলে তার কিছুটা সত্য হতে পারে। দেখা যাচ্ছে যে হাদোপ একটি বড় ব্যবস্থার মধ্য দিয়ে চলছে। এটি সম্পর্কে আরও জানতে, রুবিন আমাকে টুইন সিটিস হ্যাডোপ ইউজার গ্রুপের সভায় আমন্ত্রণ জানিয়েছিলেন এবং আলোচনার বিষয়টি ছিল ইয়ার্নের পরিচিতি:
-
"অ্যাপাচি হ্যাডোপ 2 এ একটি নতুন ম্যাপ্রেইডুস ইঞ্জিন অন্তর্ভুক্ত রয়েছে, যার আরও ভাল স্কেলিবিলিটি এবং রিসোর্স ব্যবহার সহ পূর্ববর্তী বাস্তবায়নের তুলনায় অনেকগুলি সুবিধা রয়েছে Y
