বড় ডেটা বিবর্তন

2000 এর দশকের গোড়ার দিকে, এটি স্পষ্ট ছিল যে তথ্যের ক্ষেত্রে নতুনত্বের বিশাল প্রয়োজন ছিল। সংস্থাগুলি তাদের ডেটা হতাশ এক্সিকিউটিভগুলির সাথে কী করতে পারে তার সীমাবদ্ধতা এবং দক্ষতা অভাবজনকভাবে হ্রাস পেয়েছে। অনেক সংস্থাগুলি প্রচুর পরিমাণে তথ্য সঞ্চিত করে, তবে এটি তাদের সুবিধার্থে এটি পরিচালনা করতে, বিশ্লেষণ করতে বা হেরফের করতে পারে নি। এটি এই ক্রমবর্ধমান চাপ যা বড় ডেটা সীমান্তের দিকে এগিয়ে যায়।

2003 সালে, গুগল ম্যাপ্রেডিউস তৈরি করেছে এমন একটি ডেটা অ্যাপ্লিকেশন যা ফার্মটিকে অল্প সময়ের মধ্যে কয়েক হাজার সার্ভার জুড়ে তার অনুসন্ধান অনুসন্ধানগুলি সম্পর্কিত তথ্য প্রক্রিয়া এবং বিশ্লেষণের অনুমতি দেয়। স্কেলযোগ্য এবং অভিযোজ্য উভয়ই, প্রোগ্রামটি গুগলকে কয়েক মিনিটের মধ্যেই কয়েক হাজার ডেটা কার্য সম্পাদন করার অনুমতি দেয়, যা উত্পাদনশীলতার উন্নতি করে এবং ডেটা দিয়ে কী করা যায় সে সম্পর্কে অনুভূতি সীমাটিকে নতুন করে সংজ্ঞায়িত করে। প্রায় 10 বছর পরে, বড় ডেটা তথ্য প্রযুক্তির একটি কেন্দ্রীয় টেনেটে পরিণত হয়েছে। এর সুদূরপ্রসারী সুযোগ এবং ক্ষমতা কর্মক্ষেত্রে ডেটা ম্যানেজমেন্টকে মৌলিকভাবে পরিবর্তন করেছে। তবে কী এই বিবর্তনকে উত্সাহিত করেছে এবং কীভাবে বড় ডেটা ভবিষ্যতে প্রভাব ফেলবে? আমরা ভেবেছিলাম আপনি কখনও জিজ্ঞাসা করবেন না। (বড় ডেটাতে কিছু পটভূমি পড়ার জন্য, বিগ ডেটা দেখুন: এটি কীভাবে ক্যাপচার করা হয়, ক্র্যাঞ্চ করা হয় এবং ব্যবসায়িক সিদ্ধান্ত নিতে ব্যবহৃত হয়))

বড় ডেটা প্রশ্নগুলির উত্তর অনুসন্ধান করা

অত্যন্ত জটিল কাজগুলিকে সরল করে দেওয়ার জন্যই ম্যাপ্রেডসের সৌন্দর্য ছিল। যোগাযোগ মেশিন জুড়ে পরিচালিত হতে পারে, সিস্টেমের ব্যর্থতাগুলি মোকাবেলা করা যেতে পারে এবং ইনপুট ডেটা স্বয়ংক্রিয়ভাবে সংগঠিত করা যেতে পারে, এমন একটি প্রক্রিয়া যা ব্যক্তিদের দ্বারা তদারকি করা যেতে পারে যার পক্ষে এখন পর্যন্ত উচ্চ প্রযুক্তিগত দক্ষতার প্রয়োজন নেই। ডেটা প্রসেসিং কেবল সম্ভবই নয়, অ্যাক্সেসযোগ্যও করে গুগল ডেটা ম্যানেজমেন্টে একটি সাংস্কৃতিক পরিবর্তনকে অনুপ্রাণিত করেছিল। হাজার হাজার বড় বড় সংস্থাগুলি তাদের ডেটার জন্য মানচিত্রের ব্যবহার করার আগে খুব বেশি দিন হয়নি।

তবে একটি সমস্যা ছিল: ম্যাপ্রেডুস ছিল কেবল একটি প্রোগ্রামিং মডেল। এটি ডেটা প্রক্রিয়াকরণের প্রাথমিক বিষয়গুলির সুবিধার্থে, এটি বিদ্যমান ডেটা ত্রুটিগুলির নিজের উত্তর নয়; এটি সঠিক দিকের একটি খুব প্রয়োজনীয় পদক্ষেপ ছিল। কর্পোরেশনগুলিকে এখনও এমন একটি সিস্টেমের প্রয়োজন ছিল যা তাদের অনন্য ডেটার প্রয়োজনগুলিকে মোকাবেলা করতে এবং ডেটা পরিচালনার খালি প্রয়োজনীয়তার বাইরে চলে যেতে পারে। সংক্ষেপে, প্রযুক্তিটি বিকশিত হওয়া দরকার।

হ্যাডোপ প্রবেশ করান

ডড কাটিং সহ বেশ কয়েকটি প্রোগ্রামার দ্বারা তৈরি একটি ওপেন-সোর্স ফ্রেমওয়ার্ক সফটওয়্যার হ্যাডোপ প্রবেশ করান। যেখানে ম্যাপ্রেডুস বেসিক এবং বিস্তৃত ছিল, হ্যাডোপ একটি সতেজতা সুনির্দিষ্টতা সরবরাহ করেছে। সংস্থাগুলি তাদের নিজস্ব দরজি দ্বারা তৈরি অ্যাপ্লিকেশনগুলি ডিজাইন করতে পারে যা কোনও অন্যান্য সফ্টওয়্যার পারে না এমন উপায়ে ডেটা প্রয়োজনগুলিকে সম্বোধন করে এবং এটি অন্যান্য ফাইল সিস্টেমের সাথে সাধারণত উপযুক্ত ছিল। প্রতিভাবান প্রোগ্রামারদের সমন্বিত একটি ফার্ম এমন একটি ফাইল সিস্টেম ডিজাইন করতে পারে যা এমন ডেটার সাথে অনন্য কাজগুলি অর্জন করবে যা আগে পৌঁছনোয় না বলে মনে হয়েছিল। সম্ভবত এটি সম্পর্কে সর্বোত্তম অংশটি হ'ল ডেভেলপাররা একে অপরের মধ্যে অ্যাপ্লিকেশন এবং প্রোগ্রামগুলি ভাগ করে নেয় যা ব্যাখ্যা এবং পরিপূর্ণ হতে পারে।

এই জাতীয় গুরুত্বপূর্ণ সংস্থানকে গণতান্ত্রিক করে হ্যাডোপ একটি ট্রেন্ডে পরিণত হয়েছিল। সর্বোপরি, যে অনেক বড় কর্পোরেশন, বিশেষত সার্চ ইঞ্জিন সংস্থাগুলি অনুভব করেছিল যে কয়েক দশক ধরে তাদের এটির প্রয়োজন ছিল! ইয়াহু-র মতো সার্চ ইঞ্জিন জায়ান্টরা ওয়েব হ্যাডো কোপগুলিতে ব্যবহৃত ডেটা তৈরি করে এমন বড় হ্যাডোপ অ্যাপ্লিকেশনগুলির প্রয়োগের ঘোষণা দেওয়ার আগে খুব বেশি দিন হয়নি। Aেউয়ের মতো বলে মনে হচ্ছিল, বেশ কয়েকটি নামী সংস্থাগুলি ফেসবুক, অ্যামাজন, ফক্স, অ্যাপল, ইবে এবং ফোরস্কয়ার সহ তাদের বিশাল ডেটাবেসগুলির জন্য এই প্রযুক্তি গ্রহণের ঘোষণা দিয়েছে। হ্যাডোপ ডেটা প্রসেসিংয়ের জন্য নতুন মান সেট করে।

বড় ডেটা, বড় সমস্যা

যদিও তথ্য প্রযুক্তির অগ্রগতিগুলি সংস্থাগুলি ডেটার সাথে আচরণের পদ্ধতিটিকে নতুন আকার দিয়েছে, তবুও অনেক এক্সিকিউটিভ তাদের প্রয়োজনীয় কাজের সম্পূর্ণ পরিসরের জন্য অপ্রস্তৃত মনে করেন। জুলাই ২০১২-এ, ওরাকল ৩০০-এরও বেশি সি-লেভেল এক্সিকিউটিভের সমীক্ষা প্রকাশ করেছেন, যারা প্রকাশ করেছেন যে ৩ 36 শতাংশ সংস্থাগুলি তথ্য পরিচালনার এবং বিশ্লেষণে আইটি-র উপর নির্ভর করে, তাদের মধ্যে ২৯ শতাংশ মনে করেন যে তাদের সিস্টেমে তাদের সংস্থাগুলির সাথে সাক্ষাত করার মতো পর্যাপ্ত দক্ষতার অভাব রয়েছে। চাহিদা. সমীক্ষাটির সম্ভবত সবচেয়ে আকর্ষণীয় অনুসন্ধানটি ছিল যে 93৩ শতাংশ উত্তরদাতারা বিশ্বাস করেছিলেন যে সংগৃহীত ডেটা ব্যবহার করতে সক্ষম না হয়ে তাদের ফার্ম তার রাজস্বের ১৪ শতাংশ পর্যন্ত হারাচ্ছে। এটি এমন উপার্জন যা আরও ভাল পণ্য তৈরি করতে এবং আরও শ্রমিক নিয়োগের জন্য ব্যয় করা যেতে পারে। এমন সময়ে যেখানে সংস্থাগুলি লাভজনক থাকার জন্য লড়াই করছে, তথ্য সংশোধন করা যাতে সংস্থাগুলি আরও বেশি লাভজনক হয়ে উঠতে পারে এটি একটি প্রয়োজনীয়তা। জরিপটি ইঙ্গিত দেয় যে যারা বিশ্বাস করে যে বাণিজ্যে বড় ডেটার প্রভাব ইতিমধ্যে পেরিয়ে গেছে, এখনও এটির বিকাশ এবং অগ্রগতির সুযোগগুলি পুরোপুরি বাস্তবায়িত হয়নি।

ভবিষ্যত বড় ডেটার জন্য কী ধারণ করে

সুসংবাদটি হ্যাডোপ এবং ম্যাপ্রেডিউস আরও অনেক ডেটা ম্যানেজমেন্ট সরঞ্জামকে অনুপ্রাণিত করেছে। অনেকগুলি নতুন সংস্থা বিস্তৃত ডেটা প্ল্যাটফর্ম তৈরি করছে যা হ্যাডোপে চালিত হয়, তবে বিশ্লেষণমূলক ফাংশন এবং সহজতর সিস্টেম ইন্টিগ্রেশনের বিস্তৃত অ্যারে সরবরাহ করে। দেখে মনে হয় যে কর্পোরেশনগুলি ডেটা উদ্বেগের সমাধানের জন্য প্রচুর সংস্থান সম্পদ বিনিয়োগ করেছে এবং ডেটা সংস্থাগুলির আর্থিক সাফল্যই এর প্রমাণ হয়ে দাঁড়িয়েছে। ২০১০ সালে ডেটা সংস্থাগুলি খুচরা বিক্রয় আনুমানিক 2.২ বিলিয়ন ডলার করেছে। অনেক বিশেষজ্ঞ অনুমান করেছেন যে এই সংখ্যাটি কেবল ২০১৫ সাল নাগাদ মোট ১op বিলিয়ন ডলারে উন্নীত হবে। এটি এমন একটি বাস্তবতা যা কিছু বৃহত্তম প্রযুক্তি সংস্থার কাছে হারিয়ে যায়নি। আইবিএম এবং ওরাকল উভয়ই গত কয়েক মাস ধরে ডেটা সংস্থাগুলি অর্জনে কয়েক হাজার কোটি টাকা ব্যয় করেছে। প্রতিযোগিতামূলক বাজারে অংশ নেওয়ার জন্য অন্যান্য অনেক সংস্থাগুলি আসন্ন বছরগুলিতে একই রকম পদক্ষেপ নেবে।

বিগ ডেটা ফ্রন্টিয়ার

যে পরিমাণ ডেটা সংগ্রহ করা হয় তা তাত্ক্ষণিকভাবে বৃদ্ধি পেতে থাকে যা কিছুটা চিন্তিত এবং অন্যরা উত্তেজিত। উত্সাহটি হ'ল মানবেরা তথ্যের বিশ্লেষণের মাধ্যমে আমাদের বিশ্ব সম্পর্কে নতুন জিনিস শিখার সাথে সাথে আরও উত্পাদনশীল এবং অভিযোজিত হতে থাকবে। নেতিবাচক দিকটি হ'ল এমন বিশাল পরিমাণে ডেটা রয়েছে যা অনেকেই ভয় করে যে আমরা এগুলি সঠিকভাবে সংরক্ষণ করতে অক্ষম, অনেক কম সঠিকভাবে এটি পরিচালনা করা যাতে এটির প্রয়োজনে যারা ব্যবহার করতে পারে।

এটি বলেছিল, বড় ডেটাতে অগ্রগতি ডেটা সংক্রান্ত জরুরি সমস্যার সমাধানের জন্য অভূতপূর্ব সুযোগ প্রদান করতে পারে। উদাহরণস্বরূপ, বিশেষজ্ঞরা পরামর্শ দিয়েছেন যে দক্ষতা এবং মানের উপর জোর দিয়ে যদি বড় ডেটা সঠিকভাবে প্রয়োগ করা হয় তবে কেবলমাত্র স্বাস্থ্যসেবা ব্যয়েই প্রতি বছর প্রায় 300 বিলিয়ন ডলার সাশ্রয় করার সম্ভাবনা থাকবে; খুচরা বিক্রেতারা তাদের অপারেটিং মার্জিন উন্নত করতে সক্ষম হবে, পাবলিক সেক্টর আরও ভাল পরিষেবা প্রদান করতে পারে এবং বৃহত উদ্যোগগুলি কোটি কোটি টাকা বাঁচাতে পারে। এবং সুতরাং, দেখে মনে হচ্ছে যে আমাদের ডেটা সমস্যাগুলি সমাধান করা কেবল সংস্থার বোর্ডরুমগুলিতেই নয়, সর্বত্রই প্রয়োজন। যা বড় ডেটার ভবিষ্যতের সম্পর্কে ভাল জিনিস বলে - এবং সম্ভবত আমাদেরও।