বড় আয়রন, বড় ডেটা দেখা: হ্যাডোপ এবং স্পার্কের সাহায্যে মেইনফ্রেম ডেটা মুক্ত করা

টেকোপিডিয়া স্টাফ দ্বারা, জুন 2, 2016

টেকওয়ে: হ্যাডোপ ইকোসিস্টেমটি মেইনফ্রেমে ব্যবহার করা হচ্ছে দ্রুত এবং দক্ষতার সাথে বড় ডেটা প্রক্রিয়া করার জন্য।

আপনি বর্তমানে লগ ইন নেই Please ভিডিওটি দেখতে লগ ইন বা সাইন আপ করুন।

এরিক কাভানাঘ: ঠিক আছে মহিলা এবং ভদ্রলোকগণ, বৃহস্পতিবার চারটা বাজে পূর্ব, এবং এই দিনগুলির অর্থ হট টেকনোলজিসের অবশ্যই সময় এটি। হ্যাঁ, আমার নাম এরিক কাভানাঘ। আমি আজকের ওয়েব সেমিনারে আপনার মডারেটর হব। এটি ভাল জিনিস, ভাবেন, "বিগ আয়রন, বিগ ডেটার সাথে দেখা করুন" - আমি কেবল সেই শিরোনামটি পছন্দ করি - "হ্যাডোপ এবং স্পার্কের সাথে মেইনফ্রেম ডেটা মুক্ত করা e" আমরা পুরানো মিটিং সম্পর্কে নতুন কথা বলতে যাচ্ছি। কি দারুন! আমরা গত 50 বছরের এন্টারপ্রাইজ আইটির মধ্যে যে কথা বললাম তার স্পেকট্রামটি coveringেকে রাখছি। স্পার্ক মেইনফ্রেমের সাথে দেখা করে, আমি এটি পছন্দ করি।

আপনার সম্পর্কে সত্যই একটি স্পট আছে এবং আমার সম্পর্কে যথেষ্ট। বছর গরম। আমরা এই সিরিজের গরম বিষয়গুলি নিয়ে কথা বলি কারণ আমরা সত্যই চেষ্টা করছি লোকেরা নির্দিষ্ট শৃঙ্খলা, নির্দিষ্ট জায়গাগুলি বুঝতে। এটির অর্থ কী, উদাহরণস্বরূপ, বিশ্লেষণযোগ্য প্ল্যাটফর্ম রয়েছে? মেইনফ্রেমগুলি থেকে বড় ডেটা মুক্ত করার অর্থ কী? এই সমস্ত জিনিস মানে কি? আমরা আপনাকে নির্দিষ্ট ধরণের প্রযুক্তি বোঝার জন্য সাহায্য করার চেষ্টা করছি, যেখানে সেগুলি মিশ্রণের সাথে ফিট করে এবং কীভাবে আপনি সেগুলি ব্যবহার করতে পারেন।

আমাদের আজ দু'জন বিশ্লেষক এবং তারপরে অবশ্যই সিন্ডসোর্টের টেন্ডের ইয়োগার্টু। তিনি আমাদের মহাকাশে স্বপ্নদ্রষ্টা, আজ আমাদের অনলাইন ডেস ব্ল্যাঞ্চফিল্ড এবং ডাঃ রবিন ব্লুরকে পেয়ে তাঁর খুব আনন্দিত। আমি দ্রুত কয়েকটা শব্দ বলব। একটি হ'ল ভাবেন, আপনি এই প্রক্রিয়াটিতে একটি বড় ভূমিকা পালন করেন, তাই দয়া করে কিছু ভাল প্রশ্ন জিজ্ঞাসা করতে লজ্জা পাবেন না। আমরা ওয়েবকাস্টের প্রশ্নোত্তর পর্বের সময়ে তাদের কাছে যেতে চাই, যা সাধারণত শো শেষে হয়। এবং আমি যা বলতে চাই তা হ'ল আমরা প্রচুর ভাল সামগ্রী পেয়েছি, তাই এই ছেলেরা কী বলবে তা শুনে আমি উত্তেজিত। এবং এটি দিয়ে, আমি এটি দেজ ব্লাঞ্চফিল্ডের হাতে দেব। দেজ, মেঝে তোমার, এটিকে নিয়ে যাও।

ডেজ ব্লাঞ্চফিল্ড: আপনাকে ধন্যবাদ, এরিক এবং আজকে উপস্থিত থাকার জন্য আপনাকে ধন্যবাদ। তাই আমি যখন বিশ্বের আমার প্রিয় একটি জিনিস, মেইনফ্রেমস সম্পর্কে কথা বলার সুযোগ পাই তখন আমি বেশ উত্তেজিত হয়ে যাই get আজকাল তারা খুব বেশি ভালবাসা পায় না। আমার দর্শন মেনফ্রেমটি ছিল মূল বড় ডেটা প্ল্যাটফর্ম। কিছু তর্ক করবে যে তারা তখনকার কম্পিউটার ছিল এবং এটি তৈরি করার পক্ষে একটি উপযুক্ত বিন্দু, তবে point০ বছরেরও বেশি সময় ধরে তারা প্রকৃতপক্ষে বড় ডেটা যে হিসাবে ব্যবহৃত হয়েছে তা জনপ্রিয়তার ইঞ্জিন রুম হয়ে গেছে। এবং কেন আমি বিশ্বাস করি সে ক্ষেত্রে আমি আপনাকে একটি সামান্য ভ্রমণে নিয়ে যাচ্ছি।

আপনি এখন পর্দায় যে চিত্রটি দেখেন তা মেইনফ্রেমস শিফট প্রসঙ্গে প্রযুক্তিগত হার্ডওয়্যার স্ট্যাকের একটি যাত্রা আমরা দেখেছি। এটি আমার পছন্দের একটি পুরানো FACOM মেনফ্রেম me আমরা নিজেকে বড় আয়রনের ধাপ, নব্বইয়ের দশকের শেষের দিকে এবং ডট-কম বুমের মধ্যে নিয়ে এসেছি। এটি সান মাইক্রোসিস্টেমস E10000। এই জিনিসটি 96 সিপিইউতে একটি পরম দানব ছিল। মূলত 64 তবে এটি 96 সিপিইউতে আপগ্রেড করা যেতে পারে। প্রতিটি সিপিইউ 1, 024 থ্রেড চালাতে পারে। প্রতিটি থ্রেড একই সাথে প্রয়োগের হারে হতে পারে। এটি কেবল রাক্ষসী ছিল এবং এটি আসলে ডট-কম বুমকে চালিত করেছিল। এগুলি সমস্ত বড় ইউনিকর্নস হিসাবে আমরা তাদের ডাকছি, এখন আমরা চলছে, এবং কেবলমাত্র বড় উদ্যোগগুলি নয়, কয়েকটি বড় ওয়েবসাইট।

এবং তারপরে আমরা এই সাধারণ অফ শেল্ফ পণ্য পিসি মডেলটি দিয়ে শেষ করেছি। আমরা কেবলমাত্র সস্তা মেশিনগুলিকে একসাথে আটকে দিয়েছি এবং আমরা একটি ক্লাস্টার তৈরি করেছি এবং আমরা বড় লোহার চ্যালেঞ্জের কাছে পৌঁছেছি এবং বিশেষত হডুপ প্রকল্পের আকারে বড় ডেটাতে পরিণত হয়েছে যা ওপেন সোর্স অনুসন্ধান ইঞ্জিন, নচচকে উদ্ভূত করেছে। এবং আমরা মূলত মেইনফ্রেম এবং প্রচুর ছোট্ট সিপিইউগুলি একসাথে আটকানো এবং এল-পাথের মতো কাজ করতে সক্ষম হয়ে আলাদা চাকরী বা চাকরির অংশগুলি চালানোর আকারে তৈরি করেছিলাম এবং তারা বেশ কার্যকরভাবে কার্যকর হয়েছিল। আপনি যদি ছোট শুরু করেন তবে সস্তা, তবে অবিচ্ছিন্নভাবে এই বড় ক্লাস্টারের অনেকগুলি একটি মেইনফ্রেমের চেয়ে ব্যয়বহুল।

এই বিষয়গুলিতে আমার মতামতটি হ'ল যে ডট-কম বুম থেকে শুরু করে যা ওয়েব ২.০ হয়ে গেছে এবং এখন ইউনিকর্নদের তাড়া করে, আমরা ভুলে গিয়েছি যে এই প্ল্যাটফর্মটি এখনও আমাদের অনেক বড় মিশন-সমালোচনামূলক সিস্টেমকে বাইরে শক্তি প্রয়োগ করে চলেছে। আমরা যখন সেখানে ভাবছি মেইনফ্রেম প্ল্যাটফর্মগুলিতে কী চলছে তা নিয়ে। এটি খুব বড় ডেটা, বিশেষত ডেটা ওয়ার্কহর্স, তবে অবশ্যই বড় ডেটা। Bankingতিহ্যবাহী উদ্যোগ এবং বিশেষত ব্যাংকিং এবং সম্পদ ব্যবস্থাপনা এবং বীমাগুলির মতো সরকারী সিস্টেমগুলি, আমরা প্রত্যেকে প্রতিদিন ব্যবহার করি।

এয়ারলাইন বুকিং এবং ফ্লাইট ম্যানেজমেন্ট সিস্টেমগুলি, বিশেষত ফ্লাইট পরিচালনা যেখানে রিয়েল-টাইম গুরুত্বপূর্ণ। প্রায়শই প্রতিটি রাজ্য এবং ফেডারেল সরকারের কোনও না কোনও সময়ে একটি মেইনফ্রেম ছিল এবং অবিচ্ছিন্নভাবে এখনও অনেকের কাছে রয়েছে। রিয়াল স্টেট। কিছু পুরানো সফ্টওয়্যার যা সবেমাত্র ছিল এবং কখনও যায়নি। কেবল বিদ্যুৎ উত্পাদন পরিবেশে চালিয়ে যায় এবং অবশ্যই স্কেলতে খুচরা। মেডিকেল সিস্টেম। প্রতিরক্ষা ব্যবস্থা, অবশ্যই প্রতিরক্ষা ব্যবস্থা।

কয়েক সপ্তাহ ধরে আমি এই প্রবন্ধটি পড়েছি যে কিছু ক্ষেপণাস্ত্র নিয়ন্ত্রণ ব্যবস্থা সমস্ত এখনও পুরানো মেইনফ্রেমে চলছে যার জন্য তারা অংশগুলি খুঁজতে লড়াই করছে ling তারা কীভাবে নতুন মেইনফ্রেমে আপগ্রেড করবেন তা নির্ধারণ করছেন। পরিবহন এবং সরবরাহ ব্যবস্থা। এগুলি সেক্সি বিষয়গুলির মতো নাও লাগতে পারে তবে এগুলি হ'ল বিষয়গুলি যা আমরা প্রতিদিনের ভিত্তিতে লাইনগুলি জুড়ে ডিল করি। এবং কিছু খুব বড় টেলিযোগাযোগ পরিবেশ এখনও মেইনফ্রেম প্ল্যাটফর্মগুলিতে চলছে।

আপনি যখন সেখানে থাকা তথ্যের ধরণেরগুলি সম্পর্কে চিন্তা করেন, তারা সমস্ত মিশনকে সমালোচনা করে। এগুলি আমাদের কাছে প্রতিদিনের জন্য মর্যাদাপূর্ণ গ্রহণ করা সত্যই গুরুত্বপূর্ণ প্ল্যাটফর্ম এবং প্ল্যাটফর্ম এবং বিভিন্ন উপায়ে জীবনকে সম্ভব করে তোলে। তাহলে কে এখনও একটি মেইনফ্রেম ব্যবহার করছে এবং এই সমস্ত লোক যারা এই বড় প্ল্যাটফর্মগুলিতে ধরে আছে এবং এই সমস্ত ডেটা ধরে রেখেছে? ঠিক আছে, আমি এখানে যেমন বলেছি আমি বিশ্বাস করি যে মেইনফ্রেমটি মারা গেছে এবং চলে গেছে এই ভেবে যে মিডিয়া বড় লোহা থেকে সাধারণ লোহা থেকে সাধারণ অফ-শেল্ফ ক্লাস্টার বা সস্তা পিসি বা এক্স 86 মেশিনের র্যাকগুলিতে বোকা বানানো সহজ। তবে তথ্য বলছে যে মেনফ্রেমটি কখনও যায় নি এবং বাস্তবে এটি এখানেই রয়েছে।

আমি গত কয়েক সপ্তাহ ধরে এখানে যে গবেষণাটি একসাথে রেখেছি তা প্রমাণ করেছে যে 70০ শতাংশ এন্টারপ্রাইজ, বিশেষত বৃহত উদ্যোগ, তথ্য এখনও কিছু ফর্মের মেইনফ্রেমে থাকে। ফরচুন 500 এর একাত্তর শতাংশ এখনও কোথাও কোথাও মেইনফ্রেমে মূল বিজনেস সিস্টেম পরিচালনা করে। আসলে, এখানে অস্ট্রেলিয়ায়, আমাদের বেশ কয়েকটি সংস্থার একটি শহরের মাঝখানে একটি ডেটা সেন্টার রয়েছে। এটি কার্যকরভাবে একটি ভূগর্ভস্থ কম্পিউটার এবং মেনফ্রেমগুলির সংখ্যা কেবল সেখানে চলছে, টিক টিক করছে এবং আনন্দের সাথে তাদের কাজ করছে। এবং খুব কম লোকই জানেন যে শহরের এক বিশেষ অংশে তাদের পায়ের নীচে রাস্তায় ঘুরে বেড়ানো এখানে মেনফ্রেমে ভরা এই বিশাল ডেটা সেন্টার। বিশ্বজুড়ে ১০০ টি ব্যাংকের মধ্যে বাইশটি, শীর্ষস্থানীয় ১০০ টি ব্যাংক যে এখনও মূল ফাইমে ব্যাংকিং ব্যবস্থা চালায়। বিশ্বের শীর্ষ 25 খুচরা চেইনগুলির তেইশটি এখনও ইআইপি এবং বিআই প্ল্যাটফর্মগুলিতে তাদের খুচরা পরিচালনা ব্যবস্থা চালানোর জন্য মেইনফ্রেমগুলি ব্যবহার করে।

আকর্ষণীয়ভাবে যথেষ্ট, শীর্ষ 10 বীমাকারীর মধ্যে 10 এখনও তাদের প্ল্যাটফর্মগুলি মেইনফ্রেমে চালায় এবং তারা আসলে তাদের মেঘ পরিষেবাগুলিকে মেইনফ্রেমে শক্তি দেয়। আপনি যদি কোনও ইন্টারফেস বা মিডলওয়্যার রয়েছে এমন কোথাও কোনও ওয়েব ইন্টারফেস বা একটি মোবাইল অ্যাপ্লিকেশন ব্যবহার করছেন, যা আসলে শেষ প্রান্তে সত্যিই ভারী এবং বড় কিছুতে কথা বলে।

আমি বিশ্বব্যাপী 225 টিরও বেশি রাজ্য এবং স্থানীয় সরকারী সংস্থা এখনও মেইনফ্রেম প্ল্যাটফর্মে চলছে found আমি নিশ্চিত যে এর অনেক কারণ আছে। হতে পারে তাদের কাছে নতুন আয়রন বিবেচনা করার বাজেট নেই তবে এটি বেশ কিছু সমালোচনামূলক ডেটা সহ মেইনফ্রেমে চলছে প্রচুর বিশাল পরিবেশের একটি বিশাল পদচিহ্ন। এবং আমি আগেই বলেছি, বেশিরভাগ দেশ এখনও তাদের মূল প্রতিরক্ষা ব্যবস্থা মেইনফ্রেমে চালায় run আমি নিশ্চিত যে তারা বিভিন্নভাবে সেখানে যাওয়ার চেষ্টা করছে তবে আপনি সেখানে যাচ্ছেন।

২০১৫ সালে আইডিসি একটি সমীক্ষা চালিয়েছিল এবং সিআইও'র 350 জরিপ জরিপ করেছে যে তারা এখনও মেইনফ্রেম আকারে বড় লোহার মালিকানা এবং পরিচালনা করেছে। এবং এটি আমাকে আঘাত করেছিল যে সম্ভবত এটি বর্তমানে বিশ্বব্যাপী উত্পাদনের ক্ষেত্রে প্রচুর পরিমাণে হ্যাডোপ ক্লাস্টারের সংখ্যার চেয়ে বেশি - এটি একটি আকর্ষণীয় সামান্য স্ট্যাটাস। আমি এগিয়ে যান এবং যাচাই করতে যাচ্ছি, কিন্তু এটি একটি বড় সংখ্যা ছিল। তিনশত পঞ্চাশ সিআইও জানিয়েছে যে তাদের এখনও এক বা একাধিক মেইনফ্রেমগুলি এখনও উত্পাদনে রয়েছে।

গত বছর, ২০১৫, আইবিএম আমাদের শক্তিশালী জেড 13 দিয়েছে, তাদের মেইনফ্রেম প্ল্যাটফর্মের 13 ^তম পুনরাবৃত্তি। মিডিয়াগুলি এই বিষয়টিকে ঘৃণ্য করেছিল কারণ তারা অবাক হয়েছিল যে আইবিএম এখনও মেইনফ্রেমগুলি তৈরি করছে। যখন তারা হুডটি তুলেছিল এবং জিনিসটির নীচে কী রয়েছে তা একবার দেখেছিলেন, তারা বুঝতে পেরেছিলেন যে এটি আসলে প্রায় প্রতিটি আধুনিক প্ল্যাটফর্মের সাথে সমান হয় যা আমরা বড় ডেটা, হ্যাডোপ এবং অবশ্যই গুচ্ছগুলির আকারে উদ্দীপ্ত করতে চাই। এই জিনিসটি স্পার্কে চলেছে এবং এখন হ্যাডোপ দেশীয়ভাবে। আপনি এটিতে কয়েক হাজার এবং হাজার হাজার লিনাক্স মেশিন চালাতে পারতেন এবং এটি অন্য কোনও ক্লাস্টারের মতো দেখে মনে হয়েছিল। এটি বেশ অবাক করা মেশিন ছিল।

বেশ কয়েকটি সংস্থাগুলি এই জিনিসগুলি হাতে নিয়েছিল এবং বাস্তবে আমি কতগুলি মেশিন গ্রহণ করছে সে সম্পর্কে আমি কিছু তথ্য দিয়েছি। এখন আমি দেখতে পেয়েছি যে 3270 টেক্সট টার্মিনালটি কিছু সময়ের জন্য ওয়েব ব্রাউজার এবং মোবাইল অ্যাপ্লিকেশন দ্বারা প্রতিস্থাপন করা হয়েছে এবং প্রচুর পরিমাণে ডেটা সমর্থন করে যা এটি সমর্থন করে। আমি মনে করি এখন আমরা এমন এক যুগে প্রবেশ করছি যেখানে আমরা বুঝতে পেরেছি যে এই মেইনফ্রেমগুলি চলে যাচ্ছে না এবং তাদের উপর প্রচুর পরিমাণে ডেটা রয়েছে। এবং তাই আমরা এখন যা করছি কেবল তা-যা শেল্ফ অ্যানালিটিক্স সরঞ্জামগুলি আমি কল করি। এগুলি কাস্টম-বিল্ট অ্যাপস নয়। এগুলি এমন এক জিনিস যা বন্ধ হয়ে যায়। এগুলি এমন জিনিস যা আপনি আক্ষরিক অর্থে কেবল সে প্রতি প্যাকেজড বাক্সে কিনতে পারেন এবং আপনার মেইনফ্রেমে প্লাগ ইন করতে পারেন এবং কিছু বিশ্লেষণ করতে পারেন।

যেমনটি আমি আগেই বলেছি যে, মেইনফ্রেমটি আসলে প্রায় 60 বছরেরও বেশি সময় ধরে ছিল। যখন আমরা এটি কত দীর্ঘ সম্পর্কে চিন্তা করি, এটি বেশিরভাগ জীবিত আইটি পেশাদারদের ক্যারিয়ারের চেয়ে বেশি দীর্ঘ। এবং আসলে সম্ভবত তাদের জীবন কিছু, এমনকি। ২০০২ সালে আইবিএম ২, ৩০০ মেইনফ্রেম বিক্রি করেছিল। ২০১৩ সালে এটি বেড়েছে ২, 7০০ মেইনফ্রেমে। এটি ২০১৩ সালে এক বছরে মেইনফ্রেমগুলির ২, 7০০ বিক্রয়। আমি ২০১৫-তে সঠিক তথ্য পেতে পারিনি তবে আমি ধারণা করছি এটি ২০১৫, ২০১৩ সালে এক বছরে বিক্রি হওয়া ৩, ০০০ ইউনিটের কাছে খুব দ্রুতই কাছে গিয়েছে And এবং আমি এটি নিশ্চিত করতে সক্ষম হয়ে অপেক্ষায় রয়েছি।

জেড 13 প্রকাশের সাথে সাথে একটি মেইনফ্রেম প্ল্যাটফর্মের 13 ^তম পুনরাবৃত্তি, যা আমি মনে করি তাদের প্রায় 1.2 বা 1.3 বিলিয়ন ডলার স্ক্র্যাচ, আইবিএম থেকে বিকশিত হতে হয়েছিল, এটি এখানে এমন একটি মেশিন রয়েছে যা দেখতে অন্য ক্লাস্টারের মতো দেখতে লাগে এবং অনুভব করে যে আমাদের আজ আছে এবং স্থানীয়ভাবে হাদোপ এবং স্পার্ক চালাচ্ছে। এবং অবশ্যই অন্যান্য বিশ্লেষণ এবং বড় ডেটা সরঞ্জামগুলির সাথে সংযুক্ত হতে পারে বা আপনার বিদ্যমান বা নতুন হ্যাডোপ ক্লাস্টারের একটিতে অলক্ষিতভাবে সংযুক্ত থাকতে পারে। আমার এই মতামত আছে যে আপনার বড় ডেটা কৌশলে মেইনফ্রেম প্ল্যাটফর্মটি অন্তর্ভুক্ত করা আবশ্যক। স্পষ্টতই, আপনার যদি একটি থাকে, আপনি প্রচুর ডেটা পেয়েছেন এবং কীভাবে সেখান থেকে নামবেন তা আপনি নির্ধারণ করতে চান want এবং এগুলি ব্যবসায়ের জগতে যতটা মানসিক ও মানসিকভাবে চলে যায় তত উপায়ে ধূলিকণা সংগ্রহ করার জন্য রেখে দেওয়া হচ্ছে তবে তারা এখানেই রয়েছেন।

আপনার বিশ্লেষণ সরঞ্জামগুলির সমস্ত মেইনফ্রেম-হোস্ট করা ডেটাতে সংযোগ এবং ইন্টারফেসগুলি আপনার এন্টারপ্রাইজের এবং বিশেষত সরকারী বড় ডেটা পরিকল্পনার মূল অংশ হওয়া উচিত। এবং অবিচ্ছিন্নভাবে এখন সফ্টওয়্যারগুলি সেগুলি লক্ষ্য করছে, এগুলিকে ভাল করে দেখে এবং এই জিনিসগুলির মধ্যে কী রয়েছে তা উপলব্ধি করে এবং মনের সাথে সংযোগ স্থাপন করে যা কিছুটা অন্তর্দৃষ্টি এবং কিছুটা অনুভূতি পেতে শুরু করে যা আসলে হুডের নীচে রয়েছে for এবং এটির সাথে আমি আমার প্রিয় সহকর্মী ড। রবিন ব্লুরের হাতে তুলে দেব এবং তিনি এই ছোট্ট যাত্রায় যোগ দেবেন। রবিন, নিয়ে যাও।

রবিন ব্লার: আচ্ছা, ধন্যবাদ ঠিক আছে, যেহেতু ডেজ মেনফ্রেমের গানটি গেয়েছে, তাই আমি পুরানো মেইনফ্রেম ওয়ার্ল্ড এবং নতুন হাডোপ ওয়ার্ল্ডের ক্ষেত্রে যা মনে করি তাতে আমি যাব। আমি এখানে বড় প্রশ্ন অনুমান করি আপনি কীভাবে সেই সমস্ত ডেটা পরিচালনা করেন? এটা আমার মতামত নয় যে মেইনফ্রেমকে তার বড় ডেটা সক্ষমতা সম্পর্কে চ্যালেঞ্জ করা হচ্ছে - এর বড় ডেটা ক্ষমতা অত্যন্ত, যেমন ডেজ উল্লেখ করেছেন, এটি অত্যন্ত সক্ষম। বাস্তবে আপনি এটিতে হাদুপ ক্লাস্টার লাগাতে পারেন। যেখানে এটিকে চ্যালেঞ্জ করা হচ্ছে তা তার বাস্তুতন্ত্রের দিক থেকে এবং আমি এ সম্পর্কে বিস্তারিত বলব।

এখানে কিছু মেইনফ্রেম অবস্থান রয়েছে। এটির একটি উচ্চ প্রবেশ মূল্য রয়েছে এবং আসলে কী ঘটেছিল অতীতে, 90-এর দশকের মাঝামাঝি থেকে যখন মেইনফ্রেমগুলির জনপ্রিয়তা ডুবে যেতে শুরু করে, তখন এটির নিম্ন প্রান্তটি হারাতে থাকে, সেই লোকেরা যারা সস্তা মেইনফ্রেম কিনেছিল এবং এটি ছিল না এই ব্যক্তিদের জন্য বিশেষত অর্থনৈতিক নয়। তবে মেইনফ্রেমের মধ্য-পরিসীমা এবং উচ্চ-সীমার মধ্যে এটি উচ্চতর ছিল এটি এখনও ছিল প্রকৃতপক্ষে, এবং প্রকৃতপক্ষে প্রকৃতপক্ষে, অবিশ্বাস্যভাবে সস্তার কম্পিউটিং।

এটা বলা দরকার, লিনাক্স দ্বারা উদ্ধার হয়েছিল কারণ একটি মেইনফ্রেমে লিনাক্স প্রয়োগ করে অবশ্যই লিনাক্সের সমস্ত অ্যাপ্লিকেশন চালানো সম্ভব হয়েছিল। লিনাক্স অ্যাপ্লিকেশন প্রচুর সেখানে গিয়েছিল বড় ডেটা এমনকি একটি শব্দ বা আমার মনে হয় দুটি শব্দ। এটি প্রকৃতপক্ষে ব্যক্তিগত মেঘের জন্য একটি মোটামুটি দুর্দান্ত প্ল্যাটফর্ম। সে কারণে এটি হাইব্রিড ক্লাউড মোতায়েনে অংশ নিতে পারে। অন্যতম সমস্যা হ'ল মেইনফ্রেম দক্ষতা স্বল্প সরবরাহের। যে মেইনফ্রেম দক্ষতা রয়েছে সেগুলি আসলে এই অর্থে বৃদ্ধ হয় যে লোকেরা বছরের পর বছর অবসর নেওয়ার জন্য শিল্পটি ছেড়ে যায় এবং তারা কেবলমাত্র মানুষের সংখ্যার দিক থেকে প্রতিস্থাপন হচ্ছে। সুতরাং এটি একটি সমস্যা। তবে এটি এখনও সস্তা কম্পিউটারে রয়েছে।

যে অঞ্চলটিকে অবশ্যই এটি চ্যালেঞ্জ জানানো হয়েছে এটি পুরো হ্যাডোপ জিনিস। এটি আসল হডোপ হাতির সাথে ডগ কাটার একটি চিত্র। হাদুপ ইকোসিস্টেমটি - এবং এটি বহাল থাকবে - প্রভাবশালী বড় ডেটা ইকোসিস্টেম। এটি মেইনফ্রেমটি যেভাবে অর্জন করতে পারে তার চেয়ে আরও ভাল স্কেল সরবরাহ করে এবং এটি একটি দীর্ঘ পথ ধরে ডেটা স্টোর হিসাবে স্বল্প ব্যয় করে। হাদুপ ইকোসিস্টেমটি বিকশিত হচ্ছে। এ সম্পর্কে চিন্তাভাবনার সর্বোত্তম উপায় হ'ল একবার কোনও নির্দিষ্ট হার্ডওয়্যার প্ল্যাটফর্ম এবং এর সাথে অপারেটিং পরিবেশ প্রভাবশালী হয়ে ওঠে, তারপরে বাস্তুতন্ত্রটি সজীব হয়। এবং আইবিএম মেইনফ্রেমের সাথে এটি ঘটেছে। ঠিক আছে, পরে ডিজিটাল ভ্যাক্সের সাথে ঘটেছিল, সনের সার্ভারগুলির সাথে ঘটেছিল, উইন্ডোজের সাথে ঘটেছিল, লিনাক্সের সাথে ঘটেছিল।

এবং যা ঘটেছিল তা হ্যাডোপ, যা আমি সর্বদা চিন্তা করি বা ভাবতে পছন্দ করি, ডেটাগুলির জন্য এক ধরণের বিতরণ পরিবেশ হিসাবে, বাস্তুতন্ত্রটি অবিশ্বাস্য হারে বিকশিত হচ্ছে। আমি বোঝাতে চাইছি যদি আপনি কেবল ওপেন সোর্স, স্পার্ক, ফ্লিংক, কাফকা, প্রেস্টো এবং বিভিন্ন হ'ল ডিগ্রিবেস, নোএসকিউএল এবং এসকিউএল ক্ষমতাগুলি যোগ করেন যা এখন হ্যাডুপে বসে আছে imp হ্যাডোপ সর্বাধিক সক্রিয় বাস্তুতন্ত্র যা বাস্তবে সেখানে উপস্থিত রয়েছে, অবশ্যই কর্পোরেট কম্পিউটারে। তবে আপনি যদি এটি একটি ডেটাবেস হিসাবে বিবেচনা করতে চান তবে এটি বাস্তব ডেটাবেস হিসাবে বিশেষত ডেটা গুদাম স্থান হিসাবে আমি কী ভাবি তার সাথে এই মুহূর্তে কোনও তুলনা করা যায় না। এবং এটি নির্দিষ্ট পরিমাণে বেশ কয়েকটি বড় নোএসকিউএল ডাটাবেসের সাফল্য ব্যাখ্যা করে যা কাউচডিবি ইত্যাদির মতো হ্যাডোপে চালিত হয় না।

ডেটা হ্রদ হিসাবে এটি অন্য যে কোনও প্ল্যাটফর্মের তুলনায় অনেক বেশি সমৃদ্ধ বাস্তুতন্ত্রের এবং এটি থেকে বাস্তুচ্যুত হবে না। এর বাস্তুতন্ত্র কেবল ওপেন-সোর্স ইকোসিস্টেম নয়। হ্যাডোপের জন্য মূলত নির্মিত বা হাদুপে আমদানি করা পণ্য রয়েছে এমন একটি সফটওয়্যার সদস্যের এখন নাটকীয় সংখ্যা রয়েছে। এবং তারা সবেমাত্র একটি বাস্তুতন্ত্র তৈরি করেছে যা এর প্রস্থের সাথে প্রতিযোগিতা করতে পারে এমন কিছুই নেই। এবং এর অর্থ সত্যই এটি বড় ডেটা উদ্ভাবনের প্ল্যাটফর্ম হয়ে উঠেছে। তবে আমার মতে এটি এখনও অপরিণত এবং আমরা কী এবং কী নয় তা নিয়ে দীর্ঘ আলোচনা করতে পারি, আসুন বলি, হাডুপের সাথে ক্রিয়াকলাপে পরিপক্ক হয়েছি তবে আমি মনে করি যে বেশিরভাগ লোক যারা এই বিশেষ ক্ষেত্রটি দেখছেন তারা ভালই জানেন যে হ্যাডোপ মেইনফ্রেমের পিছনে কয়েক দশক পিছিয়ে রয়েছে। অপারেশনাল সক্ষমতা পদে।

বিকশিত ডেটা হ্রদ। ডেটা হ্রদ কোনও সংজ্ঞা অনুসারে একটি প্ল্যাটফর্ম এবং যদি আপনি মনে করেন যে এখন কর্পোরেট কম্পিউটিংয়ে কোনও ডেটা স্তর রয়েছে তবে এটি স্থির ডাটাবেসগুলির সাথে ডেটা লেকের তথ্য উপাত্ত তৈরির ক্ষেত্রে এটি ভাবতে খুব সহজ easy ডেটা লেকের অ্যাপ্লিকেশনগুলি অনেকগুলি এবং বিভিন্ন। আমি এখানে একটি ডায়াগ্রাম পেয়েছি যা কেবল বিভিন্ন ডেটা র্যাংলিং জিনিসগুলির মধ্য দিয়ে যায় যদি আপনি হ্যাডোপকে একটি মঞ্চ অঞ্চল হিসাবে বা হ্যাডোপ এবং স্পার্ককে মঞ্চ হিসাবে ব্যবহার করেন তবে এটি করা দরকার। এবং আপনি পুরো জিনিসটি পেয়েছেন - ডেটা বংশ, ডেটা ক্লিনিজিং, মেটাডেটা ম্যানেজমেন্ট, মেটাডেটা আবিষ্কার - এটি নিজেই ইটিএল এর জন্য ব্যবহার করা যেতে পারে তবে প্রায়শই ডেটা আনতে ইটিএল প্রয়োজন হয় Master মাস্টার ডেটা ম্যানেজমেন্ট, ডেটার ব্যবসায়ের সংজ্ঞা, পরিষেবা পরিচালনা হাডোপে কী ঘটছে, ডেটা লাইফ সাইকেল ম্যানেজমেন্ট, এবং ইডিএল হ্যাডোপ থেকে বেরিয়ে এসেছে, এবং আপনার সরাসরি বিশ্লেষণ অ্যাপ্লিকেশন রয়েছে যা আপনি হাদুপে চালাতে পারেন।

এবং এ কারণেই এটি খুব শক্তিশালী হয়ে উঠেছে এবং এটি কার্যকর ও কার্যকরভাবে প্রয়োগ করা হয়েছে, সাধারণত এটির উপরে কমপক্ষে এই ধরণের অ্যাপ্লিকেশনগুলির একটি সংগ্রহ রয়েছে। এবং সেই অ্যাপ্লিকেশনগুলির বেশিরভাগই, বিশেষত যেগুলির সম্পর্কে আমাকে ব্রিফ করা হয়েছে, সেগুলি এখনই মেইনফ্রেমে পাওয়া যায় না। তবে আপনি এগুলি মেইনফ্রেমে চালাতে পারবেন, একটি হ্যাডোপ ক্লাস্টারে যা মেইনফ্রেমের একটি বিভাগে চলছিল।

আমার মতে ডেটা হ্রদটি হয়ে উঠছে দ্রুত ডাটাবেস বিশ্লেষণ এবং বিআইয়ের জন্য প্রাকৃতিক মঞ্চায়ন অঞ্চল। এটি এমন জায়গায় পরিণত হয় যেখানে আপনি ডেটাটি গ্রহণ করেন, তা কর্পোরেট তথ্য বা বাহ্যিক ডেটা হোক না কেন এটির আগে থেকেই গণ্ডগোল করুন, আসুন আমরা বলি, ব্যবহারের জন্য যথেষ্ট পরিচ্ছন্ন এবং ব্যবহারের জন্য সু-কাঠামোগত এবং তারপরে আপনি এটি পাস করেন। এবং এই সব এখনও তার শৈশব মধ্যে।

আমার মতে, মেনফ্রেম / হ্যাডোপ সহাবস্থান সম্পর্কে ধারণা, প্রথমটি হ'ল বড় সংস্থাগুলি মেইনফ্রেম ত্যাগ করার সম্ভাবনা কম। আসলে, আমি সম্প্রতি যে ইঙ্গিতগুলি দেখেছি সেগুলি বোঝায় যে মেইনফ্রেমে একটি ক্রমবর্ধমান বিনিয়োগ রয়েছে। তবে তারা হাদুপ ইকোসিস্টেমটিকেও উপেক্ষা করবে না। আমি হ্যাডোপ ব্যবহার করে companies০ শতাংশ বড় বড় সংস্থার পরিসংখ্যান দেখছি এমনকি যদি তাদের বেশিরভাগই কেবল প্রোটোটাইপিং এবং পরীক্ষা-নিরীক্ষা করে।

এর পরে কনড্রামটি হ'ল, "আপনি এই দুটি জিনিসকে কীভাবে সহাবস্থান করবেন?" কারণ তাদের ডেটা ভাগ করা দরকার। যে ডেটা ডেটা হ্রদে আনা হয় তাদের মেইনফ্রেমে স্থানান্তর করতে হবে। মেইনফ্রেমে থাকা ডেটা অন্য ডেটাতে যোগ দেওয়ার জন্য ডেটা হ্রদে বা ডেটা লেকের মাধ্যমে যেতে হতে পারে। এবং এটি ঘটতে চলেছে। এবং এর অর্থ এটির জন্য দ্রুত ডেটা স্থানান্তর / ইটিএল ক্ষমতা প্রয়োজন। কাজের লোডগুলি গতিশীলভাবে ভাগ হতে চলেছে এটি অসম্ভব, এর মূল কথা বলা যাক, একটি মেইনফ্রেম পরিবেশ বা একটি হ্যাডোপ পরিবেশে কোনও কিছুর সাথে। এটি ভাগ করা ডেটা হতে চলেছে। এবং বেশিরভাগ ডেটা অনিবার্যভাবে হ্যাডোপের উপর নির্ভর করবে কারণ এটি এর জন্য সর্বনিম্ন ব্যয়ের প্ল্যাটফর্ম। এবং শেষ থেকে শেষের বিশ্লেষণী প্রক্রিয়াকরণ সম্ভবত সেখানেও বাস করবে।

সংক্ষেপে, শেষ পর্যন্ত আমাদের কর্পোরেট ডেটা স্তর হিসাবে বিবেচনা করা প্রয়োজন, যা অনেক সংস্থার মেনফ্রেমকে অন্তর্ভুক্ত করবে। এবং সেই ডেটা স্তরটিকে সক্রিয়ভাবে পরিচালনা করা দরকার। নইলে দু'জনেই ভাল থাকবে না। আমি বলটি আপনার কাছে ফিরিয়ে দিতে পারি এরিককে।

এরিক কাভানাঘ : আবারও, টেন্ডু just আমি আপনাকে কেবল উপস্থাপক করে তুলেছি, তাই এটি নিয়ে চলে যান।

টেন্ডু দইগার্টু: আপনাকে ধন্যবাদ, এরিক আমার থাকার জন্য আপনাকে ধন্যবাদ. সবাই কেমন আছেন. সংস্থার একটি সম্পদ হিসাবে আমরা কীভাবে ডেটাটিকে বিশ্লেষণ প্ল্যাটফর্মের মেইনফ্রেম থেকে বড় ডেটাতে সমতল করা হয় সে সম্পর্কে গ্রাহকদের সাথে সিঙ্কসর্টের অভিজ্ঞতার কথা বলব। এবং আমি আশা করি যে আমাদেরও শ্রোতাদের কাছ থেকে প্রশ্নগুলির জন্য অধিবেশন শেষে সময় হবে কারণ এটি সত্যই এই ওয়েবকাস্টগুলির সবচেয়ে মূল্যবান অংশ।

যারা সিঙ্কসর্ট কী করে জানেন না কেবল তাদের জন্য, সিঙ্কসর্ট একটি সফ্টওয়্যার সংস্থা। আমরা প্রায় 40 বছরেরও বেশি সময় পেরিয়েছি। মেইনফ্রেম সাইডে শুরু হয়েছিল এবং আমাদের পণ্যগুলি মেইনফ্রেম থেকে ইউনিক্স পর্যন্ত হডোপ, স্পার্ক, স্প্লানঙ্ক সহ উভয় প্রারম্ভিকভাবে এবং ক্লাউডে বিস্তৃত ডেটা প্ল্যাটফর্মগুলিতে ছড়িয়ে পড়ে। আমাদের ফোকাস সর্বদা ডেটা পণ্য, ডেটা প্রসেসিং এবং ডেটা ইন্টিগ্রেশন পণ্যগুলিতে ছিল।

বড় ডেটা এবং হাদুপ সম্পর্কে আমাদের কৌশল সত্যই প্রথম থেকেই বাস্তুসংস্থার অংশ হয়ে উঠেছে। খুব স্বল্প ওজনের ইঞ্জিন সহ ডেটা প্রসেসিংয়ে সত্যই মনোনিবেশিত বিক্রেতাদের মালিক হিসাবে আমরা ভেবেছিলাম যে হডোপ একটি ডেটা প্রসেসিং প্ল্যাটফর্ম হয়ে ওঠার এবং এই পরবর্তী প্রজন্মের ডেটা গুদাম আর্কিটেকচার সংস্থার অংশ হওয়ার একটি বড় সুযোগ ছিল। আমরা ২০১১ সাল থেকে ওপেন সোর্স অ্যাপাচি প্রকল্পগুলিতে ম্যাপ্রেইডুস দিয়ে শুরু করে অবদানকারী। হ্যাডোপ সংস্করণ 2 এর জন্য সেরা দশে রয়েছেন, এবং স্পার্ক প্যাকেজ সহ একাধিক প্রকল্পে অংশ নিয়েছেন, আমাদের কিছু সংযোগকারী স্পার্ক প্যাকেজগুলিতে প্রকাশিত হয়।

আমরা আমাদের খুব লাইটওয়েট ডেটা প্রসেসিং ইঞ্জিনটি উত্তোলন করি যা সম্পূর্ণ ফ্ল্যাট-ফাইল-ভিত্তিক মেটাডেটা এবং হ্যাডোপ বিতরণকারী ফাইল সিস্টেমের মতো বিতরণ করা ফাইল সিস্টেমের সাথে খুব ভালভাবে বসে। এবং আমরা আমাদের heritageতিহ্যটিকে মেইনফ্রেমে উত্তোলন করি, অ্যালগরিদমগুলির সাথে আমাদের দক্ষতার সাথে আমরা আমাদের বড় ডেটা পণ্য রাখি। এবং আমরা এখানে হর্টন ওয়ার্কস, ক্লৌডেরা, ম্যাপআর, স্প্লঙ্ক সহ বড় বড় বিক্রেতাদের, প্রধান খেলোয়াড়দের সাথে খুব ঘনিষ্ঠভাবে অংশীদার করছি। হর্টন ওয়ার্কস সম্প্রতি ঘোষণা করেছে যে তারা হডুওপের সাথে ইটিএল অন বোর্ডিংয়ের জন্য আমাদের পণ্যটি পুনরায় বিক্রয় করবে। ডেল এবং ক্লৌডেরার সাথে আমাদের খুব ঘনিষ্ঠ অংশীদারিত্ব রয়েছে যা তাদের বড় ডেটা প্রয়োগের অংশ হিসাবে আমাদের ইটিএল পণ্যটি পুনরায় বিক্রয় করছে। এবং স্প্লঙ্কটি আসলে, আমরা স্প্লঙ্ক ড্যাশবোর্ডগুলিতে একটি মেইনফ্রেম টেলিমেট্রি এবং সুরক্ষা ডেটা প্রকাশ করি। আমাদের একটি নিবিড় অংশীদারিত্ব আছে।

প্রতিটি সি-স্তরের নির্বাহীর মনে কী আছে? এটি সত্যই, "আমি কীভাবে আমার ডেটা সম্পদের মধ্যে ট্যাপ করব?" প্রত্যেকেই বড় ডেটার বিষয়ে কথা বলছে। প্রত্যেকে হ্যাডোপ, স্পার্ক, পরবর্তী কম্পিউটার প্ল্যাটফর্মের কথা বলছে যা আমাকে ব্যবসায়ের তত্পরতা তৈরি করতে এবং নতুন রূপান্তরকারী অ্যাপ্লিকেশনগুলি খুলতে সহায়তা করতে পারে। বাজারে যাওয়ার নতুন সুযোগ। প্রতিটি একক এক্সিকিউটিভ ভাবছেন, "আমার ডেটা কৌশল কী, আমার ডেটা উদ্যোগ কী, এবং আমি কীভাবে নিশ্চিত করব যে আমি আমার প্রতিযোগিতার পিছনে না থাকি এবং পরবর্তী তিন বছরে আমি এখনও এই বাজারে আছি?" আমরা আমরা আমাদের গ্রাহকদের সাথে যেমন কথা বলি তেমনি এটি দেখুন, যেমন আমরা আমাদের বিশ্বব্যাপী গ্রাহক বেসের সাথে কথা বলি, যা বেশ বড়, আপনি যেমন কল্পনা করতে পারেন, যেহেতু আমরা কিছুক্ষণ ধরে আছি।

আমরা এই সমস্ত সংস্থার সাথে কথা বলার সময় আমরা হ্যাডোপের সাথে ঘটেছিল বাধাগুলিতে প্রযুক্তি স্ট্যাকের মধ্যেও এটি দেখতে পাচ্ছি। সম্পদ হিসাবে ডেটা সম্পর্কে এই চাহিদাটি পূরণ করার জন্য এটি সত্যিই। একটি সংস্থার সমস্ত ডেটা সম্পদ উপার্জন করা। এবং আমরা এন্টারপ্রাইজ ডেটা গুদাম আর্কিটেকচারটি এমনভাবে বিকশিত হতে দেখেছি যে হ্যাডোপ এখন আধুনিক তথ্য আর্কিটেকচারের নতুন কেন্দ্র p এবং আমাদের বেশিরভাগ গ্রাহক, এটি আর্থিক পরিষেবাগুলিই হোক, বীমা হোক, খুচরা টেলকো, উদ্যোগগুলি সাধারণত হয় আমরা হাদুপকে পরিষেবা হিসাবে বা ডেটা হিসাবে ডেটা হিসাবে পাই find কারণ প্রত্যেকেই তাদের বাহ্যিক ক্লায়েন্ট বা অভ্যন্তরীণ ক্লায়েন্টদের জন্য ডেটা সম্পদ উপলব্ধ করার চেষ্টা করছে is এবং কয়েকটি সংস্থায় আমরা তাদের ক্লায়েন্টদের জন্য প্রায় ডেটা মার্কেটপ্লেসের মতো উদ্যোগ দেখতে পাই।

এবং এটি অর্জনের প্রথম ধাপগুলির মধ্যে একটি হ'ল এন্টারপ্রাইজ ডেটা হাব তৈরি করা। কখনও কখনও লোকেরা এটি ডেটা হ্রদ বলবে। এই এন্টারপ্রাইজ ডেটা হাবটি তৈরি করা যেমন মনে হয় তত সহজ নয় কারণ এন্টারপ্রাইজের কার্যত কোনও ডেটা অ্যাক্সেস এবং সংগ্রহ করা প্রয়োজন। এবং সেই তথ্যটি এখন মোবাইল সেন্সরগুলির মতো নতুন উত্সগুলির পাশাপাশি উত্তরাধিকারের ডেটাবেসগুলির থেকে এসেছে এবং এটি ব্যাচ মোডে এবং স্ট্রিমিং মোডে রয়েছে। তথ্যাবলী সংহতকরণ বরাবরই চ্যালেঞ্জ হয়ে দাঁড়িয়েছে, তথ্যের সংখ্যা এবং বিভিন্ন উত্স এবং বিভিন্ন বিতরণ শৈলীর সাথে, এটি ব্যাচ হোক বা রিয়েল-টাইম স্ট্রিমিং হোক, আজ থেকে পাঁচ বছর আগে, দশ বছর আগের তুলনায় এখন আরও চ্যালেঞ্জ। আমরা মাঝে মাঝে এটিকে উল্লেখ করি, "এটি আর আপনার বাবার ইটিএল নয়” "

সুতরাং আমরা বিভিন্ন তথ্য সম্পদ সম্পর্কে কথা বলতে। উদ্যোগগুলি যেমন নতুন ডেটাটি বোঝার চেষ্টা করছে, মোবাইল ডিভাইসগুলি থেকে তারা যে ডেটা সংগ্রহ করে তা কোনও গাড়ি প্রস্তুতকারকের সেন্সরগুলিই হোক বা এটি কোনও মোবাইল গেমিং সংস্থার ব্যবহারকারী ডেটা হোক না কেন, তাদের প্রায়শই সবচেয়ে গুরুত্বপূর্ণ ডেটা সম্পদের উল্লেখ করা দরকার এন্টারপ্রাইজ, যা গ্রাহকের তথ্য, উদাহরণস্বরূপ। এই অত্যন্ত গুরুত্বপূর্ণ ডেটা সম্পদগুলি প্রায়শই মেইনফ্রেমে থাকে। মেঘে সংগ্রহ করা, একটি জাপানের গাড়ি সংস্থার উত্পাদনকারী লাইনে বা আইটেম অ্যাপ্লিকেশনগুলির ইন্টারনেটের মাধ্যমে সংগ্রহ করা, এই উত্থিত নতুন উত্সগুলির সাথে মেইনফ্রেম ডেটা সংশোধন করে তাদের উত্তরাধিকারের ডেটা সেটগুলি উল্লেখ করে এই নতুন ডেটাটি উপলব্ধি করতে হবে। এবং এই লিগ্যাসির ডেটা সেটগুলি প্রায়শই মেইনফ্রেমে থাকে।

এবং যদি এই সংস্থাগুলি এটি করতে সক্ষম না হয়, মেইনফ্রেম ডেটাতে ট্যাপ করতে সক্ষম না হয় তবে একটি সুযোগ নেই। তারপরে একটি পরিষেবা হিসাবে ডেটা, বা এন্টারপ্রাইজের সমস্ত ডেটা উপকার করে নেওয়া সত্যিই সংস্থার সবচেয়ে গুরুত্বপূর্ণ সংস্থাগুলিতে আলতো চাপছে না। টেলিমেট্রি এবং সুরক্ষা ডেটা অংশও রয়েছে কারণ সমস্ত ট্রানজেকশনাল ডেটা মেইনফ্রেমে থাকে।

আপনি কোনও এটিএম-এ যাওয়ার কথা ভাবুন, আমি মনে করি যে উপস্থিতদের মধ্যে একটি অংশীদারদের এখানে ব্যাংকিং ব্যবস্থা রক্ষার জন্য একটি বার্তা পাঠিয়েছিল, যখন আপনি নিজের কার্ডটি স্যুইপ করছেন যে লেনদেনের ডেটা মূল ফ্রেমে বিশ্বব্যাপী বেশ সুন্দর। এবং মেইনফ্রেমগুলি থেকে সুরক্ষা ডেটা এবং টেলিমেট্রি ডেটা সুরক্ষা এবং সংগ্রহ এবং স্প্ল্যাঙ্ক ড্যাশবোর্ড বা অন্যগুলির মাধ্যমে স্পার্ক, এসকিউএল, যেগুলি ডেটা ভলিউম এবং বিভিন্ন ধরণের ডেটা রয়েছে তার কারণে এখনকার চেয়ে আরও গুরুত্বপূর্ণ হয়ে উঠেছে।

দক্ষতা সেটগুলি সবচেয়ে বড় চ্যালেঞ্জগুলির মধ্যে একটি। কারণ একদিকে আপনার কাছে দ্রুত পরিবর্তনশীল বড় ডেটা স্ট্যাক রয়েছে, আপনি জানেন না কোন প্রকল্পটি বাঁচতে চলেছে, কোন প্রকল্পটি টিকে থাকবে না, আমি কি হিভ বা পিগ বিকাশকারীদের নিযুক্ত করব? আমার কি ম্যাপ্রেডস বা স্পার্কে বিনিয়োগ করা উচিত? বা পরের জিনিস, ফ্লিঙ্ক, কেউ বলেন। আমার কি এই কম্পিউটার প্ল্যাটফর্মগুলির মধ্যে একটিতে বিনিয়োগ করা উচিত? একদিকে দ্রুত পরিবর্তিত বাস্তুতন্ত্রের সাথে সামঞ্জস্য রাখা একটি চ্যালেঞ্জ এবং অন্যদিকে আপনার কাছে এই উত্তরাধিকারের ডেটা উত্স রয়েছে। নতুন দক্ষতা সেটগুলি সত্যিই মেলে না এবং আপনার কোনও সমস্যা থাকতে পারে কারণ সেই সংস্থানগুলি সম্ভবত অবসরপ্রাপ্ত হতে পারে। এই সমস্ত উত্তরাধিকারী ডেটা স্ট্যাকগুলি বোঝে এবং উদীয়মান প্রযুক্তির স্ট্যাক বোঝে এমন লোকদের দক্ষতার সেটগুলির ক্ষেত্রে বড় ব্যবধান রয়েছে।

দ্বিতীয় চ্যালেঞ্জ হ'ল শাসন ব্যবস্থা। আপনি যখন প্ল্যাটফর্মগুলি জুড়ে সত্যই সমস্ত এন্টারপ্রাইজ ডেটা অ্যাক্সেস করছেন তখন আমাদের গ্রাহকরা এমন উদ্বেগ উত্থাপন করেছিলেন যে, "আমি আমার ডেটা অবতরণ করতে চাই না। আমি চাই না যে আমার ডেটা একাধিক জায়গায় অনুলিপি করা হোক কারণ আমি যতটা সম্ভব একাধিক অনুলিপি এড়াতে চাই। আমি মাঝখানে এটিকে অবতরণ না করেই শেষ থেকে শেষের দিকে যেতে চাই ”" এই ডেটা পরিচালনা করা একটি চ্যালেঞ্জ হয়ে যায়। এবং অন্য অংশটি হ'ল যদি আপনি সেই ডাটা অ্যাক্সেস করে যা বাধা দেয়, আপনি যদি মেঘে আপনার বেশিরভাগ ডেটা সংগ্রহ করে থাকেন এবং উত্তরাধিকারের ডেটা অ্যাক্সেস এবং রেফারেন্স করে থাকেন তবে নেটওয়ার্ক ব্যান্ডউইথ একটি ইস্যু হয়ে উঠবে, একটি ক্লাস্টার প্ল্যাটফর্ম। এই বড় ডেটা উদ্যোগ এবং উন্নত বিশ্লেষণ প্ল্যাটফর্ম এবং এখনও এন্টারপ্রাইজের সমস্ত ডেটা লাভারেজ করার ক্ষেত্রে অনেক চ্যালেঞ্জ রয়েছে।

সিঙ্কসর্ট যেটি অফার করে তা হ'ল আমাদের "কেবলমাত্র সেরা" হিসাবে উল্লেখ করা হয় কারণ আমরা কেবল সেরা নই তবে আমাদের গ্রাহকরা সত্যই মেনফ্রেম ডেটা অ্যাক্সেস এবং সংহতকরণে আমাদের সেরা হিসাবে উল্লেখ করেন। আমরা মেইনফ্রেম থেকে সমস্ত ডেটা ফর্ম্যাটকে সমর্থন করি এবং এটি বড় ডেটা বিশ্লেষণের জন্য উপলব্ধ করি। তা হাদোপ বা স্পার্ক বা পরবর্তী কম্পিউটার প্ল্যাটফর্মে। কারণ আমাদের পণ্যগুলি কম্পিউটার প্ল্যাটফর্মের জটিলতাগুলি সত্যই নিরোধক করে। আপনি একজন বিকাশকারী হিসাবে ল্যাপটপে সম্ভাব্যভাবে বিকাশ করছেন, ডেটা পাইপলাইন এবং কী কী উপাত্ত প্রস্তুতি রয়েছে তার দিকে মনোনিবেশ করছেন, বিশ্লেষণের জন্য এই ডেটা তৈরি করার পদক্ষেপগুলি, পরের ধাপে এবং ম্যাপরেডুসে একই অ্যাপ্লিকেশনটি গ্রহণ করুন বা গ্রহণ করুন স্পার্ক কাছাকাছি একই আবেদন।

YARN উপলভ্য হয়ে উঠলে আমরা আমাদের গ্রাহকদের তা করতে সহায়তা করেছি এবং তাদের অ্যাপ্লিকেশনগুলিকে ম্যাপরেডস সংস্করণ 1 থেকে ইয়ার্নে স্থানান্তরিত করতে হয়েছিল। আমরা তাদের অ্যাপাচি স্পার্কের সাহায্যে একইভাবে সহায়তা করছি। আমাদের পণ্য, নতুন রিলিজ 9 স্পার্কের সাথে চলছে এবং একটি গতিশীল অপ্টিমাইজেশন সহ জাহাজগুলি যা ভবিষ্যতের কম্পিউটারের ফ্রেমওয়ার্কগুলির জন্য এই অ্যাপ্লিকেশনগুলিকে অন্তরক করে তুলবে।

সুতরাং আমাদের মেইনফ্রেম ডেটা অ্যাক্সেস রয়েছে, এটি ভিএসএএম ফাইলগুলিই হোক, তা ডিবি 2, অথবা এসএমএফ রেকর্ডস বা লগ 4 জে বা সিসলোগসের মতো টেলিমেট্রি ডেটা, যা স্প্লঙ্ক ড্যাশবোর্ডের মাধ্যমে দৃশ্যমান করা দরকার। এবং এটি করার সময়, যেহেতু সংস্থাটি তাদের বিদ্যমান ডেটা ইঞ্জিনিয়ার বা ইটিএল দক্ষতা সেটগুলি উপার্জন করতে পারে, বিকাশের সময়টি উল্লেখযোগ্যভাবে হ্রাস পেয়েছে। প্রকৃতপক্ষে ডেল এবং ক্লৌডেরার সাথে, এখানে একটি স্বতন্ত্র বেঞ্চমার্ক ছিল স্পনসর করা, এবং সেই মানদণ্ডটি যদি আপনি হ্যান্ড কোডিং করছেন বা সিঙ্কসর্টের মতো অন্য সরঞ্জামগুলি ব্যবহার করছেন তবে এটি উন্নয়নের সময়কে কেন্দ্র করে এবং উন্নয়নের সময়ে এটি প্রায় 60, 70 শতাংশ হ্রাস পেয়েছিল । দক্ষতা ব্রিজ করা এই গোষ্ঠীগুলির মধ্যে, সেই ডেটা ফাইল হোস্ট জুড়ে এবং সেইসাথে লোকজনের দিক থেকে সেই ডেটা ফাইল হোস্টকে ফাঁক করে দেয়।

সাধারণত বড় ডেটা দল, বা ডেটা ইনজেস্ট টিম, বা যে দলটি এই ডেটাটিকে পরিষেবা আর্কিটেকচার হিসাবে বিকাশ করার দায়িত্ব দেওয়া হয়েছে, তারা মেইনফ্রেম দলের সাথে অগত্যা কথা বলবেন না। তারা অনেকগুলি সংস্থায় প্রায় এই ইন্টারঅ্যাকশনটি হ্রাস করতে চান। সেই ফাঁক বন্ধ করে আমরা এগিয়ে চলেছি। এবং সবচেয়ে গুরুত্বপূর্ণ অংশটি সত্যই পুরো প্রক্রিয়াটি সুরক্ষিত করা। কারণ এন্টারপ্রাইজে আপনি যখন এই ধরণের সংবেদনশীল ডেটা নিয়ে কাজ করেন তখন অনেকগুলি প্রয়োজনীয়তা থাকে।

বীমা এবং ব্যাংকিংয়ের মতো অত্যন্ত নিয়ন্ত্রিত শিল্পগুলিতে আমাদের গ্রাহকরা জিজ্ঞাসা করে, তারা বলেছিল, "আপনি এই মেইনফ্রেম ডেটা অ্যাক্সেসের প্রস্তাব দেন এবং এটি দুর্দান্ত। আপনি কি আমার এই ইবিসিডিআইসি-এনকোডেড রেকর্ড ফর্ম্যাটটিকে তার মূল ফর্ম্যাটে রাখার প্রস্তাব দিতে পারেন যাতে আমি আমার নিরীক্ষণের প্রয়োজনীয়তা মেটাতে পারি? "সুতরাং আমরা হ্যাডোপ এবং অ্যাপাচি স্পার্ককে মেইনফ্রেম ডেটা বুঝতে পারি। আপনি ডেটাটিকে তার আসল রেকর্ড ফর্ম্যাটে রাখতে পারেন, আপনার প্রসেসিং এবং স্তরের ডিস্ট্রিবিউটর কম্পিউটার প্ল্যাটফর্মটি করতে পারেন এবং যদি আপনাকে এটি পিছনে রাখার দরকার হয় তবে আপনি রেকর্ডটি পরিবর্তন করতে পারেন না এবং রেকর্ড ফর্ম্যাটটি পরিবর্তন করা যায় না, আপনি নিয়ন্ত্রণের প্রয়োজনীয়তাগুলি মেনে চলতে পারেন ।

এবং বেশিরভাগ সংস্থাগুলি, যেমন তারা ডেটা হাব বা ডেটা হ্রদ তৈরি করছে, তারা একক ক্লিকে এটি করার চেষ্টা করছে একটি ওরাকল ডাটাবেসে শত শত স্কিমার থেকে মাইভ টেবিল বা ওআরসি বা পারকুইট ফাইলগুলিতে মেটাডেটা মানচিত্র করতে সক্ষম হবে প্রয়োজনীয় হয়ে ওঠে আমরা সরঞ্জামগুলি শিপ করি এবং আমরা ডেটা ম্যাপিংয়ের জন্য এটিকে এক-পদক্ষেপের ডেটা অ্যাক্সেস, অটো-জেনারেটিং কাজ বা ডেটা মুভমেন্ট এবং অটো-জেনারেট করার জন্য সরঞ্জাম সরবরাহ করি।

আমরা কানেক্টিভিটির অংশ, সম্মতি, পরিচালনা এবং ডেটা প্রক্রিয়াকরণ সম্পর্কে কথা বললাম। এবং আমাদের পণ্য উভয় ভিত্তিতে এবং ক্লাউডে উপলব্ধ, যা এটি সত্যিই খুব সহজ করে তোলে কারণ আমি যদি হাইব্রিডের তুলনায় জনসাধারণের মেঘে সম্পূর্ণরূপে যাওয়ার সিদ্ধান্ত নিই তবে আগামী দু'বছরের মধ্যে কী ঘটবে তা নিয়ে সংস্থাগুলিকে চিন্তা করার দরকার নেই the পরিবেশ, যেমন কিছু ক্লাস্টার সম্ভবত বা মেঘে চলছে। এবং আমাদের পণ্যগুলি উভয়ই অ্যামাজন মার্কেটপ্লেসে, ইসি 2, ইলাস্টিক ম্যাপ্রেইডুস এবং একটি ডকারের ধারকগুলিতে উপলব্ধ।

কেবলমাত্র গুছিয়ে রাখার জন্য, তাই আমাদের প্রশ্নোত্তরের জন্য পর্যাপ্ত সময় রয়েছে, এটি সত্যিকারের অ্যাক্সেস, সংহতকরণ এবং ডেটা প্রশাসনের সাথে মেনে চলার বিষয়ে, তবুও এগুলি সহজতর করা। এবং এই সহজতর করার সময়, আমাদের ওপেন-সোর্স অবদানের কারণে সত্যিকার অর্থে "একবার ডিজাইন করুন এবং কোথাও মোতায়েন করুন" আমাদের পণ্যটি হ্যাডোপ ডেটা প্রবাহে এবং স্থানীয়ভাবে স্পার্কের সাথে চলে, সংগঠনগুলিকে দ্রুত পরিবর্তিত বাস্তুতন্ত্র থেকে অন্তরক করে। এবং ব্যাচ এবং স্ট্রিমিং উভয়ের জন্য একটি একক ডেটা পাইপলাইন, একটি একক ইন্টারফেস সরবরাহ করে।

এবং এটি সংস্থাগুলিকে কখনও কখনও এই ফ্রেমওয়ার্কগুলি মূল্যায়নে সহায়তা করে, কারণ আপনি সম্ভবত অ্যাপ্লিকেশনগুলি তৈরি করতে এবং কেবল ম্যাপ্রেডিউস বনাম স্পার্কে চালাতে চাইতে পারেন এবং নিজের জন্য দেখুন, হ্যাঁ, স্পার্কের এই প্রতিশ্রুতি রয়েছে এবং সেরা মেশিন লার্নিংয়ের জন্য পুনরাবৃত্ত অ্যালগরিদমের কাজগুলিতে অগ্রিম সমস্ত সরবরাহ করে এবং ভবিষ্যদ্বাণীমূলক বিশ্লেষণ অ্যাপ্লিকেশনগুলি স্পার্কের সাথে কাজ করে, আমি কি এই কম্পিউটারের কাঠামোর উপর আমার স্ট্রিমিং এবং ব্যাচের ওয়ার্কলোডগুলিও করতে পারি? আপনি আমাদের পণ্য ব্যবহার করে বিভিন্ন কম্পিউটার প্ল্যাটফর্ম পরীক্ষা করতে পারেন। এবং আপনি আপনার ল্যাপটপে গুগল ক্লাউড বনাম অ্যাপাচি স্পার্কে স্ট্যান্ডেলোন সার্ভারে চলছেন কিনা তা গতিশীল অপ্টিমাইজেশন আমাদের গ্রাহকদের জন্য সত্যই একটি বড় মূল্য প্রস্তাব। এবং এটি সত্যই তাদের ছিল যে চ্যালেঞ্জগুলির দ্বারা চালিত হয়েছিল।

আমি কেবল একটি কেস স্টাডি কভার করব। এটি গার্ডিয়ান লাইফ ইন্স্যুরেন্স সংস্থা। এবং গার্ডিয়ানের উদ্যোগটি ছিল তাদের ডেটা সম্পদকে কেন্দ্রীভূত করা এবং তাদের ক্লায়েন্টদের জন্য এটি উপলব্ধ করা, ডেটা প্রস্তুতির সময় হ্রাস করা এবং তারা বলেছে যে প্রত্যেকে ডেটা প্রস্তুতির বিষয়ে কথা বলেছে সামগ্রিক ডেটা প্রসেসিং পাইপলাইনের ৮০ শতাংশ গ্রহণ করে এবং তারা বলেছিল যে এটি বাস্তবিকই গ্রহণ করছে তাদের জন্য 75 থেকে 80 শতাংশ এবং তারা ডেটা প্রস্তুতি, রূপান্তরের সময়, বিশ্লেষণ প্রকল্পগুলির সময়-বাজারে হ্রাস করতে চেয়েছিল। তারা নতুন ডেটা উত্স যুক্ত করার সাথে সাথে সেই তত্পরতা তৈরি করুন। এবং তাদের সমস্ত ক্লায়েন্টের জন্য সেই কেন্দ্রীভূত ডেটা অ্যাক্সেস উপলভ্য করুন।

সিঙ্কসর্ট পণ্যগুলি সহ তাদের সমাধান এখনই তাদের একটি অ্যামাজন মার্কেটপ্লেস লুকালিকে ডেটা মার্কেটপ্লেস একটি ডেটা লেকের দ্বারা সমর্থিত, যা মূলত হডোপ এবং নোএসকিউএল ডাটাবেস। এবং তারা আমাদের পণ্যগুলি মেইনফ্রেমে ডিবি 2 সহ মেইনফ্রেমে ভিএসএএম ফাইল এবং ডাটাবেস লিগ্যাসির ডেটা উত্সগুলির পাশাপাশি নতুন ডেটা উত্সগুলিতে ডেটা হ্রদে সমস্ত ডেটা সম্পদ আনতে ব্যবহার করে। এবং এর ফলস্বরূপ তারা পুনরায় ব্যবহারযোগ্য ডেটা সম্পদকে কেন্দ্রিয় করে তুলেছে যা অনুসন্ধানযোগ্য, অ্যাক্সেসযোগ্য এবং তাদের ক্লায়েন্টদের কাছে উপলব্ধ। এবং তারা সত্যই নতুন ডেটা উত্স যুক্ত করতে এবং তাদের ক্লায়েন্টদের আগের চেয়ে অনেক দ্রুত এবং আরও দক্ষ করতে সক্ষম। এবং বিশ্লেষণমূলক উদ্যোগগুলি ভবিষ্যদ্বাণীমূলক দিক থেকেও আরও উন্নতি করছে। সুতরাং আমি বিরতি দেব এবং আমি আশা করি এটি কার্যকর ছিল এবং যদি আপনার সম্পর্কিত কোনও বিষয়ে আমার কাছে প্রশ্ন থাকে তবে দয়া করে আপনাকে স্বাগতম।

এরিক কাভানাঘ : অবশ্যই, এবং টেন্ডু, আমি কেবল একটিটি ছুঁড়ে দেব an শ্রোতা সদস্যের কাছ থেকে আমি কেবল একটি মন্তব্য পেয়েছিলাম, "আমি এই 'নকশাটি একবার পছন্দ করি, যে কোনও জায়গায় মোতায়েন করি' '" আপনি কীভাবে সত্য আবিষ্কার করতে পারেন? আমি বলতে চাইছি, আপনি এ জাতীয় তত্পরতা সক্ষম করতে কী করেছেন এবং কোনও কর আছে? যেমন আমরা যখন ভার্চুয়ালাইজেশন সম্পর্কে কথা বলি, উদাহরণস্বরূপ, সর্বদা পারফরম্যান্সের উপর কিছুটা ট্যাক্স থাকে। কিছু লোক বলে দুই শতাংশ, পাঁচ শতাংশ দশ শতাংশ। আপনি একবার ডিজাইন সক্ষম করতে, যে কোনও জায়গায় মোতায়েন করার জন্য কী করেছেন - আপনি এটি কীভাবে করেন এবং পারফরম্যান্সের সাথে কোনও ট্যাক্স এর সাথে যুক্ত হয়?

টেন্ডু দইগার্টু: অবশ্যই, আপনাকে ধন্যবাদ। না, কারণ অন্যান্য কিছু বিক্রেতাদের মতো আমরা সত্যই হুব বা পিগ বা অন্য কোনও কোড তৈরি করি না যা আমাদের ইঞ্জিনগুলিতে নেটিভ নয়। আমাদের ওপেন-সোর্স অবদানগুলি এখানে একটি বিশাল ভূমিকা পালন করেছিল, কারণ আমরা হ্যাডোপ বিক্রেতারা, ক্লাউডেরা, হর্টন ওয়ার্কস এবং ম্যাপআর খুব কাছ থেকে কাজ করেছি এবং আমাদের মুক্ত-উত্সের অবদানের কারণে, প্রকৃতপক্ষে আমাদের ইঞ্জিন প্রবাহের অংশ হিসাবে স্থানীয়ভাবে চলছে, হ্যাডোপ প্রবাহের অংশ হিসাবে, স্পার্কের অংশ হিসাবে।

যা এটি অনুবাদ করে, আমাদের এই গতিশীল অপ্টিমাইজেশন রয়েছে। এটি এমন কিছু ছিল যা আমাদের গ্রাহকদের কম্পিউটারের ফ্রেমওয়ার্কের সাথে চ্যালেঞ্জ জানানোর ফলে আসে। কিছু অ্যাপ্লিকেশন নিয়ে তারা যখন প্রোডাকশনে যাচ্ছিল, তারা ফিরে এসেছিল, তারা বলেছিল, "আমি কেবলমাত্র আমার হ্যাডোপ ক্লাস্টারকে স্থিতিশীল করছি, মানচিত্রের ইয়ার্ন সংস্করণ 2, মানচিত্রের সংস্করণ 2 এ স্থিতিশীল করছি, এবং লোকেরা কথা বলছে যে ম্যাপ্রেডস মারা গেছে, স্পার্ক হয়েছে পরের জিনিসটি এবং কিছু লোক বলছে যে ফ্লিংকই পরের জিনিস হবে, আমি কীভাবে এটিকে মোকাবেলা করব? "

এবং সেই চ্যালেঞ্জগুলি আমাদের কাছে সত্যই স্পষ্ট হয়ে উঠল, আমরা এই গতিশীল অপ্টিমাইজেশনকে আমরা বুদ্ধিমান বাস্তবায়ন হিসাবে উল্লেখ করে বিনিয়োগ করেছি। চলাকালীন সময়ে, যখন কাজটি, যখন ক্লাস্টারের উপর ভিত্তি করে এই ডেটা পাইপলাইনটি জমা দেওয়া হয়, তা স্পার্কই হোক, তা ম্যাপ্রেইডুস হোক বা লিনাক্স স্ট্যান্ডলোন সার্ভার, সেটির অংশ হিসাবে, আমরা এই কাজটি কীভাবে আমাদের ইঞ্জিনে চালিত করব, তা স্থির করি হডোপ বা স্পার্ক ডেটা প্রবাহ। কোনও ওভারহেড নেই কারণ আমাদের এই গতিশীল অপ্টিমাইজেশনের মাধ্যমে সবকিছুই করা হয়েছে এবং আমাদের ওপেন-সোর্স অবদানের কারণে আমাদের ইঞ্জিন এত দেশীয়ভাবে সংহত হয়েছে বলেও সবকিছু করা হয়েছে। এতে আপনার প্রশ্নের উত্তর হলো কি?

এরিক কাভানাঘ: হ্যাঁ, ভাল। এবং আমি সেখানে আরও একটি প্রশ্ন উত্থাপন করতে চাই এবং তারপরে ডেজ, সম্ভবত আমরা আপনাকে এবং রবিনকেও টানব। আমি সবেমাত্র আমাদের উপস্থিত থেকে একজনের একটি হাস্যকর মন্তব্য পেয়েছি। আমি এটি পড়ব কারণ এটি সত্যই বেশ তুচ্ছ। তিনি লিখেছেন, "দেখে মনে হচ্ছে যে জিনিসগুলির ইতিহাসে" হট "- এটি পেয়েছেন? আইওটি-র মতো -" আপনি যতটা জটিল জিনিসকে 'সরল' করার চেষ্টা করেন তত বেশিবার যত সহজ সরল জিনিস হিসাবে দেখা যায় না তার চেয়েও বেশি, আরও ঝুলন্ত দড়ি সরবরাহ করা হয়। ডাটাবেস ক্যোয়ারী, বিস্ফোরণ, মাল্টি-থ্রেডিং ইত্যাদি ভাবুন ”" আপনি এই প্যারাডক্সের বিষয়ে মন্তব্য করতে পারেন যে তিনি উল্লেখ করছেন? সরলতা বনাম জটিলতা এবং মূলত কভারগুলির নীচে আসলে কী চলছে?

টেন্ডার দই: নিশ্চিত। আমি মনে করি এটি একটি খুব বৈধ পয়েন্ট। যখন আপনি জিনিসগুলি সরল করছেন এবং এই অপ্টিমাইজেশানগুলি করছেন, কোনওভাবে প্রচ্ছদের অধীনে, কারও কি ঘটতে হবে সেই জটিলতাটি নেওয়া উচিত, তাই না? আপনি যদি কোনও কিছুকে অবশ করে দিচ্ছেন বা যদি আপনি কম্পিউটারের কাঠামোর সাথে সম্পর্কিত কোনও নির্দিষ্ট কাজ চালানোর সিদ্ধান্ত নিচ্ছেন তবে স্পষ্টতই কাজের কিছুটা অংশ রয়েছে যা তা ব্যবহারকারীের শেষ, মেনু কোডিং বা এটি ইঞ্জিন অপ্টিমাইজেশনে রয়েছে কিনা pushed এর একটি অংশ রয়েছে, ব্যবহারকারীর অভিজ্ঞতাকে সহজ করে এন্টারপ্রাইজে থাকা দক্ষতা সেটগুলি উত্তোলন করতে সক্ষম হওয়ার ক্ষেত্রে একটি বিশাল সুবিধা রয়েছে।

এবং আপনি এই ধরণের প্যারাডক্সকে প্রশমিত করতে পারেন, সেই চ্যালেঞ্জটি প্রশমিত করতে পারেন, "হ্যাঁ, তবে আচ্ছাদনটির আওতায়, engine ইঞ্জিনের ফণার নীচে যা ঘটছে তার উপর আমার সমস্ত নিয়ন্ত্রণ নেই, " যদি তারা আরও উন্নত ব্যবহারকারীদের কাছে বিষয় প্রকাশ করে তবে তারা এই ধরনের নিয়ন্ত্রণ রাখতে চান কিছু সেবাযোগ্যতার ধরণের কিছুতেও বিনিয়োগ করে। এসকিউএল ক্যোয়ারির পাশাপাশি ইঞ্জিন চালিত হওয়ার সাথে সাথে আরও বেশি অপারেশনাল মেটাডেটা, আরও বেশি অপারেশনাল ডেটা সরবরাহ করতে সক্ষম হওয়া। আমি আশা করি যে উত্তর।

এরিক কাভানাঘ: হ্যাঁ ভাল লাগছে। দেজ, এটা নিয়ে যাও।

ডেজ ব্লাঞ্চফিল্ড: ওপেন সোর্স অবদান এবং মেনফ্রেম এবং স্বত্বাধিকারী জগতের দীর্ঘমেয়াদী অভিজ্ঞতা এবং তারপরে স্থানান্তরিত করার মধ্য দিয়ে আপনি আপনার traditionalতিহ্যবাহী, দীর্ঘকালীন অভিজ্ঞতা থেকে যে পদক্ষেপ নিয়েছেন তাতে আপনার পদচিহ্নের বিষয়ে খানিকটা আরও অন্তর্দৃষ্টি পেতে আমি আগ্রহী ওপেন সোর্স এবং কীভাবে এটি ঘটেছিল তাতে অবদান রাখছে। এবং অন্য যে জিনিসটি আমি বুঝতে আগ্রহী তা হল আপনি যে ব্যবসাগুলি দেখছেন তা কেবল আইটি বিভাগই নয়, ব্যবসায়ীরা এখন ডেটা হাব বা ডেটা হ্রদকে বিবেচনা করছে যেহেতু লোকেরা এখন বলছে এবং তারা এই প্রবণতাটি দেখে কিনা কেবলমাত্র একটি একক, একীভূত ডেটা হ্রদ বা আমরা বিতরণকৃত ডেটা হ্রদ দেখতে পাচ্ছি এবং লোকেরা তাদের একত্রে রাখার জন্য সরঞ্জামগুলি ব্যবহার করছে?

টেন্ডার দই: নিশ্চিত। প্রথমটির জন্য, এটি একটি অত্যন্ত আকর্ষণীয় ভ্রমণ ছিল, একজন স্বত্বাধিকারী সফ্টওয়্যার সংস্থা হিসাবে, আইবিএমের পরে প্রথমগুলির মধ্যে একটি। যাইহোক, আবার, হ্যাডোপের দিকে তাকানো আমাদের প্রচারক গ্রাহকদের সাথে সবকিছু শুরু হয়েছিল। আমাদের কাছে কমস্কোরের মতো ডেটা সংস্থাগুলি ছিল, তারা হডোপ গ্রহণকারীদের মধ্যে প্রথম ছিল কারণ তারা বিশ্বজুড়ে ডিজিটাল ডেটা সংগ্রহ করেছিল এবং তাদের যদি দশ-মিলিয়ন ডলারের ডেটা গুদাম বক্স বিনিয়োগ না করে 90 দিনের ডেটা রাখতে সক্ষম হয় না তাদের পরিবেশ। তারা হাদুপের দিকে তাকাতে শুরু করল। এর সাথে আমরা হ্যাডোপের দিকে তাকাতেও শুরু করলাম।

এবং যখন আমরা একটি সিদ্ধান্ত নিয়েছি এবং স্বীকার করেছি যে হাদুপ সত্যই ভবিষ্যতের ডেটা প্ল্যাটফর্ম হতে চলেছে, তখন আমরা বুঝতেও পেরেছি যে আমরা এর মধ্যে একটি নাটক রাখতে পারব না, এটির মধ্যে একটি সফল খেলা, যদি না আমরা বাস্তুসংস্থার একটি অংশ ছিল। এবং আমরা ক্লোডেরা, হর্টন ওয়ার্কস, ম্যাপআর ইত্যাদির সাথে হ্যাডোপ বিক্রেতাদের সাথে খুব নিবিড়ভাবে কাজ করছিলাম আমরা তাদের সাথে সত্যিই কথা বলতে শুরু করলাম কারণ কোনও বিক্রেতা যে মূল্য আনতে পারে তার মূল্যায়ন করার জন্য অংশীদারিত্ব অত্যন্ত গুরুত্বপূর্ণ হয়ে ওঠে এবং নিশ্চিত করে তোলে যে আমরা যৌথভাবে উদ্যোগে যেতে পারি এবং আরও অর্থবহ কিছু অফার। এটির জন্য প্রচুর সম্পর্ক স্থাপনের প্রয়োজন ছিল কারণ আমরা অ্যাপাচি ওপেন সোর্স প্রকল্পগুলির জন্য পরিচিত ছিলাম না, তবে আমাদের এই হ্যাডোপ বিক্রেতাদের কাছ থেকে প্রচুর সমর্থন ছিল, আমাকে অবশ্যই বলতে হবে।

আমরা একসাথে কাজ করতে শুরু করেছিলাম এবং হাবটির দিকে তাকিয়েছিলাম, কীভাবে আমরা আমাদের প্রোপাইটার সফটওয়্যারটিও মহাকাশে ছাড়াই মান আনতে পারি। এটা গুরুত্বপূর্ণ ছিল। এটি কেবলমাত্র আপনার API চালাতে পারে এমন কিছু এপিআই রাখার বিষয়ে নয়, এটি বলতে সক্ষম হবেন যে আমি এতে বিনিয়োগ করব কারণ আমার বিশ্বাস হাদুপ ভবিষ্যতের একটি প্ল্যাটফর্ম হতে চলেছে, সুতরাং যে উত্সগুলি আমরা তৈরি করতে চেয়েছিলাম তাতে বিনিয়োগ করে নিশ্চিত যে এটি পরিপক্ক এবং এন্টারপ্রাইজ প্রস্তুত হয়ে গেছে। আমরা আসলে এমন কিছু ব্যবহারের ক্ষেত্রে সক্ষম করতে পারি যা আমাদের অবদানের আগে পাওয়া যায় নি। এটি পুরো বাস্তুতন্ত্রের জন্য উপকৃত হবে এবং আমরা সেই অংশীদারিত্বগুলি খুব ঘনিষ্ঠভাবে বিকাশ করতে পারি।

এতে বেশ সময় লেগেছিল। আমরা ২০১১, এবং ২০১৩, জানুয়ারী 21 এ অবদান রাখতে শুরু করেছি - আমি তারিখটি মনে করি কারণ সেই তারিখটি আমাদের বৃহত্তম অবদানের জন্য প্রতিশ্রুতিবদ্ধ হয়েছিল যার অর্থ আমরা এখন থেকে আমাদের পণ্যগুলি সেদিক থেকে সাধারণভাবে উপলব্ধ করতে পারি - এই সম্পর্কগুলি বিকাশে বেশ কিছুটা সময় লেগেছিল, মানটি দেখান, অংশীদাররা বিক্রেতাদের সাথে এবং মুক্ত-উত্স সম্প্রদায়ের প্রতিশ্রুতিবদ্ধদের সাথে ডিজাইন অংশীদার হয়ে ওঠে। কিন্তু এটা অনেক মজার ছিল। আমাদের সেই বাস্তুতন্ত্রের অংশ হতে এবং একটি দুর্দান্ত অংশীদারিত্ব বিকাশের জন্য একটি সংস্থা হিসাবে এটি অত্যন্ত লাভজনক ছিল।

ডেটা হাব / ডেটা হ্রদ সম্পর্কে দ্বিতীয় প্রশ্ন, আমি মনে করি যখন আমরা বেশিরভাগ ক্ষেত্রে এই ডেটাটিকে পরিষেবা বাস্তবায়ন হিসাবে দেখি, হ্যাঁ, এটি ক্লাস্টার, শারীরিকভাবে একক বা একাধিক ক্লাস্টার হতে পারে, তবে এটি একক স্থান হয়ে ওঠার চেয়ে আরও ধারণামূলক সমস্ত তথ্য জন্য। কারণ কিছু সংস্থায় আমরা বৃহত্তর ক্লাস্টার মোতায়েনের ভিত্তিতে দেখতে পাই, তবে তাদের ক্লাস্টারগুলিও রয়েছে, উদাহরণস্বরূপ, পাবলিক ক্লাউডে কারণ অনলাইন বিভাগ থেকে সংগ্রহ করা কিছু তথ্য সত্যই মেঘে রাখা হয়েছে। এটি এমন একটি একক ডেটা পাইপলাইন রাখতে সক্ষম হচ্ছে যা আপনি এই দুটিরই বাস্তবে লাভ করতে পারেন এবং এগুলিকে একটি একক ডেটা হাব হিসাবে ব্যবহার করতে পারেন, একক ডেটা হ্রদ, গুরুত্বপূর্ণ হয়ে ওঠে। কেবল শারীরিক জায়গা নয়, ভৌগলিক জুড়ে এবং সম্ভবত ভিত্তি এবং মেঘের উপরে ডেটা হাব এবং ডেটা হ্রদ থাকা খুব জটিল হতে চলেছে বলে আমি মনে করি। বিশেষত এগিয়ে চলছে। এই বছর আমরা আরও বেশি ক্লাউড মোতায়েন দেখতে শুরু করেছি। এটা আশ্চর্যজনক. এই বছরের প্রথমার্ধে এখন পর্যন্ত আমরা প্রচুর মেঘ মোতায়েন দেখেছি।

এরিক কাভানাঘ: ঠিক আছে, দুর্দান্ত এবং রবিন, আপনার কোন প্রশ্ন আছে? আমি জানি আমাদের মাত্র কয়েক মিনিট বাকি আছে।

রবিন ব্লুর: ঠিক আছে, আমি তাকে একটি প্রশ্ন জিজ্ঞাসা করতে পারি। আমার সাথে প্রথম যে বিষয়টি ঘটেছিল তা হ'ল কাফকা সম্পর্কে প্রচুর উত্তেজনা দেখা দিয়েছে এবং আমি কাফকা সম্পর্কে আপনার মতামত সম্পর্কে আগ্রহী ছিলাম এবং লোকেরা যেভাবে কাফকা ব্যবহার করছে তার সাথে আপনি কীভাবে সংহত হন?

টেন্ডার দই: নিশ্চিত। হ্যাঁ, কাফকা বেশ জনপ্রিয় হয়ে উঠছে। আমাদের গ্রাহকদের মধ্যে আমরা দেখতে পাচ্ছি যে ডেটা ট্রান্সপোর্ট লেয়ারটি এক ধরণের এবং দেখেছি যে ডেটা একটি বাস, বেশ কিছুটা। উদাহরণস্বরূপ, আমাদের একজন গ্রাহক আসলে এক ধরণের উপভোগকারী ডেটা ব্যবহার করছিলেন যা হাজার হাজার অনলাইন ব্যবহারকারীর মতো এই কাফকার মধ্যে ধাক্কা খায় এবং সেটিকে শ্রেণিবদ্ধ করতে সক্ষম হন এবং তা চালিয়ে যান।

আবার, কাফকা এই ডেটার বিভিন্ন গ্রাহকের কাছে একটি ডেটা বাস। উন্নত-না-উন্নত ব্যবহারকারীদের তুলনায় কিছু উন্নত ব্যবহারকারীকে শ্রেণিবদ্ধ করুন এবং সেই ডেটা পাইপলাইনে এগিয়ে যাওয়ার জন্য কিছু আলাদা করুন। কাফকার সাথে আমরা কীভাবে সংহত করব তা মূলত আমাদের পণ্য ডিএমএক্স-এইচ একটি নির্ভরযোগ্য ভোক্তা, কাফকার জন্য অত্যন্ত দক্ষ, নির্ভরযোগ্য ভোক্তা হয়ে ওঠে। এটি ডেটা পড়তে পারে এবং এটি আমাদের জন্য অন্য কোনও ডেটা উত্স থেকে ডেটা পড়ার চেয়ে আলাদা নয়। আমরা ব্যবহারকারীদের যে সময় প্রয়োজন তা বা কাফকা বাস থেকে তারা যে বার্তাগুলি গ্রাস করতে পারে তার সংখ্যার ভিত্তিতে উইন্ডো নিয়ন্ত্রণ করার ক্ষমতা দিয়ে থাকি। এবং তারপরে আমরা সেই ডেটা সমৃদ্ধি করতে পারি কারণ এটি আমাদের পণ্যটির মধ্য দিয়ে যাচ্ছে এবং কাফকার পিছনে ধাক্কা দিয়েছে। আমরা এটি পরীক্ষা করেছি। আমরা এটি গ্রাহক সাইটে বেঞ্চমার্ক করেছি। কনফ্লুয়েন্ট দ্বারা প্রত্যয়িত। আমরা কনফ্লুয়েন্ট ছেলেদের সাথে নিবিড়ভাবে কাজ করি এবং এটি অত্যন্ত উচ্চতর পারফর্মিং এবং ব্যবহার করা সহজ। আবার, এপিআইগুলি পরিবর্তিত হয়েছে তবে আপনাকে চিন্তার দরকার নেই কারণ পণ্যটি সত্যই এটি অন্য একটি ডেটা উত্স, স্ট্রিমিং ডেটা উত্স হিসাবে আচরণ করে। আসলে আমাদের পণ্য এবং কাফকার সাথে কাজ করতে বেশ মজাদার।

রবিন ব্লার: ঠিক আছে আমার কাছে আরও একটি প্রশ্ন রয়েছে যা কেবলমাত্র একটি সাধারণ ব্যবসায়িক প্রশ্ন তবে আমি দীর্ঘ সময়ের জন্য সিঙ্কসর্টকে জানি এবং আপনি সর্বদা খ্যাতি অর্জন করেছিলেন এবং ইটিএল এবং মেইনফ্রেম বিশ্বের জন্য অসাধারণ দ্রুত সফটওয়্যার সরবরাহ করেছেন। এটা কি আপনার বেশিরভাগ ব্যবসায় এখন হাদুপে স্থানান্তরিত হচ্ছে? এটা কি এমন যে কোনও একরকমভাবে আপনি মুখ্য ফ্রেম বিশ্ব থেকে আপনার ব্যবসাটি বেশ নাটকীয়ভাবে ছড়িয়ে দিয়েছেন?

টেন্ডস ইয়োগার্টু: আমাদের মেইনফ্রেম পণ্যগুলি এখনও বিশ্বব্যাপী মেনফ্রেমগুলির 50 শতাংশ চলছে। সুতরাং আমরা বড় ডেটা এবং হ্যাডোপ প্রান্তে কী করছি তা ছাড়াও আমাদের কাছে একটি শক্তিশালী মেইনফ্রেম পণ্য লাইন রয়েছে। এবং আমরা এখনও আইটি সরলকরণ বা অপ্টিমাইজেশন প্রকল্পগুলির বেশিরভাগ অংশে রয়েছি কারণ এর এক প্রান্তে আপনি বড় ডেটা মুলটেক্স প্ল্যাটফর্মগুলিতে আপনার মেইনফ্রেম ডেটাতে ট্যাপ করতে এবং সমস্ত এন্টারপ্রাইজ ডেটা লাভ করতে সক্ষম হতে চান, তবে খুব সমালোচনামূলক ট্রানজেকশনাল কাজের চাপও রয়েছে এটি এখনও মেইনফ্রেমে চালিয়ে যাচ্ছে এবং আমরা সেই গ্রাহকদের সেই অ্যাপ্লিকেশনগুলিকে আরও দক্ষ করে তোলার, জাইআইআইপি ইঞ্জিনে চালানোর উপায়গুলি সরবরাহ করি যাতে তারা যতটা প্রসেসিং চক্র এবং এমআইপি ব্যবহার না করে, তাদের ব্যয়কে কার্যকর করে তোলে।

আমরা মেইনফ্রেম পণ্যগুলিতে বিনিয়োগ চালিয়ে যাচ্ছি এবং প্রকৃতপক্ষে এই স্পেসে খেলি যেখানে লোকেরা মেইনফ্রেমে বড় আয়রন থেকে বড় ডেটাতে যায় এবং সেই প্ল্যাটফর্মগুলি জুড়ে পণ্য লাইনটি স্প্যান করে। সুতরাং আমরা অগত্যা পুরো ব্যবসাটি একদিকে বদলে দেই না, উভয় পক্ষেই আমাদের খুব সফল ব্যবসা চলছে। এবং অধিগ্রহণগুলিও আমাদের জন্য একটি বড় ফোকাস। বড় ডেটা প্ল্যাটফর্মগুলির জন্য এই ডেটা ম্যানেজমেন্ট এবং ডেটা প্রসেসিংয়ের স্থানটি বিকশিত হওয়ার সাথে সাথে আমরা বেশ কয়েকটি প্রশংসনীয় অধিগ্রহণের প্রতিশ্রুতিবদ্ধ।

রবিন ব্লার: আমার ধারণা, আমি আপনাকে জিজ্ঞাসা করতে পারি না যে তারা কী কারণ আপনি আমাকে বলার অনুমতি পাবেন না। আপনি হ্যাডোপ বা স্পার্কের অনেকগুলি বাস্তবায়ন মেইনফ্রেমে দেখেছেন বা এটি খুব বিরল জিনিস কিনা তাতে আমি আগ্রহী।

টেন্ডু দইগার্টু: আমরা কোনওটিই দেখিনি। সে সম্পর্কে আরও প্রশ্ন রয়েছে। আমি মনে করি যে মূল কাঠামোর ধরণের কারণে হ্যাডোপ মেইনফ্রেমে খুব একটা বোঝায় না। তবে মেইনফ্রেমে স্পার্কটি বেশ অর্থবহ এবং মেশিন লার্নিং এবং ভবিষ্যদ্বাণীমূলক বিশ্লেষণগুলির সাথে স্পার্কটি খুব ভাল এবং মেইনফ্রেম ডেটা সহ এমন কিছু অ্যাপ্লিকেশন পেতে সক্ষম হওয়ায়, আমি মনে করি, এটি বেশ অর্থবহ। আমরা এখনও কাউকে এটি করতে দেখিনি, তবে এটি আসলে ব্যবহারের ক্ষেত্রে এই জিনিসগুলি চালাচ্ছে। যদি কোনও সংস্থা হিসাবে আপনার ব্যবহারের ক্ষেত্রে সেই মেইনফ্রেম ডেটাটি আরও উপস্থিত করা হয় এবং বড় ডেটা প্ল্যাটফর্মের বাকী ডেটা সেটগুলির সাথে একীকরণ করা হয় তবে এটি একটি গল্প। এটিতে বড় ডেটা মুলটেক্স প্ল্যাটফর্ম থেকে মেইনফ্রেম ডেটা অ্যাক্সেস করা দরকার কারণ আপনি ওপেন সিস্টেম থেকে আপনার ডেটা সেট আনার সম্ভাবনা নেই এবং আপনাকে আবার মেইনফ্রেমে ফিরে ডাকা হয়। তবে, যদি আপনার কিছু মেইনফ্রেম ডেটা থাকে যা আপনি কেবল অনুসন্ধান এবং আবিষ্কার করতে কিছুটা তথ্য অনুসন্ধান করতে চান, কিছু উন্নত এআই এবং উন্নত বিশ্লেষণ প্রয়োগ করতে পারেন, তবে স্পার্ক যেতে পারে এবং সেই হিসাবে মেইনফ্রেমে চালানো ভাল উপায়।

এরিক কাভানাঘ: এবং এখানে দর্শকদের আরও একটি প্রশ্ন, আসলে আরও দুটি। আমি আপনাকে একটি ট্যাগ-দলের প্রশ্ন দেব, তারপরে আমরা গুটিয়ে রাখব। একজন অংশগ্রহণকারী জিজ্ঞাসা করছেন, "আইবিএম কি আপনার উন্মুক্ত উত্সের অবদানগুলি কি তার পাবলিক ক্লাউড ইকোসিস্টেমের সাথে সংহত করছে, অন্য কথায়, ব্লুমিক্স?" এবং অন্য একজন অংশগ্রহণকারী সত্যই একটি ভাল বক্তব্য রেখেছেন, উল্লেখ করেছেন যে সিঙ্কসর্ট তাদের জন্য বড় আয়রনকে বাঁচিয়ে রাখার জন্য দুর্দান্ত ইতিমধ্যে এটি রয়েছে, তবে সংস্থাগুলি যদি সে সিই বলে তার পক্ষে নতুন মেইনফ্রেমগুলি পূর্বাভাস দেয় তবে সমস্ত কিছুকে মেঘ করে ফেলুন, এটি সম্ভবত হ্রাস পাবে, তবে নোট করুন যে আপনি ছেলেরা প্রতি সেকেন্ডে একটি গিগাবাইট পর্যন্ত অপারেটিং সিস্টেমকে বাইপাস করে ডেটা সরাতে সত্যিই ভাল। তিনি যেমন উল্লেখ করেছেন, আপনি কি আপনার মূল শক্তি সম্পর্কে একধরনের কথা বলতে পারেন এবং আইবিএম আপনার জিনিসগুলি ব্লুমিক্সে সংহত করছে কিনা?

টেন্ডা ইয়োগার্তু: আইবিএমের সাথে আমরা ইতিমধ্যে আইবিএমের সাথে অংশীদার এবং আমরা তাদের ডেটা ক্লাউড পরিষেবাদি পণ্য সরবরাহের জন্য আলোচনা করেছি। আমাদের ওপেন-সোর্স অবদানগুলি প্রত্যেকের জন্য উন্মুক্ত যারা তাদের সুবিধা নিতে চায়। কিছু মেইনফ্রেম সংযোগ স্পার্ক প্যাকেজগুলিতে পাওয়া যায়, তাই কেবল আইবিএম নয়। যে কেউ এগুলি কাজে লাগাতে পারে। ব্লুমিক্সে আমরা এখনও এটিতে বিশেষভাবে কিছু করি নি। এবং আপনি দ্বিতীয় প্রশ্ন পুনরাবৃত্তি করতে আপত্তি?

এরিক কাভানাঘ: হ্যাঁ, দ্বিতীয় প্রশ্নটি কয়েক বছর ধরে আপনার কার্যকারিতার মূল ক্ষেত্র সম্পর্কে ছিল, যা সত্যিই ইটিএলটির বাধাগুলি পরিচালনা করছিল এবং সম্ভবত এটি এমন কিছু যা আপনি ছেলেরা এখনও মেইনফ্রেম হিসাবে কাজ করে যাচ্ছেন, ভাল, তাত্ত্বিকভাবে দূরে থাকবেন, যদিও দেজের পয়েন্টটি এখনও এক ধরণের দোলনা এবং ঘূর্ণায়মান is তবে উপস্থিত অংশগ্রহণকারী কেবল উল্লেখ করেছেন যে সিঙ্কসোর্ট অপারেটিং সিস্টেমগুলিকে বাইপাস করে এবং এক সেকেন্ডে গিগাবাইট পর্যন্ত ডেটা সরিয়ে নিতে খুব ভাল। আপনি কি শুধু মন্তব্য করতে পারেন?

টেন্ডা ইয়োগার্টু: হ্যাঁ, সত্যিকার অর্থে সামগ্রিক সংস্থান দক্ষতা আমাদের শক্তি এবং স্কেলাবিলিটি এবং পারফরম্যান্সই আমাদের শক্তি been আমরা আপস করছি না, সরলকরণের অনেক অর্থ রয়েছে, আমরা সেগুলি থেকে আপোষ করি না। মানুষ যখন 2014 সালে হাদোপ সম্পর্কে কথা বলতে শুরু করেছিল, উদাহরণস্বরূপ, অনেকগুলি সংস্থাগুলি প্রাথমিকভাবে পারফরম্যান্সের দিকে তাকিয়ে ছিল না। তারা বলছিল, "ওহ, যদি কিছু ঘটে তবে আমি আরও দু'টি নোড যুক্ত করতে পারি এবং আমি ভাল থাকব, পারফরম্যান্স আমার প্রয়োজনীয়তা নয়” "

আমরা ইতিমধ্যে সর্বোত্তম পারফরম্যান্সের কথা বলছিলাম কারণ আমরা ইতিমধ্যে দেশীয়ভাবে চলছিলাম, এমনকী আমাদের একাধিক মানচিত্রের কাজ শুরু করার সাথে মাইভের একাধিক মানচিত্রের কাজ এবং ওভারহেডের সাথে প্রাথমিক স্ত্রীর কিছু ছিল না। লোকেরা আমাদের বলছিল, "ওহ, এটি আমার উদ্বেগ নয়, এই মুহুর্তে এটি নিয়ে চিন্তা করবেন না।"

আমরা যখন 2015 এ এসেছি যে ল্যান্ডস্কেপ পরিবর্তিত হয়েছে কারণ আমাদের কিছু গ্রাহক ইতিমধ্যে তাদের উত্পাদন ক্লাস্টারে থাকা সঞ্চয়স্থান অতিক্রম করেছেন। সিঙ্কসর্ট কী অফার করতে পারে তা দেখতে তাদের পক্ষে অত্যন্ত সমালোচনা হয়ে ওঠে। আপনি যদি কোনও ডাটাবেস বা মেইনফ্রেম থেকে কিছু তথ্য নিচ্ছেন এবং গুচ্ছগুলিতে একটি পরকীয়া বিন্যাসে লিখছেন, আপনি অবতরণ করুন এবং মঞ্চ করুন এবং অন্য রূপান্তর করুন বা কেবল ইনফ্লাইট ট্রান্সফর্মেশন এবং ল্যান্ডড টার্গেট ফাইল ফর্ম্যাট করুন, একটি পার্থক্য তৈরি করেছেন কারণ আপনি এ থেকে সঞ্চয় করছেন স্টোরেজ, আপনি নেটওয়ার্ক ব্যান্ডউইথ থেকে সংরক্ষণ করছেন, আপনি ক্লাস্টারে কাজের চাপ থেকে সঞ্চয় করছেন কারণ আপনি অতিরিক্ত কাজ চালাচ্ছেন না। আমরা খুব সচেতন হওয়ার শর্তে যে শক্তিগুলি খেলি, আমরা আমাদের ত্বকের নিচে রিসোর্স দক্ষতা অনুভব করি, এটি মনে হয়।

আমরা এটি বর্ণনা করি। এটা আমাদের জন্য সমালোচনামূলক। আমরা এটি মর্যাদাবোধ করি না। আমরা কখনই এটিকে মর্যাদাবোধ করি নি তাই আমরা অ্যাপাচি স্পার্ক বা পরবর্তী কম্পিউটারের কাঠামোয় সেই লিভারেজের সাথে দৃ strong় থাকব। এটি আমাদের ফোকাস অব্যাহত থাকবে। এবং ডেটা মুভমেন্ট টুকরা এবং ডেটা অ্যাক্সেস টুকর ক্ষেত্রে, অবশ্যই এটি আমাদের অন্যতম শক্তি এবং আমরা হ্যাডোপ বা স্পার্কের প্রসঙ্গে মেইনফ্রেমে DB2 বা VSAM ডেটা অ্যাক্সেস করছি।

এরিক কাভানাঘ: ওয়েল, ওয়েবকাস্ট শেষ করার জন্য এটি দুর্দান্ত উপায় f আপনার সময় এবং মনোযোগের জন্য আপনাকে অনেক ধন্যবাদ। ব্রিফিংরুমে আসার এবং রাউন্ডে পা রাখার জন্য, টেন্ডু এবং সিঙ্কসোর্ট আপনাকে ধন্যবাদ, যেমন তারা বলেছে। দর্শকদের কাছ থেকে অনেক দুর্দান্ত প্রশ্ন। লোকেরা, এটি সেখানে চিরচেনা পরিবেশ। আমরা এই হট টেকটি সংরক্ষণাগার হিসাবে অন্যদের সবার মতো করব। আপনি আমাদের ইনারানালাইসিস ডট কম এবং টেকোপিডিয়া ডটকম এ খুঁজে পেতে পারেন। সাধারণত এটি প্রায় এক দিনের মধ্যে যায়। এবং এটি দিয়ে, আমরা আপনাকে বিদায় জানাব, লোকেরা। তোমাকে অনেক ধন্যবাদ. আমরা শীঘ্রই আপনার সাথে কথা বলব। যত্ন নিবেন. বিদায়, বিদায়।