ফায়ারহোজকে পুনরুদ্ধার করা: স্ট্রিমিং বিশ্লেষণ থেকে ব্যবসায়িক মূল্য পাওয়া: ওয়েবিনার ট্রান্সক্রিপ্ট

টেকোপিডিয়া স্টাফ দ্বারা, ফেব্রুয়ারি 24, 2016

টেকওয়ে : হোস্ট রেবেকা জোজভিয়াক শীর্ষ শিল্প বিশেষজ্ঞদের সাথে স্ট্রিমিং বিশ্লেষণ নিয়ে আলোচনা করেছেন।

আপনি বর্তমানে লগ ইন নেই Please ভিডিওটি দেখতে লগ ইন বা সাইন আপ করুন।

রেবেকা জোজভিয়াক: মহিলা এবং ভদ্রলোক, হ্যালো এবং 2016 এর হট টেকনোলজিসে স্বাগতম! আজকের শিরোনামটি হ'ল দ্য ফায়ারহোজ: স্ট্রিমিং অ্যানালিটিক্স থেকে ব্যবসায়ের মূল্য অর্জন করা ”" এটি রেবেকা জোজভিয়াক। ওয়েবকাস্ট হোস্টের জন্য আমি সেকেন্ড কমান্ড যখনই আমাদের প্রিয় এরিক কাভানাঘ এখানে থাকতে পারে না, তাই আজ আপনারা সেখানে অনেককে দেখে ভাল লাগল।

এই পর্বটি আমাদের অন্যদের থেকে কিছুটা আলাদা। আমরা কী ধরণের গরম তা নিয়ে কথা বললাম এবং অবশ্যই এই বছরটি গরম। গত বেশ কয়েক বছর ধরে গরম ছিল। সর্বদা নতুন জিনিস বেরিয়ে আসে। আজ, আমরা স্ট্রিমিং বিশ্লেষণের কথা বলছি। স্ট্রিমিং বিশ্লেষণ এক ধরণের নতুন। অবশ্যই স্ট্রিমিং, সেন্টার ডেটা, আরএফআইডি ডেটা, এগুলি অগত্যা নতুন নয়। তবে ডেটা আর্কিটেকচারের প্রসঙ্গে আমরা কয়েক দশক ধরে বিশ্রামের উপাত্তের প্রতি এত মনোযোগী হয়েছি। ডেটাবেস, ফাইল সিস্টেম, ডেটা সংগ্রহস্থল - সমস্ত কিছুই বেশিরভাগ ব্যাচের প্রক্রিয়াজাতকরণের উদ্দেশ্যে। তবে এখন স্ট্রিমিং ডেটা, ডেটা আবেগ থেকে মূল্য তৈরি করার পরিবর্তনের সাথে কেউ কেউ একে জীবন্ত প্রবাহ বলে অভিহিত করে, তাদের সত্যিকার অর্থে স্ট্রিম-ভিত্তিক আর্কিটেকচারের প্রয়োজন হয়, বিশ্রামের আর্কিটেকচারের ডেটা নয় যা আমরা ব্যবহার করে এসেছি এবং এর জন্য সক্ষম হওয়া দরকার দ্রুত ইনজেশন, রিয়েল-টাইম বা রিয়েল-টাইম প্রসেসিংয়ের কাছাকাছি পরিচালনা করা। এটি কেবলমাত্র ইন্টারনেটের জিনিসগুলির জন্য নয়, সমস্ত কিছুর ইন্টারনেট সরবরাহ করতে সক্ষম হতে হবে।

অবশ্যই, আদর্শভাবে, দুটি আর্কিটেকচার পাশাপাশি থাকবেন, এক হাত অন্য হাত ধুয়ে ফেললে ভালো লাগবে। যদিও পুরানো ডেটা, সপ্তাহ-পুরাতন ডেটা, এখনও বছরের পুরানো ডেটাগুলির অবশ্যই মূল্য, historicalতিহাসিক বিশ্লেষণ, প্রবণতা বিশ্লেষণ রয়েছে, এটি এখনকার লাইভ ডেটা যা এই দিনগুলিতে সরাসরি বুদ্ধি চালাচ্ছে এবং সে কারণেই স্ট্রিমিং বিশ্লেষণ এত গুরুত্বপূর্ণ হয়ে উঠেছে।

আমি আজ সে সম্পর্কে আরও কথা বলছি। আমাদের সাথে ডেটা ব্লাঞ্চফিল্ড অস্ট্রেলিয়া থেকে ডেকে আনা হয়েছে data এখনই তাঁর জন্য এখন ভোর আমাদের প্রধান বিশ্লেষক ডঃ রবিন ব্লুর। ইমপেটাস টেকনোলজিসের স্ট্রিমএনালিটিক্সের পণ্য প্রধান আনন্দ ভেনুগোপালের সাথে আমরা যুক্ত হয়েছি। তারা সত্যিই এই জায়গার স্ট্রিমিং অ্যানালিটিকাগুলির দিকে মনোনিবেশ করছে।

এটির সাথেই, আমি এগিয়ে যাব এবং এটি ডেজের কাছে যাচ্ছি

ডেজ ব্লাঞ্চফিল্ড: আপনাকে ধন্যবাদ। আমার এখানে স্ক্রিনের নিয়ন্ত্রণ ধরতে হবে এবং এগিয়ে যেতে হবে।

রেবেকা জোজভিয়াক: আপনি এখানে যান।

ডেজ ব্লাঞ্চফিল্ড: আমরা স্লাইডগুলি ধরার সময়, আমাকে কেবল মূল বিষয়টি cover াকতে দাও।

আমি এটিকে মোটামুটি উচ্চ স্তরের রাখতে যাচ্ছি এবং আমি এটি প্রায় 10 মিনিটের মধ্যে রাখব। এটি একটি খুব বড় বিষয়। আমি এমন একটি ইভেন্টে অংশ নিয়েছিলাম যেখানে আমরা স্ট্রিম প্রসেসিং কী এবং আমাদের যে ফ্রেমওয়ার্কগুলি বিকাশ করা হয় এবং সেই উচ্চ-ভলিউম স্ট্রিমগুলিতে বিশ্লেষণগুলি করার কী বোঝাতে হবে তার বিশদ অনুসন্ধানে দুই থেকে তিন দিন কাটিয়েছি।

আমরা বিশ্লেষণ স্ট্রিমিং দ্বারা আমরা কী বোঝাতে চাইছি তা স্পষ্ট করেই যাচ্ছি এবং তারপরে ব্যবসায়ের মানটি আদায় করা যায় কিনা তা আবিষ্কার করা উচিত কারণ এটিই ব্যবসায়ের সন্ধান করছে। লোকেরা তাদের খুব দ্রুত এবং সংক্ষেপে ব্যাখ্যা করতে চাইছে, আমাদের স্ট্রিম ডেটাতে বিশ্লেষণের কিছু ফর্ম প্রয়োগ করে আমি কোথায় মূল্য অর্জন করতে পারি?

স্ট্রিমিং বিশ্লেষণ কী?

স্ট্রিমিং বিশ্লেষণগুলি সংস্থাগুলিকে উচ্চ-ভলিউম এবং উচ্চ-গতিবেগের ডেটা যা তারা ব্যবসায়ের মাধ্যমে বিভিন্ন ধরণের গতিতে চলেছে তা থেকে মূল্য বের করার একটি উপায় দেয়। এখানে উল্লেখযোগ্য পার্থক্যটি হ'ল মেনফ্রেমের উদ্ভাবন হওয়ার পর থেকে আমরা বিশ্লেষণে বিশ্লেষণ এবং লেন্স এবং ডেটা দেখার জন্য দীর্ঘ ইতিহাস পেয়েছি decades আমরা গত তিন থেকে পাঁচ বছরে যে বিশাল দৃষ্টান্তের শিফটটি দেখেছি, যাকে আমরা "ওয়েব স্কেল" বলে থাকি তা রিয়েল টাইম বা রিয়েল টাইমে আমাদের মধ্যে আসা ডেটা প্রবাহগুলিকে ট্যাপ করে কেবল প্রক্রিয়াজাত করে না এবং ইভেন্টের সম্পর্ক বা সন্ধানের জন্য বা ইভেন্টটি ট্রিগার করে কিন্তু সেই স্ট্রিমগুলিতে সত্যই বিশদ বিশ্লেষণ বিশ্লেষণ করে। এটি আমরা যা করেছি তার আগে একটি তাড়াতাড়ি পরিবর্তন হয় যা হয় হয় ডেটা সংগ্রহ করা, এটি কোনও ধরণের ভাণ্ডারের মধ্যে রাখা, traditionতিহ্যগতভাবে এখন বড় ডাটাবেসগুলি, হ্যাডোপ প্ল্যাটফর্মের মতো বড় বড় ডেটা ফ্রেমওয়ার্ক এবং এটিতে ব্যাচ-মোড প্রক্রিয়াজাতকরণ করা এবং পাওয়া কিছুটা অন্তর্দৃষ্টি।

আমরা এটি খুব তাড়াতাড়ি করতে এবং স্টাফগুলিতে প্রচুর ভারী লোহা ব্যবহার করে খুব ভাল পেয়েছি, তবে আমরা এখনও সত্যই ডেটা ক্যাপচার করছি, সংরক্ষণ করছি এবং তারপরে এটি খুঁজছি এবং এর উপর কিছু ধরণের অন্তর্দৃষ্টি বা বিশ্লেষণ পেয়েছি। ডেটা প্রবাহিত হওয়ায় সেই বিশ্লেষণগুলি সম্পাদন করার স্থানটি বড় ডেটার চারপাশে ঘটে যাওয়া বিভিন্ন ধরণের জিনিসের জন্য খুব নতুন এবং উত্তেজনাপূর্ণ বৃদ্ধির ক্ষেত্র ছিল। এটি কেবল ক্যাপচার, সঞ্চয় এবং প্রক্রিয়াজাতকরণ এবং বিশ্লেষণ সম্পাদন করতে সম্পূর্ণ ভিন্ন পদ্ধতির প্রয়োজন।

প্রবাহে বিশ্লেষণ সম্পাদন করার দিকে চালনা এবং ফোকাসের অন্যতম মূল চালিকা হ'ল তথ্যটি আপনার কাছে উপস্থিত হওয়ার সাথে সাথে তথ্যগুলি আপনার কাছে আসার সাথে সাথে এই অন্তর্দৃষ্টিগুলি আরও দ্রুত এবং তাত্ক্ষণিকভাবে পাওয়া থেকে আপনি গুরুত্বপূর্ণ ব্যবসায়িক মূল্য অর্জন করতে পারেন। শেষ-দিনের-প্রসেসিং করার ধারণাটি এখন নির্দিষ্ট শিল্পগুলিতে আর প্রাসঙ্গিক নয়। আমরা উড়তে বিশ্লেষণ করতে সক্ষম হতে চাই। দিনের শেষের দিকে, আমরা ইতিমধ্যে জানি যে কী ঘটেছিল কারণ এটি ঘটেছিল বরং দিনের শেষে যাওয়া এবং 24 ঘন্টা ব্যাচের কাজ করা এবং সেই অন্তর্দৃষ্টিগুলি পাওয়ার চেয়ে।

স্ট্রিমিং অ্যানালিটিকাগুলি সেই স্ট্রিমটিতে সরাসরি ট্যাপিং সম্পর্কে রয়েছে যখন ডেটা স্ট্রিমগুলি সাধারণত খুব উচ্চ মাত্রার ডেটা এবং ডেটাগুলির একাধিক স্ট্রিম থাকে যা খুব দ্রুত, খুব তাড়াতাড়ি আমাদের কাছে আসে এবং সেই স্ট্রিমগুলির উপর অন্তর্দৃষ্টি বা বিশ্লেষণ পেতে থাকে যখন তারা আমাদের বিরোধী হিসাবে আসে as এটি বিশ্রামে আসে এবং তাদের উপর বিশ্লেষণ সম্পাদন করে allowing

যেমনটি আমি উল্লেখ করেছি, ব্যাচ অ্যানালিটিকাকে আমি যা বলেছি তা সম্পাদন করার আমাদের কয়েক দশক এবং দশক ধরে রয়েছে। আমি এখানে একটি দুর্দান্ত ছবি রেখেছি। এটি একটি উপদ্রবযুক্ত কম্পিউটারের সামনে দাঁড়িয়ে এক ভদ্রলোকের ছবি যা আজীবন আগে আরএএনডি কর্পোরেশন তৈরি করেছিল এবং এটি দেখতে তারা একটি ঘরে একটি কম্পিউটার দেখেছিল। মজার বিষয় হ'ল তারপরেও, তাদের কাছে এই সমস্ত ছোট ডায়ালগুলির ধারণা ছিল এবং এই ডায়ালগুলি বাড়ি থেকে আগত তথ্য আসবে এবং রিয়েল টাইমে প্রক্রিয়াজাত করা হবে এবং আপনাকে কী চলছে তা আপনাকে জানিয়েছে। একটি সাধারণ উদাহরণ হ'ল ব্যারোমেট্রিক চাপ এবং তাপমাত্রার একটি সেট যা আমরা দেখতে পাচ্ছি যে আসল সময়ে কী ঘটছে। তবে আমি কল্পনা করেছিলাম যে তখনও যখন আরএএএনডি কর্পোরেশন সেই ছোট্ট মকআপটি একসাথে রেখেছিল, তারা আসলে ইতিমধ্যে স্ট্রিম ফর্ম্যাটে আসার সাথে সাথে ডেটা প্রক্রিয়াকরণ এবং বিশ্লেষণ সম্পাদন করার বিষয়ে ইতিমধ্যে চিন্তা করেছিল। তারা কেন কম্পিউটারে স্টিয়ারিং হুইল লাগিয়েছিল তা আমি নিশ্চিত নই, তবে এটি দুর্দান্ত।

প্রিন্টারের আবিষ্কারের পর থেকে আমাদের কাছে ডেটা ক্যাপচার এবং এটিতে ব্যাচ অ্যানালিটিকস সম্পাদন করার দৃষ্টিভঙ্গি ছিল। যেহেতু আমি এখন বড় শিফট নিয়ে বলেছি এবং আমরা এটি ওয়েব স্কেল প্লেয়ারদের পছন্দ থেকে দেখেছি যারা আমরা সবাই জানি, তারা সবাই টুইটার, ফেসবুক এবং লিংকডইনের মতো ঘরোয়া ব্র্যান্ড, সেই সামাজিক সাথে আমাদের যে ইন্টারেক্টিভ আচরণ করে প্ল্যাটফর্মগুলির জন্য কেবল ক্যাপচার, সঞ্চয় এবং তারপরে ব্যাচ মোডে প্রক্রিয়া করার প্রয়োজন হয় না তবে তারা প্রকৃতপক্ষে ডেটা স্ট্রিম থেকে আগত ফ্লাইগুলিতে ক্যাপচার এবং ড্রাইভ বিশ্লেষণ করে। আমি যখন কিছু টুইট করি, তখন কেবল তাদের ক্যাপচার এবং সঞ্চয় এবং পরে কিছু করার প্রয়োজন হয় না, তবে এগুলি অবিলম্বে আমার স্ট্রিমে রেখে দেওয়া এবং আমাকে অনুসরণকারী অন্যান্য লোকদের সাথে ভাগ করে নিতে সক্ষম হওয়া প্রয়োজন। এটি একটি ব্যাচ প্রসেসিং মডেল।

আমরা কেন এই পথে নামব? সংস্থাগুলি কেন স্ট্রিম অ্যানালিটিকাগুলির জন্য প্রচেষ্টা চালানোর চ্যালেঞ্জ বিবেচনা করে সময়, প্রচেষ্টা এবং অর্থ বিনিয়োগ করবে? সংস্থাগুলি যে শিল্পগুলিতে রয়েছে তাদের প্রতিযোগীদের উপর পারফরম্যান্স অর্জনের এই বৃহত আকাঙ্ক্ষা রয়েছে এবং সাধারণ স্ট্রিম অ্যানালিটিকগুলির মাধ্যমে পারফরম্যান্স লাভটি দ্রুত প্রয়োগ করা যেতে পারে এবং এটি ইতিমধ্যে একটি সহজ মাত্র ট্র্যাকিং রিয়েল-টাইম ডেটা থেকে শুরু হতে পারে যা আমরা ইতিমধ্যে পেয়েছি পরিচিত. আমি গুগল অ্যানালিটিকাগুলির একটি সামান্য স্ক্রিনশট পেয়েছি। এটি সম্ভবত প্রথমবারের মধ্যে একটি যা আমরা সত্যই হাতে পেয়েছি গ্রাহক-গ্রেড বিশ্লেষণ। আপনার ওয়েবসাইটটিতে এম্বেড থাকা এইচটিএমএলটিতে আপনার ওয়েবপৃষ্ঠের নীচে জাভাস্ক্রিপ্টের একটি ছোট টুকরো সহ লোকেরা যখন আপনার ওয়েবসাইটটিতে গিয়েছিল এবং আপনি সেইগুলি হিট সংখ্যাগুলি পেয়ে যাচ্ছেন, এই ছোট কোডগুলি রিয়েল টাইমে গুগলে তৈরি করা হয়েছিল এবং সেগুলি ছিল আপনার ওয়েবসাইটের প্রতিটি পৃষ্ঠা থেকে রিয়েল টাইমে আপনার ওয়েবসাইটের প্রতিটি পৃষ্ঠা থেকে আগত ডেটাগুলির স্ট্রিমগুলিতে বিশ্লেষণ সম্পাদন করা এবং তারা এটি আপনাকে রিয়েল-টাইম গ্রাফের ড্যাশবোর্ডে সত্যিই বুদ্ধিমান ছোট্ট ওয়েবপৃষ্ঠায়, কিউট লিটল হিস্টোগ্রামে এবং আপনার কাছে প্রেরণ করে and লাইন গ্রাফ আপনাকে X সংখ্যক লোক দেখায় যা আপনার পৃষ্ঠায় hitতিহাসিকভাবে আঘাত করে তবে এই মুহুর্তে এখানে কতজন রয়েছেন তা এখানে।

আপনি যে স্ক্রিনশটে দেখতে পাচ্ছেন, এটি এখন 25 বলেছে। স্ক্রিনশটের সময় সেই পৃষ্ঠাটিতে এখন 25 জন ছিল। গ্রাহক-গ্রেড বিশ্লেষণ সরঞ্জামটিতে আমরা এটিই প্রথম আসল সুযোগটি খেলেছি। আমি মনে করি অনেক লোক সত্যই এটি পেয়েছে। কী চলছে এবং কীভাবে তারা এতে প্রতিক্রিয়া জানাতে পারে তার ক্ষমতাটি তারা কেবল বুঝতে পেরেছিল। যখন আমরা এভায়োনিকস, বিমানগুলি প্রায় কাছাকাছি বিমানের স্কেল সম্পর্কে চিন্তা করি, তখন কেবল মার্কিন যুক্তরাষ্ট্রে একদিনে 18, 700 টি দেশীয় বিমানের মতো থাকে। আমি কিছু সময় আগে একটি কাগজ পড়েছি - এটি প্রায় ছয় বা সাত বছর আগে - যে বিমানগুলি যে পরিমাণ ডেটা তৈরি করেছিল তা পুরানো ইঞ্জিনিয়ারিং মডেলের প্রায় 200 থেকে 300 মেগাবাইট ছিল। আজকের বিমানের ডিজাইনে, এই বিমানগুলি প্রায় 500 গিগাবাইট ডেটা বা ফ্লাইটে প্রায় অর্ধেক টেরাবাইট ডেটা তৈরি করছে are

আপনি যখন খুব তাড়াতাড়ি আপনার মাথার উপরের অংশ থেকে গণিতটি করেন, তখন আমেরিকা যুক্তরাষ্ট্রের আকাশসীমায় প্রতি 24 ঘন্টার মধ্যে 18, 700 আঞ্চলিক বিমানগুলি, যদি সমস্ত আধুনিক বিমান প্রায় অর্ধ টেরাবাইট উত্পাদন করে, তবে 43 থেকে 44 পেটাবাইট ডেটা আসে এবং বিমানগুলি যখন বাতাসে ছিল তখন এটি ঘটছে। যখন তারা অবতরণ করছে এবং তারা ডেটা ডাম্প করে তখন এটি ঘটছে। বিয়ারিংস, চাকা এবং ইঞ্জিনগুলির মধ্যে কী ঘটছে তা দেখার জন্য তারা যখন দোকানে যান এবং ইঞ্জিনিয়ারিং দলগুলির কাছ থেকে একটি সম্পূর্ণ ডেটা ডাম্প পান That's সেই ডেটাগুলির মধ্যে কিছুটিকে বাস্তব সময়ে প্রক্রিয়া করতে হবে যাতে বিমানটি বাতাসে ছিল অথবা যখন এটি মাটিতে ছিল তখন কোনও বাস্তব সমস্যা আছে কিনা সে বিষয়ে তারা সিদ্ধান্ত নিতে পারে। আপনি কেবল এটি ব্যাচ মোডে করতে পারবেন না। অন্যান্য শিল্পগুলিতে যা আমরা অর্থ, স্বাস্থ্য, উত্পাদন এবং ইঞ্জিনিয়ারিংয়ের আশেপাশে দেখি, তারা কেবলমাত্র একটি ডাটাবেসে সংরক্ষণ করা হচ্ছে তার বিপরীতে বাস্তব সময়ে কী ঘটছে সে সম্পর্কে কীভাবে তারা এই নতুন অন্তর্দৃষ্টি দিয়ে পেতে পারেন তাও দেখছেন পরিভাষা।

ডেটা নিয়ে কাজ করার এই ধারণাটিও রয়েছে যা আমি একটি ধ্বংসাত্মক ভাল বা ধ্বংসযোগ্য পণ্য হিসাবে অভিহিত করি - যা সময়ের সাথে সাথে প্রচুর ডেটা হ্রাস পায়। এটি গতিশীলতা অ্যাপ্লিকেশন এবং সোশ্যাল মিডিয়া সরঞ্জামগুলির ক্ষেত্রে আরও বেশি করে ঘটায় কারণ লোকেরা যা বলছে এবং যা এখন ট্রেন্ডিং হচ্ছে এটিই আপনি প্রতিক্রিয়া জানাতে চান। আপনি যখন আমাদের জীবনের অন্যান্য অংশগুলিতে রসদ সরবরাহ এবং খাদ্য সরবরাহের আশেপাশে চিন্তা করেন তখন আমরা সেই অর্থে বিনষ্টযোগ্য পণ্য ধারণাটি বুঝতে পারি। তবে আপনার সংস্থার মাধ্যমে যে ডেটা চলছে তা এবং এর মানটি নিয়ে ভাবুন। যদি এই মুহূর্তে কেউ আপনার সাথে কিছু ব্যবসা করছে এবং আপনি তাদের সাথে রিয়েল টাইম ইন্টারেক্ট করতে পারেন, আপনি এক ঘন্টা অপেক্ষা করতে চান না যাতে ডেটা ক্যাপচার হয়ে হ্যাডোপের মতো সিস্টেমে রাখা যায় এবং তারপরে এই বোতামটি টিপুন, আপনি এখনই এটি মোকাবেলা করতে সক্ষম হবে না এবং আপনি ক্লায়েন্টের দাবিতে অবিলম্বে এটি করতে সক্ষম হতে চান। এমন একটি শব্দ রয়েছে যা আপনি এখন অনেকটাই পপ আপ দেখতে পাবেন যেখানে লোকেরা এই রিয়েল-টাইম ডেটা স্ট্রিমের কথা বলবে যা আপনাকে ব্যক্তিগতকরণ দিতে পারে, এবং যে সিস্টেমটি আপনি নিজের ব্যক্তিগত অভিজ্ঞতার সাথে ব্যবহার করছেন সেই ব্যক্তিগতকরণের সুর une সুতরাং আপনি যখন গুগল অনুসন্ধান সরঞ্জামের মতো কোনও সরঞ্জামকে হিট করেন উদাহরণস্বরূপ, যদি আমি কোনও জিজ্ঞাসা করি এবং আপনি একই ক্যোরিটি করেন, অগত্যা, আমরা ঠিক একই ডেটা পাচ্ছি না। আমি সেলিব্রিটি অভিজ্ঞতা হিসাবে যা উল্লেখ করি তা মূলত আমরা পাই। আমার সাথে একতরফা আচরণ করা হচ্ছে। তারা আমার উপর যে প্রোফাইলগুলি এবং ডেটা সংগ্রহ করেছে তার উপর ভিত্তি করে এই সিস্টেমে কী ঘটছে তার নিজস্ব ব্যক্তিগত সংস্করণ আমি পেয়েছি এবং আমি স্ট্রিমের আসল সময়ে বিশ্লেষণ করতে সক্ষম হয়েছি।

ডেটা ধ্বংসের পন্য হিসাবে এই ধারণাটি আপাতত একটি বাস্তব জিনিস এবং সময়ের সাথে সাথে ডেটার মান হ্রাস পাচ্ছে এমন একটি বিষয় যা আমাদের আজকে মোকাবেলা করতে হবে। এটি কোনও গতকালের জিনিস নয়। আমি ভালুকের এই ছবিটি নদীর তীরে ঝাঁপিয়ে পড়া সালমনকে ধরতে পছন্দ করি কারণ এটি স্ট্রিমিং অ্যানালিটিকাগুলি যা দেখায় সত্যই তা আঁকায়। এটি আমাদের কাছে এই বিশাল ডেটা নদী আসবে, যদি আপনি চান তবে একটি ফায়ারহস এবং ভালুকটি খালের মাঝখানে বসে আছে। এটি এর চারপাশে কী ঘটছে তা নিয়ে রিয়েল-টাইম বিশ্লেষণ করতে চলেছে যাতে এটি সেই মাছটিকে বাতাসে ধারণ করার ক্ষমতাটি প্রকৌশলী করতে পারে। এটি কেবল স্রোতে ডুবিয়ে ফেলার মতো নয়। এই জিনিসটি বাতাসে ঝাঁপিয়ে পড়েছে এবং সেই মাছটি ধরার জন্য সঠিক সময়ে সঠিক জায়গায় থাকতে হবে। অন্যথায়, তিনি প্রাতঃরাশ বা মধ্যাহ্নভোজ পান না।

একটি সংস্থা তাদের তথ্য দিয়ে একই জিনিস করতে চায়। তারা এখন গতিতে প্রচুর পরিমাণে ডেটা ভলিউম যা থেকে মূল্য বের করতে চায়। তারা সেই ডেটা এবং উচ্চ গতিবেগের ডেটা বিশ্লেষণ করতে চায় যাতে এটি কেবল আমাদের কাছে আসা ডেটার পরিমাণই নয় তবে এটি যে গতি থেকে আসে তা এটি। সুরক্ষার উদাহরণস্বরূপ, এটি আপনার সমস্ত রাউটার, সুইচ, সার্ভার, ফায়ারওয়ালস এবং সমস্ত ঘটনা যা সেই হাজার হাজার থেকে আসছে এবং যদি কয়েক হাজার না করে কয়েক হাজার ডিভাইস আসে তবে কিছু ক্ষেত্রে এটি ধ্বংসযোগ্য ডেটা। যখন আমরা ইন্টারনেট অফ থিংস এবং ইন্ডাস্ট্রিয়াল ইন্টারনেটের বিষয়ে এটি চিন্তা করি, আমরা কোটি কোটি সেন্সর না হলে অবশেষে কথা বলি, এবং বিশ্লেষণ সম্পাদনকারী ডেটা যেভাবে আসে, আমরা এখন জটিল ইভেন্টগুলি প্রক্রিয়াজাতকরণের দিকে তাকিয়ে থাকি আমরা এর আগে কখনও দেখিনি এমন বিশালতা এবং গতির আদেশে এবং আজ আমাদের এটি মোকাবেলা করতে হবে। আমাদের চারপাশে সরঞ্জাম এবং সিস্টেম তৈরি করতে হচ্ছে। এটি সংস্থাগুলির কাছে একটি সত্যিকারের চ্যালেঞ্জ কারণ একদিকে, আমরা খুব বড় ব্র্যান্ড পেয়েছি যে ডিআইওয়াই করছে, নিজেকে বেক করবে, যখন তারা করার দক্ষতা পেয়েছে এবং দক্ষতা সেট এবং ইঞ্জিনিয়ারিং রয়েছে। কিন্তু গড় সংস্থার ক্ষেত্রে এটি তেমন নয়। তাদের দক্ষতার সেট নেই। এটি নির্ধারণে বিনিয়োগ করার মতো ক্ষমতা বা সময় বা এমনকি পয়সা তাদের নেই। তারা সকলেই নিকট-আসল-সময় সিদ্ধান্ত গ্রহণের এই ধারণার দিকে লক্ষ্য রাখছে।

আমি যে কেসগুলি পেরিয়ে এসেছি সেগুলি ব্যবহার করুন এবং এটি আপনি যে প্রতিটি সেক্টরের কল্পনা করতে পারেন তার প্রতিটি বিস্তৃত বর্ণালী জুড়ে রয়েছে, লোকেরা বসে মনোযোগ দিচ্ছে এবং বলছে, কীভাবে আমরা আমাদের স্ট্রিম ডেটাতে কিছু বিশ্লেষণ প্রয়োগ করব? আমরা ওয়েব-স্কেল অনলাইন পরিষেবাদি সম্পর্কে কথা বলি। Theতিহ্যবাহী সামাজিক মিডিয়া প্ল্যাটফর্ম এবং অনলাইন ই-টেলিং এবং খুচরা বিক্রয় রয়েছে - উদাহরণস্বরূপ অ্যাপস apps তারা সবাই আমাদের এই রিয়েল-টাইম সেলিব্রিটি অভিজ্ঞতা দেওয়ার চেষ্টা করছে। কিন্তু যখন আমরা প্রযুক্তির স্ট্যাক পরিষেবা, টেলিফোন পরিষেবা, ভয়েস এবং ভিডিওর বেশিরভাগ অংশে নামি, আমি লোকদের ফোনে ফেসটাইম করতে ঘুরতে দেখি। এটি সবে বিস্ফোরিত হচ্ছে। এটি আমার মনের ভাবটি কেটে দেয় যে লোকেরা ফোনটি সামনে রাখে এবং বন্ধুর কোনও ভিডিও স্ট্রিমের সাথে কথা বলার বিরোধী হিসাবে এটি আর কানে রাখেনি। তবে তারা জানে যে তারা এটি করতে পারে এবং তারা মানিয়ে নিয়েছিল এবং তারা সেই অভিজ্ঞতা পছন্দ করেছে। এই অ্যাপ্লিকেশনগুলির বিকাশ এবং এইগুলি সরবরাহ করে এমন প্ল্যাটফর্মগুলি সেই ট্র্যাফিক এবং ট্র্যাফিকের প্রোফাইলগুলিতে রিয়েল-টাইম বিশ্লেষণ করতে হয় যাতে তারা সেই ভিডিওটিকে পুরোপুরি রাউটিংয়ের মতো সহজ কাজ করতে পারে যাতে ভয়েসের মানটির গুণমানটি আপনি যে ভিডিও পেয়েছেন তা একটি ভাল অভিজ্ঞতা পাওয়ার জন্য পর্যাপ্ত। আপনি এই জাতীয় ডেটা ব্যাচ প্রক্রিয়া করতে পারবেন না। এটি রিয়েল-টাইম ভিডিও স্ট্রিমকে কার্যকরী পরিষেবা হিসাবে তৈরি করবে না।

আর্থিক লেনদেনের ক্ষেত্রে প্রশাসনের চ্যালেঞ্জ রয়েছে। দিনের শেষে পৌঁছানো এবং জায়গাটির চারপাশে ব্যক্তিগত ডেটা সরানো আইন ভঙ্গ করে তা খুঁজে বের করা ঠিক হবে না। অস্ট্রেলিয়ায়, আমাদের কাছে একটি অত্যন্ত আকর্ষণীয় চ্যালেঞ্জ রয়েছে যেখানে গোপনীয়তার সাথে সম্পর্কিত ডেটা অফশোরের সরানো কোনও নম্বর নয়। আপনি আমার পিআইডি, আমার ব্যক্তিগত ব্যক্তিগত পরিচয় ডেটা, অফশোর নিতে পারবেন না। অস্ট্রেলিয়ায় এমন আইন রোধ করার জন্য আইন আছে। বিশেষত আর্থিক পরিষেবা সরবরাহকারী, সরকারী সেবা এবং সংস্থাগুলি, তারা আমাকে যা সরবরাহ করছে তা উপকূল ছাড়বে না তা নিশ্চিত করার জন্য তাদের সাথে আমার ডেটা এবং নির্দেশাবলীর স্রোতে রিয়েল-টাইম বিশ্লেষণ করতে হবে। সমস্ত জিনিস স্থানীয়ভাবে থাকতে হবে। তারা এটি বাস্তব সময় করতে হবে। তারা আইন ভঙ্গ করতে পারে না এবং পরে ক্ষমা চাইতে পারে। জালিয়াতি সনাক্তকরণ - এটি ক্রেডিট কার্ডের লেনদেনের সাথে আমরা শুনি এটি একটি খুব সুস্পষ্ট। কিন্তু আমরা আর্থিক পরিষেবায় যে ধরণের লেনদেন করছি তা খুব দ্রুত পরিবর্তিত হচ্ছে, এমন অনেক ধরণের জিনিস রয়েছে যা রিয়েল টাইমে জালিয়াতি সনাক্তকরণে পেপাল এখন প্রথমে করছে যেখানে অর্থ এক জিনিস থেকে অন্য জায়গায় চলেছে না তবে এটি সিস্টেমের মধ্যে একটি আর্থিক লেনদেন। ইবে বিডিং প্ল্যাটফর্মগুলি, জালিয়াতি সনাক্তকরণ একটি স্ট্রিমিং অফিসে রিয়েল-টাইম করতে হবে।

স্ট্রিমগুলিতে এক্সট্রাকশন সম্পাদন এবং লোড ক্রিয়াকলাপটি রূপান্তর করতে এখন একটি প্রবণতা প্রবাহিত হচ্ছে যাতে আমরা স্ট্রিমে যাচ্ছে এমন কোনও কিছুই ক্যাপচার করতে চাই না। আমরা আসলে এটি করতে পারি না। লোকেরা শিখেছে যে আমরা যদি সমস্ত কিছু ক্যাপচার করি তবে ডেটা সত্যিই দ্রুত ভাঙ্গতে পছন্দ করে। কৌশলটি এখন সেই স্ট্রিমগুলিতে বিশ্লেষণ সম্পাদন করা এবং এটির জন্য ইটিএল করা এবং কেবলমাত্র আপনার যা প্রয়োজন, সম্ভাব্য মেটাডেটা ক্যাপচার করুন এবং তারপরে ভবিষ্যদ্বাণীমূলক বিশ্লেষণ চালনা করুন যেখানে আমরা আসলে যা বলতে পারি তারপথের পথে কিছুটা দূরে কি ঘটতে চলেছে আমরা যে বিশ্লেষণ করেছি তার উপর ভিত্তি করে স্রোতে সবেমাত্র দেখা গেছে।

শক্তি এবং ইউটিলিটি সরবরাহকারীরা গ্রাহকদের কাছ থেকে চাহিদা মূল্যের জন্য এই বৃহত আকাঙ্ক্ষাটি অনুভব করছে। আমি সিদ্ধান্ত নিতে পারি যে আমি দিনের একটি নির্দিষ্ট সময়ে সবুজ শক্তি কিনতে চাই কারণ আমি কেবল বাড়িতে একা থাকি এবং আমি প্রচুর ডিভাইস ব্যবহার করি না। তবে আমার যদি রাতের খাবারের পার্টি হয় তবে আমি আমার সমস্ত ডিভাইস চালু রাখতে চাই এবং আমি চাই না যে সস্তা বিদ্যুৎ কেনা এবং এটি সরবরাহের অপেক্ষায় থাকি তবে সেই শক্তি পাওয়ার জন্য আরও দামের জন্য অর্থ দিতে আগ্রহী। বিশেষত ইউটিলিটি এবং শক্তি স্থানগুলিতে এই চাহিদা মূল্য ইতিমধ্যে ঘটেছে। উদাহরণস্বরূপ উবার আপনি প্রতিদিন করতে পারেন এমন জিনিসগুলির একটি সর্বোত্তম উদাহরণ এবং এটি সমস্ত চাহিদা মূল্যের দ্বারা চালিত। নতুন বছরের প্রাক্কালে বিশাল চাহিদা থাকার কারণে অস্ট্রেলিয়ায় লোকেরা 10, 000 ডলার ভাড়া পাচ্ছে এমন কয়েকটি ক্লাসিক উদাহরণ রয়েছে। আমি নিশ্চিত যে তারা এই সমস্যাটি মোকাবেলা করেছে তবে গাড়িতে থাকাকালীন রিয়েল টাইমে স্ট্রিম অ্যানালিটিক্স আপনাকে বলছে যে আমার কত টাকা দিতে হবে।

থিংস এবং সেন্সর স্ট্রিমের ইন্টারনেট - আমরা কেবল এটির উপরের অংশটি স্ক্র্যাচ করেছি এবং এটিতে আমরা কেবলমাত্র প্রাথমিক কথোপকথনটি করেছি তবে প্রযুক্তি কীভাবে এর সাথে আচরণ করে তার একটি আকর্ষণীয় পরিবর্তন আমরা দেখতে পাব কারণ যখন আপনি কথা বলছেন না when প্রায় হাজার হাজার বা কয়েক হাজার কিন্তু আপনার কাছে প্রবাহিত কয়েকশো হাজার এবং সম্ভাব্য বিলিয়ন বিলিয়ন ডিভাইস, আমরা এখন যে প্রযুক্তিগত স্ট্যাক পেয়েছি তার প্রায় কোনওই তা মোকাবেলায় ইঞ্জিনিয়ার করা হয়নি।

সুরক্ষা এবং সাইবার ঝুঁকির মতো জায়গাগুলি আমরা কিছু সত্যই উত্তপ্ত বিষয় দেখতে পাব। তারা আমাদের জন্য খুব বাস্তব চ্যালেঞ্জ। ওয়েবে উত্তর নামে একটি সত্যই ঝরঝরে সরঞ্জাম রয়েছে যেখানে আপনি বসে থাকতে পারেন এবং ওয়েবপৃষ্ঠায় দেখতে পারেন বিভিন্ন সময়ে বাস্তব সময়ে ঘটে যাওয়া সাইবারট্যাকগুলি। আপনি যখন এটি তাকান, আপনি "ওহ এটি একটি সুন্দর সুন্দর ওয়েবপৃষ্ঠা" মনে করেন, তবে সেখানে প্রায় পাঁচ মিনিটের পরে, আপনি উপলব্ধি করতে পারেন যে সিস্টেম সারা বিশ্বে সমস্ত ডিভাইসের বিভিন্ন স্ট্রিমের বিশ্লেষণ করছে doing যে তাদের খাওয়ানো হচ্ছে। তারা কীভাবে সেই রেকর্ডের প্রান্তে এটি সম্পাদন করছে এবং আপনার সেই সহজ ছোট পর্দা সরবরাহ করে যা বাস্তব সময়ে কী আক্রমণ করে বা অন্য কিছু আক্রমণ করে এবং কী ধরণের আক্রমণ করে তা আপনাকে জানিয়ে দেয় এটি মনের ভাব নিয়ে শুরু করে। তবে এই পৃষ্ঠাটি দেখে এবং কেবলমাত্র আয়তন এবং স্ট্রিমগুলি গ্রহণ করার চ্যালেঞ্জ, বিশ্লেষণ বিশ্লেষণগুলির উপর প্রসেসিংয়ের চ্যালেঞ্জ অর্জন করে রিয়েল টাইমে রিয়েল টাইমস কীভাবে আপনার জন্য সম্ভাব্যতার জন্য স্ট্রিম অ্যানালিটিকাগুলি সম্ভাব্যভাবে করতে পারে তার একটি ভাল স্বাদ লাভ করার এটি একটি খুব সামান্য উপায় analy তাদের এবং এটি রিয়েল টাইমে উপস্থাপন করে।

আমি মনে করি যে অধিবেশনটির বাকী অংশটির জন্য আমার যে কথোপকথনটি হয়েছে সেগুলি আমার দৃষ্টিকোণ থেকে একটি আকর্ষণীয় দৃষ্টিভঙ্গি দিয়ে সমস্ত ধরণের বিষয়গুলিকে সম্বোধন করবে এবং এটি ডিআইওয়াইয়ের চ্যালেঞ্জ, এটি নিজে বেক করুন, কিছুটির জন্য স্যুট করুন ক্লাসিক ইউনিকর্ন যারা এই ধরণের জিনিসগুলি তৈরি করতে সক্ষম হয়। এই ইঞ্জিনিয়ারিং দলগুলি তৈরি করতে এবং তাদের ডেটা সেন্টারগুলি তৈরি করতে তারা কোটি কোটি ডলার পেয়েছে। তবে সেখানকার 99.9% সংস্থার জন্য যারা তাদের স্ট্রিম অ্যানালিটিকাগুলির ব্যবসায়ের মূল্য অর্জন করতে চান তাদের একটি অফ-শেল্ফ পরিষেবা নেওয়া দরকার। বাক্সের বাইরে তাদের কোনও পণ্য কেনা দরকার এবং এগুলি বাস্তবায়নে সহায়তা করার জন্য তাদের সাধারণত কিছু পরামর্শ পরিষেবা এবং পেশাদার পরিষেবা প্রয়োজন এবং তারা সেই মানটি ব্যবসায় ফিরে পান এবং এটি একটি কার্যনির্বাহী সমাধান হিসাবে ব্যবসায়ের কাছে বিক্রি করে।

এর সাথে, আমি আপনাকে রেবেকা, আপনার হাতে ফিরিয়ে আনতে যাচ্ছি কারণ আমি বিশ্বাস করি এটিই এখন আমরা বিস্তারিতভাবে আবরণ করব।

রেবেকা জোজভিয়াক: দুর্দান্ত । আপনাকে অনেক ধন্যবাদ, ডেজ। এটি একটি দুর্দান্ত উপস্থাপনা।

এখন, আমি বলটি রবিনের কাছে পৌঁছে দেব। দূরে নিতে.

রবিন ব্লুর: ঠিক আছে। যেহেতু ডেজ প্রবাহ প্রক্রিয়াজাতকরণের কৌতুকপূর্ণ কৌতূহলে চলে গেছে, আবার এটি আবরণ করা আমার কাছে বোধগম্য হয়নি। সুতরাং আমি কেবল একটি সম্পূর্ণ কৌশলগত দৃষ্টিভঙ্গি নিতে যাচ্ছি। প্রায় খুব উচ্চ স্তরের থেকে নীচে কী ঘটছে তা দেখার এবং এটির অবস্থান নির্ধারণ করা কারণ আমি মনে করি এটি সম্ভবত লোকেরা, বিশেষত আমাদের এমন লোকদের সহায়তা করতে পারে যা প্রবাহের প্রক্রিয়াকরণে শিবির স্থাপন করে না great

স্ট্রিম প্রসেসিং প্রায় দীর্ঘকাল ধরে ছিল। আমরা একে সিইপি বলতাম। এর আগে রিয়েল-টাইম সিস্টেম ছিল। মূল প্রক্রিয়া নিয়ন্ত্রণ ব্যবস্থাগুলি আসলে তথ্যের প্রবাহগুলি প্রক্রিয়াকরণ করছিল - অবশ্যই আজকাল যতটা চলছে তেমন কিছুই চলছিল না। আপনি এখানে স্লাইডে দেখতে এই গ্রাফিক; এটি প্রকৃতপক্ষে প্রচুর জিনিসগুলিকে নির্দেশ করছে তবে এটি উপরে এবং অন্য যেকোন কিছু ছাড়িয়ে দেখিয়ে দিচ্ছে - এই যে এখানে কিছু রঙের বিলম্ব আছে যা এখানে বিভিন্ন বর্ণের মধ্যে উপস্থিত রয়েছে। ১৯60০-এর আশেপাশে এসেছিল কম্পিউটিং বা বাণিজ্যিক কম্পিউটারের আবিষ্কারের পরে যা ঘটেছিল তা হ'ল সবকিছু সবেমাত্র দ্রুত এবং দ্রুততর হয়েছে। আপনি যদি তরঙ্গগুলিতে পছন্দ করেন তবে এটি যেভাবে আসছিল তা নির্ভর করতে আমরা সক্ষম হয়েছি কারণ এটি দেখতে এটির মতোই it এটি আসলে এটির উপর নির্ভর করে। কারণ এটি সমস্তই মুর আইন দ্বারা পরিচালিত হয়েছিল এবং মুরের আইন আমাদের প্রায় ছয় বছরের সময়কালে প্রায় দশগুণ গতির একটি কারণ দেয়। তারপরে একবার আমরা আসলে প্রায় 2013 এ পৌঁছেছিলাম, এটি সমস্ত ভেঙে গেছে, এবং আমরা হঠাৎ করে এমন হারে গতি বাড়িয়ে শুরু করি যা আমরা কখনও পাইনি, যা অদ্ভুতভাবে নজিরবিহীন। গতি বৃদ্ধির ক্ষেত্রে আমরা প্রায় দশজনের একটি ফ্যাক্টর পাচ্ছিলাম এবং এর ফলে প্রতি ছয় বছরে বিলম্বিত হওয়া হ্রাস পেয়েছে। প্রায় ২০১০ সাল থেকে ছয় বছরে আমরা কমপক্ষে এক হাজারের একাধিক পেয়েছি। একের চেয়ে তিনটি আকারের অর্ডার।

এটিই যা চলেছিল এবং সে কারণেই শিল্পটি একরকম বা অন্য কোনও উপায়ে চমত্কার গতিতে চলতে দেখা যায় - কারণ এটি। কেবলমাত্র এই নির্দিষ্ট গ্রাফিকটির অর্থ দিয়ে যাওয়া, প্রতিক্রিয়ার সময়গুলি আসলে উল্লম্ব অক্ষের নিচে অ্যালগরিদমিক স্কেলের হয়। আসল সময় হ'ল কম্পিউটারের গতি, মানুষের চেয়ে দ্রুত। ইন্টারেক্টিভ সময় কমলা হয়। আপনি যখন কম্পিউটারের সাথে কথোপকথন করেন ঠিক তখনই আপনি দশমী থেকে প্রায় এক সেকেন্ডে বিলম্বিত করতে চান। উপরে, লেনদেন রয়েছে যেখানে আমরা কম্পিউটারে আপনি কী করছেন তা নিয়ে আমরা আসলে চিন্তা করি তবে যদি এটি প্রায় পনের সেকেন্ডের মধ্যে চলে যায় তবে তা অসহনীয় হয়ে যায়। লোকেরা আসলে কম্পিউটারের জন্য অপেক্ষা করবে না। ব্যাচে সবকিছু করা হয়েছিল। ব্যাচে করা অনেকগুলি জিনিস এখন সরাসরি লেনদেনের জায়গাতে, সরাসরি ইন্টারেক্টিভ স্পেসে এমনকি রিয়েল-টাইম স্পেসে নেমে আসছে। পূর্বে, খুব কম পরিমাণে ডেটা সহ একটি avyেউকি আমরা এর মধ্যে কিছু করতে পারতাম, এখন আমরা খুব বিশাল পরিমাণে ডেটা বিপুল পরিমাণে পরিমণ্ডিত পরিবেশ ব্যবহার করে করতে পারি।

সুতরাং মূলত, এই সমস্তই বলছে সত্যই লেনদেন এবং ইন্টারেক্টিভ মানব প্রতিক্রিয়া বার। স্ট্রিমগুলির সাথে এখনই কী করা হচ্ছে তার একটি বিস্ময়কর বিষয় হ'ল মানুষকে জিনিস সম্পর্কে অবহিত করা। এর কয়েকটি এর থেকে দ্রুত গতিতে চলেছে এবং এটি স্টাফকে ভালভাবে অবহিত করছে তাই এটি আসল সময়। তারপরে আমরা তাত্ক্ষণিক বিশ্লেষণকে সম্ভাব্য এবং ঘটনাক্রমে যথেষ্ট সাশ্রয়ী করে তোলে, কেবল একটি পাথরের মতো নেমে যাওয়ার জন্য লাইসেন্স নিই। এটি কেবল গতি কমেনি এবং শীর্ষগুলিও ঠিক ধসে পড়েছে। বিভিন্ন অ্যাপ্লিকেশনগুলির মধ্যে এইগুলির মধ্যে সম্ভবত সবচেয়ে বড় প্রভাব, আপনি এই সমস্ত ভবিষ্যদ্বাণীমূলক বিশ্লেষণ করতে পারেন। এক মিনিটে কেন বলব।

এটি কেবল হার্ডওয়্যার স্টোর। আপনি সমান্তরাল সফ্টওয়্যার পেয়েছেন। আমরা 2004 এর কথা বলছি Sc স্কেল আউট আর্কিটেকচার, মাল্টিকোর চিপস, মেমরি বৃদ্ধি, কনফিগারযোগ্য সিপিইউ। এসএসডি এখন স্পিনিং ডিস্কের চেয়ে অনেক দ্রুত গতিতে চলেছে। আপনি বেশ অনেকটা ওয়েভ স্পিনিং ডিস্ককে বিদায় জানাতে পারেন। এসএসডিগুলি একাধিক কোরেও রয়েছে, তাই আবার দ্রুত এবং দ্রুত। শীঘ্রই হাজির হওয়ার জন্য, আমরা এইচপি থেকে স্মরণিকা পেয়েছি got আমরা ইন্টেল এবং মাইক্রন থেকে 3D এক্সপয়েন্ট পেয়েছি। তাদের প্রতিশ্রুতি হ'ল এটি যে কোনও উপায়ে দ্রুত এবং দ্রুত যেতে সক্ষম করবে। আপনি যখন দুটি নতুন মেমরি প্রযুক্তির কথা ভাবছেন, উভয়ই সম্পূর্ণ মৌলিক ছোট টুকরোটিকে তৈরি করে দেবে, পৃথক সার্কিট বোর্ড দ্রুত গতিতে এগিয়ে যায়, আমরা এর শেষ পর্যন্ত দেখিনি।

স্ট্রিমস প্রযুক্তি, যা সত্যই পরবর্তী বার্তা, এখানেই রয়েছে। একটি নতুন স্থাপত্য হতে হবে। আমি বলতে চাই যে ডেজ তার উপস্থাপনায় বেশ কয়েকটি পয়েন্টে এটি উল্লেখ করেছেন। কয়েক দশক ধরে আমরা আর্কিটেকচারটি ডেটা হিপস এবং ডেটা পাইপের সংমিশ্রণ হিসাবে দেখেছি। আমরা স্তূপগুলি প্রক্রিয়া করার ঝোঁক ফেলেছিলাম এবং আমরা স্তূপগুলির মধ্যে ডেটা পাইপ করার প্রবণতা রেখেছিলাম। আমরা এখন ল্যাম্বডা ডেটা আর্কিটেকচার যাকে কল করি তার দিকে মৌলিকভাবে এগিয়ে চলেছি যা ডেটা ফ্লোগুলির প্রসেসিংটিকে ডেটা হিপগুলির সাথে সংযুক্ত করে। আপনি যখন ডেটা প্রবাহ বা ডেটা হিপ হিসাবে historicalতিহাসিক ডেটাগুলির বিরুদ্ধে আসার ইভেন্টগুলির প্রবাহকে যখন প্রক্রিয়াজাত করেন তখন ল্যাম্বদা আর্কিটেকচার বলতে আমি এটাই বোঝাতে চাইছি। এটি তার শৈশবেই। এটি ছবির একটি অংশ মাত্র। আপনি যদি ডেইজের দ্বারা উল্লিখিত সমস্ত কিছুর ইন্টারনেটের মতো জটিল কিছু বিবেচনা করে থাকেন তবে আপনি প্রকৃতপক্ষে উপলব্ধি করতে পারবেন যে সমস্ত প্রকারের ডেটা অবস্থানের সমস্যা রয়েছে - আপনার প্রবাহে কী প্রক্রিয়া করা উচিত সে সম্পর্কে সিদ্ধান্ত।

আমি এখানে যা বলছি তা হ'ল আমরা যখন ব্যাচে প্রক্রিয়াজাত করছিলাম তখন আমরা আসলে প্রবাহগুলি প্রক্রিয়াকরণ করছিলাম। আমরা কেবল একবারে এটি করতে পারিনি। স্টাফের একটি বড় স্তূপ না হওয়া পর্যন্ত আমরা কেবল অপেক্ষা করি এবং তারপরে আমরা এটি একবারে প্রক্রিয়া করি। আমরা এমন পরিস্থিতিতে চলেছি যেখানে আমরা স্ট্রিমে স্টাফ প্রক্রিয়া করতে পারি। আমরা যদি স্ট্রিমে স্টাফ প্রসেস করতে পারি তবে আমাদের কাছে থাকা ডেটা হিপগুলি স্ট্যাটিক ডেটা হতে চলেছে যা আমাদের প্রবাহে ডেটা প্রক্রিয়াকরণের জন্য উল্লেখ করতে হবে।

এটি আমাদের এই বিশেষ জিনিসে নিয়ে যায়। জৈবিক উপমা দিয়ে কিছু উপস্থাপনায় আমি এর আগে উল্লেখ করেছি। আমি আপনাকে যেভাবে ভাবতে চাই তা এই মুহূর্তে আমরা মানুষ are রিয়েল-টাইম ভবিষ্যদ্বাণীপূর্ণ প্রক্রিয়াকরণের জন্য আমাদের কাছে তিনটি স্বতন্ত্র নেটওয়ার্ক রয়েছে। এগুলিকে সোমেটিক, স্বায়ত্তশাসিত এবং এন্টারিক বলা হয়। অন্ত্র আপনার পেট হয়। স্বায়ত্তশাসিত স্নায়ুতন্ত্রের লড়াই এবং ফ্লাইটগুলির দেখাশোনা করা হয়। এটি আসলে পরিবেশে দ্রুত প্রতিক্রিয়া দেখায়। সোমাটিক যা দেহের চলন দেখাশোনা করে। সেগুলি রিয়েল-টাইম সিস্টেম। এটি সম্পর্কে আকর্ষণীয় জিনিস - বা আমার কাছে মনে হয় এটি একরকম আকর্ষণীয় - এটির অনেকগুলিই আপনি কল্পনা করার চেয়ে বেশি ভবিষ্যদ্বাণীপূর্ণ। দেখে মনে হচ্ছে আপনি নিজের মুখ থেকে প্রায় 18 ইঞ্চি পর্দার দিকে তাকিয়ে আছেন। আপনি যা পরিষ্কারভাবে দেখতে পাচ্ছেন, আপনার দেহটি পরিষ্কারভাবে দেখতে সক্ষম সেগুলি 8 × 10 আয়তক্ষেত্র সম্পর্কে প্রকৃতপক্ষে। এর বাইরে সমস্ত কিছুই আপনার দেহের সাথে সম্পর্কিত যতটা অস্পষ্ট তবে বাস্তবে আপনার মন শূন্যস্থান পূরণ করছে এবং এটিকে অস্পষ্ট নয়। আপনি মোটেও অস্পষ্টতা দেখতে পাচ্ছেন না। আপনি এটি স্পষ্ট দেখতে পাবেন। আপনার স্পষ্টতাটি দেখার জন্য আপনার মন আসলে ডেটা স্ট্রিমের ভবিষ্যদ্বাণীমূলক পদ্ধতি করছে। এটি একটি কৌতূহলজনক বিষয় তবে আপনি আসলে স্নায়ুতন্ত্রের যে পদ্ধতিটি পরিচালনা করে এবং আমরা কীভাবে কাছাকাছি পৌঁছতে এবং যুক্তিযুক্ত আচরণ করতে পারি তার দিকে নজর রাখতে পারেন - আমাদের মধ্যে কমপক্ষে কিছু - বুদ্ধিমানভাবে বুদ্ধিমান এবং সর্বদা জিনিসগুলিতে ঝাঁপিয়ে পড়ে না।

এটি সমস্তই এখানে ভিতরে নিউরাল অ্যানালিটিক্স স্কেলের একটি সিরিজ দ্বারা সম্পন্ন হয়েছে। যেটি ঘটতে চলেছে তা হ'ল সংস্থাগুলি একই ধরণের জিনিস রাখবে এবং একই ধরণের জিনিস তৈরি করতে চলেছে এবং এটি সংস্থার অভ্যন্তরীণ প্রবাহগুলি সহ প্রবাহগুলির প্রক্রিয়াজাতকরণ হতে চলেছে - জিনিসগুলির মধ্যে যা ঘটে চলেছে এটি, এর বাইরে ঘটে যাওয়া জিনিসগুলি, তাত্ক্ষণিক প্রতিক্রিয়াগুলি যা আসলে নিতে হয় তা হ'ল অবশ্যই সিদ্ধান্ত গ্রহণের জন্য মানুষকে খাওয়ানো হয়, এই সমস্ত ঘটতে পারে। আমরা যেখানেই দেখতে পাচ্ছি, সেখানেই চলেছি।

এর একটি পরিণতি হ'ল জিনিসগুলির মধ্যে একটি হ'ল স্ট্রিমিং অ্যাপ্লিকেশনের স্তরটি ভাল চলছে। এখনকার চেয়ে আরও অনেক ভয়ঙ্কর ঘটনা ঘটবে। এই মুহুর্তে, আমরা সুস্পষ্ট জিনিসগুলি করার জন্য নিম্ন-স্তব্ধ ফলটি তুলছি।

যাইহোক যাইহোক এটি এখানে উপসংহার। স্ট্রিমিং অ্যানালিটিকাগুলি একবারে কুলুঙ্গি হলেও এটি মূলধারায় পরিণত হচ্ছে এবং শীঘ্রই এটি সাধারণত গৃহীত হবে।

এটি দিয়ে, আমি এটি রেবেকার কাছে ফেরত দেব।

রেবেকা জোজভিয়াক: আপনাকে অনেক ধন্যবাদ রবিন। যথারীতি দুর্দান্ত উপস্থাপনা।

আনন্দ, আপনি পরের দিকে আছেন। মেঝে তোমার।

আনন্দ ভেণুগোপাল: কল্পনাপ্রসূত। ধন্যবাদ.

আমার নাম আনন্দ ভেনুগোপাল এবং আমি স্ট্রিমএনালিটিেক্সের প্রোডাক্টের প্রধান। এটি ক্যালিফোর্নিয়ার লস গ্যাটোসের বাইরে ইমপেটাস টেকনোলজিসের দেওয়া পণ্য।

বড় উদ্যোগের জন্য একটি বড় ডেটা সলিউশন সরবরাহকারী হওয়ার ক্ষেত্রে অনুপ্রেরণার আসলে একটি দুর্দান্ত ইতিহাস ছিল। সুতরাং আমরা একটি পরিষেবা সংস্থা হিসাবে বাস্তবে প্রচুর স্ট্রিমিং অ্যানালিটিক্স বাস্তবায়ন করেছি এবং আমরা প্রচুর পাঠ শিখেছি। আমরা গত কয়েক বছর ধরে একটি পণ্য সংস্থা এবং সমাধান-চালিত সংস্থা হয়ে ওঠে এবং স্ট্রিম অ্যানালিটিকাগুলি প্রেরণাকে একটি বৃহত পণ্য-চালিত সংস্থায় রূপান্তরিত করার দায়িত্বে নেতৃত্ব দিচ্ছেন। কিছু সমালোচনামূলক, খুব, খুব মূল সম্পদ রয়েছে যা অনুপ্রেরণাগুলি আমাদের উদ্যোগগুলিতে এবং এক্সপ্লোর অ্যানালিটিক্সের প্রতি আমাদের এক্সপোজারকে ধন্যবাদ জানিয়েছে them

আমরা ব্যবসায় 20 বছর বয়সী এবং সেখানে পণ্য এবং পরিষেবাদির একটি দুর্দান্ত মিশ্রণ রয়েছে যা আমাদের বিশাল সুবিধা দেয়। এবং আমাদের স্ট্রিমিংয়ের প্রথম পাঁচ বা ছয়টি বাস্তবায়ন থেকে প্রাপ্ত সমস্ত পাঠ থেকেই স্ট্রিমএনালিটিক্সের জন্ম হয়েছিল।

আমি কয়েকটি বিষয় স্পর্শ করব, তবে বিশ্লেষকগণ, ডেজ এবং রবিন পুরোপুরি জায়গাটি coveringাকাতে একটি দুর্দান্ত কাজ করেছেন যাতে আমি প্রচুর সামগ্রীকে ছাড়িয়ে যাচ্ছি that আমি সম্ভবত দ্রুত যেতে হবে। আমরা সত্যিকারের স্ট্রিমিং কেস ছাড়াও অনেকগুলি ব্যাচের ত্বরণ ব্যবহার করে দেখি যেখানে উদ্যোগগুলিতে আক্ষরিকভাবে খুব, খুব গুরুত্বপূর্ণ ব্যাচের প্রক্রিয়া রয়েছে। যেমন আপনি দেখতে পাচ্ছেন, একটি ইভেন্টকে সংবেদন করার এবং এটিতে বিশ্লেষণ করার এবং অভিনয়ের এই পুরো চক্রটি আসলে বড় উদ্যোগগুলিতে কয়েক সপ্তাহ সময় নিতে পারে এবং তারা সকলেই এটি কয়েক মিনিট এবং কখনও কখনও সেকেন্ড এবং মিলিসেকেন্ডে সঙ্কুচিত করার চেষ্টা করছে। এই ব্যাচের সমস্ত প্রক্রিয়াগুলির চেয়ে দ্রুততর কিছু হ'ল ব্যবসায় অধিগ্রহণের প্রার্থী এবং এটি খুব ভালভাবেই বলা যায় যে ডেটার মান তার বয়সের সাথে নাটকীয়ভাবে হ্রাস পাচ্ছে, তাই সেকেন্ডের মধ্যে প্রাথমিক অংশে আরও বেশি মূল্য সবেমাত্র ঘটেছে just আদর্শভাবে, আপনি যদি ভবিষ্যদ্বাণী করতে পারতেন যে ঘটতে চলেছে, তবে এটি সর্বোচ্চ মান hat যদিও এটি নির্ভুলতার উপর নির্ভর করে। পরবর্তী সর্বোচ্চ মানটি হ'ল যখন এটি ঠিক তখনই হয় যখন এটি ঘটে থাকে আপনি এটি বিশ্লেষণ করতে এবং প্রতিক্রিয়া জানাতে পারেন। অবশ্যই, এর পরে মানটি নাটকীয়ভাবে হ্রাস পাবে, প্রধান সীমাবদ্ধ বিআই যেটিতে আমরা রয়েছি।

এটা মজার. স্ট্রিমিং বিশ্লেষণ কেন আপনি কিছু নাটকীয়ভাবে বৈজ্ঞানিক উত্তর আশা করতে পারেন। অনেক ক্ষেত্রেই আমরা যা দেখছি তা হ'ল এটি এখন সম্ভব এবং কারণ সবাই জানেন যে ব্যাচটি পুরানো, ব্যাচ বিরক্তিকর এবং ব্যাচটি দুর্দান্ত নয়। এখানে পর্যাপ্ত শিক্ষা রয়েছে যে প্রত্যেকের কাছে এখন এই সত্য ছিল যে স্ট্রিমিং সম্ভব এবং প্রত্যেকেরই এখন হ্যাডোপ রয়েছে has এখন হডুপ বিতরণগুলিতে একটি স্ট্রিমিং এম্বেড রয়েছে, এটি স্টর্ম বা স্পার্ক স্ট্রিমিং এবং অবশ্যই মেসেজের সারি যেমন কাফকা ইত্যাদি whether

আমরা যে উদ্যোগগুলি দেখছি সেগুলি এতে ঝাঁপিয়ে পড়েছে এবং এই ক্ষেত্রেগুলি নিয়ে পরীক্ষা শুরু করছে এবং আমরা দুটি বিস্তৃত বিভাগ দেখছি। গ্রাহক বিশ্লেষণ এবং গ্রাহকের অভিজ্ঞতা এবং দ্বিতীয় অপারেশনাল বুদ্ধিমত্তার সাথে কারও কিছু করার রয়েছে। আমি তার পরে কিছু বিশদ getুকব। পুরো গ্রাহক পরিষেবা এবং গ্রাহক অভিজ্ঞতার কোণ এবং আমরা ইমপুটাস স্ট্রিমএনালিটিেক্সে বিভিন্ন উপায়ে এটি করেছি সত্যই সত্যিকার অর্থে গ্রাহকের মাল্টি-চ্যানেল জড়িতকরণ এবং সেগুলি অত্যন্ত প্রাসঙ্গিক সংবেদনশীল অভিজ্ঞতা দেয় যা আজ সাধারণ নয়। আপনি যদি ওয়েবে, আমেরিকা ব্যাঙ্ক অফ আমেরিকার ওয়েবসাইটে ব্রাউজ করছেন এবং আপনি কিছু পণ্য নিয়ে গবেষণা করছেন এবং আপনি কেবল কল সেন্টারে কল করেছেন। তারা কি বলবে, "আরে জো, আমি জানি আপনি কিছু ব্যাংকিং পণ্য নিয়ে গবেষণা করছেন, আপনি কি আমাকে পূরণ করতে চান?" আপনি আজকের দিনে এমনটি আশা করেন না, তবে স্ট্রিমিং অ্যানালিটিকাসের মাধ্যমে সত্যিকারের অভিজ্ঞতা এটিই সম্ভব। অনেক ক্ষেত্রে, এটি একটি বিশাল পার্থক্য করে, বিশেষ করে যদি গ্রাহক আপনার ওয়েবসাইটের প্রাথমিক সমাপ্তির ধারা বা প্রারম্ভিক সমাপ্তির শর্তাবলী এবং আপনার সাথে যোগাযোগ করে আপনার সাথে তাদের চুক্তি থেকে বেরিয়ে আসার উপায়গুলি নিয়ে গবেষণা শুরু করে এবং তারপরে কল করে এবং আপনি সক্ষম না হন এটি সম্পর্কে সরাসরি তাদের মুখোমুখি হোন তবে কেবল অপ্রত্যক্ষভাবে প্রথম ধরণের পদোন্নতির বিষয়ে একটি প্রস্তাব করুন কারণ সিস্টেম জানে যে এই ব্যক্তি প্রথম দিকে সমাপ্তির দিকে তাকিয়ে আছেন এবং আপনি সেই প্রস্তাবটি প্রস্তুত করেন, আপনি খুব ভালভাবে সেই মন্থন গ্রাহককে রক্ষা করতে পারবেন এবং সেই সম্পদ রক্ষা করতে পারবেন ।

এটি একটি উদাহরণ হতে পারে, আরও অনেকগুলি গ্রাহক পরিষেবাগুলি খুব ভাল উদাহরণ very আমরা আজ বাস্তবায়ন করছি কল সেন্টারে ব্যয় হ্রাস করার পাশাপাশি নাটকীয় আনন্দদায়ক গ্রাহকের অভিজ্ঞতা সরবরাহ করে। কিছু ব্যবহারের ক্ষেত্রে সংক্ষিপ্তসার হিসাবে দেজ দুর্দান্ত কাজ করেছিলেন। আপনি এই চার্টটি কয়েক মিনিটের জন্য তাকাতে পারেন। আমি এটিকে উল্লম্ব, অনুভূমিক এবং কম্বো অঞ্চল, আইওটি, মোবাইল অ্যাপ এবং কল সেন্টার হিসাবে শ্রেণিবদ্ধ করেছি। এগুলি সমস্ত উল্লম্ব এবং অনুভূমিক। এটা যদি আপনি এটি তাকান উপর নির্ভর করে। নীচের লাইনে, আমরা অনুভূমিক ব্যবহারগুলির একটি ভাল চুক্তি দেখতে পাই যা শিল্পের উল্লম্ব অংশগুলিতে মোটামুটি সাধারণ এবং আর্থিক পরিষেবা, স্বাস্থ্যসেবা, টেলিকম, উত্পাদন ইত্যাদিসহ একটি উল্লম্ব নির্দিষ্ট ব্যবহারের মামলা রয়েছে যদি আপনি সত্যিই নিজেকে প্রশ্ন জিজ্ঞাসা করছেন বা নিজেকে বলছেন যে, "ওহ, আমি জানি না সেখানে কী কী ব্যবহার হয়? আমি নিশ্চিত না যে আমার সংস্থার জন্য বা আমাদের উদ্যোগের জন্য স্ট্রিমিং অ্যানালিটিকাগুলিতে সত্যিই কোনও ব্যবসায়ের মান আছে কিনা, "কঠোরভাবে চিন্তা করুন, দুবার ভাবেন। আরও লোকের সাথে কথা বলুন কারণ এমন ব্যবহারের কেস রয়েছে যেগুলি আজ আপনার সংস্থায় প্রাসঙ্গিক। ব্যবসায়ের মানটি ঠিক কীভাবে ব্যবসায়ের মূল্য থেকে প্রাপ্ত তা নিয়ে আসব।

এখানে পিরামিডের নীচে আপনার ভবিষ্যদ্বাণীমূলক রক্ষণাবেক্ষণ, সুরক্ষা, মন্থর সুরক্ষা ইত্যাদি রয়েছে Those এই জাতীয় ব্যবহারের ক্ষেত্রে রাজস্ব এবং সম্পদের সুরক্ষা থাকে। টার্গেট যদি তাদের সুরক্ষা লঙ্ঘনকে ঘন্টার পর ঘন্টা সুরক্ষা দেয়, তবে সিআইও তার কাজ বাঁচাতে পারত। এটি দশক বা কয়েক মিলিয়ন মিলিয়ন ডলার ইত্যাদির সঞ্চয় করতে পারে Real রিয়েল-টাইম স্ট্রিমিং বিশ্লেষণগুলি সেই সম্পদগুলি রক্ষা করতে এবং ক্ষতি রক্ষায় সত্যই সহায়তা করে। এটি সরাসরি ব্যবসায়ের মান যুক্ত হয়েছে।

পরবর্তী বিভাগটি আরও লাভজনক হয়ে উঠছে, আপনার ব্যয় হ্রাস করবে এবং বর্তমান অপারেশন থেকে আরও উপার্জন অর্জন করবে। এটি বর্তমান উদ্যোগের দক্ষতা। এগুলি হ'ল ব্যবহারের ক্ষেত্রে এমন সমস্ত বিভাগ যা আমরা রিয়েল-টাইম অপারেশনাল বুদ্ধিমত্তাকে কল করি যেখানে আপনি কীভাবে নেটওয়ার্কের আচরণ চলছে, আপনার গ্রাহকরা কীভাবে আচরণ করছেন, আপনার ব্যবসায়িক প্রক্রিয়াটি কীভাবে আচরণ করছে এবং আপনি টুইট করতে সক্ষম হচ্ছেন সে সম্পর্কে গভীর অন্তর্দৃষ্টি পান where এগুলি রিয়েল টাইমে কারণ আপনি প্রতিক্রিয়া পান, আপনি সতর্কতা পান। আপনি রিয়েল টাইমে বিচ্যুতি, রূপগুলি পেয়েছেন এবং আপনি দ্রুত কাজ করতে এবং সীমা ছাড়িয়ে যাওয়া প্রক্রিয়াটি পৃথক করতে পারেন।

আপনি ব্যয়বহুল মূলধন আপগ্রেড এবং আপনার প্রয়োজনীয়তা মনে করেন এমন জিনিসগুলিতে সম্ভাব্য প্রচুর অর্থ সাশ্রয় করতে পারে যা আপনি যদি নেটওয়ার্ক পরিষেবাটি অনুকূলিত করেন তবে এটি প্রয়োজনীয় নাও হতে পারে। আমরা এমন একটি মামলার কথা শুনেছি যেখানে কোনও বড় টেলকো তাদের নেটওয়ার্ক অবকাঠামোতে $ 40 মিলিয়ন আপগ্রেডকে পিছিয়ে দেয় কারণ তারা দেখতে পেল যে তাদের বর্তমান ট্র্যাফিক পরিচালনার জন্য তাদের যথেষ্ট ক্ষমতা ছিল যা তাদের ট্র্যাফিকের বুদ্ধিমান রাউটিংকে অনুকূলিতকরণ এবং আরও ভাল করার মাধ্যমে is এগুলি কেবলমাত্র কিছু রিয়েল-টাইম অ্যানালিটিক্স এবং অ্যাকশন মেকানিজম দ্বারা সম্ভব যারা বাস্তব সময়ে এই অন্তর্দৃষ্টিগুলিতে কাজ করে।

পরবর্তী স্তরের মান সংযোজন হ'ল আপ-বিক্রয়, ক্রস বিক্রয় যেখানে বর্তমান অফারগুলি থেকে আরও বেশি আয় এবং লাভ করার সুযোগ রয়েছে। এটি একটি ক্লাসিক উদাহরণ যা আমরা অনেকেই জানি যে তারা কোথায় অভিজ্ঞতা নিয়েছিল, আপনি নিজের জীবনের কথা চিন্তা করেন যেখানে আপনি আসলে এমন একটি পণ্য কিনতে ইচ্ছুক যেখানে আপনাকে দেওয়া হচ্ছে না। অনেক ক্ষেত্রে, অনেক ক্ষেত্রেই এটি ঘটে থাকে। আপনার মনে এমন জিনিস রয়েছে যা আপনি কিনতে পছন্দ করেন যা আপনি জানেন যে আপনি কিনতে চান, আপনার একটি করণীয় তালিকা বা কিছু আছে যা আপনার স্ত্রী আপনাকে বলেছিল বা আপনার স্ত্রী না থাকলেও আপনি সত্যই কিনতে চেয়েছিলেন এবং আপনি কোনও ওয়েবসাইটে কেনাকাটা করতে যান বা আপনি কোনও খুচরা দোকানে ইন্টারঅ্যাক্ট করছেন, স্টোরফ্রন্টের কেবল প্রসঙ্গ নেই, আপনার যা প্রয়োজন তা গণনা করার বুদ্ধি নেই। সুতরাং, তারা তাদের ব্যবসা নিরাপদ করে না। যদি স্ট্রিমিং অ্যানালিটিকাগুলি সত্যিই সঠিক ভবিষ্যদ্বাণী করার জন্য স্থাপন করা যেতে পারে এবং এই স্থানে এই গ্রাহক এই মুহুর্তে এই নির্দিষ্ট প্রসঙ্গে উপযুক্ত কিসের পক্ষে সত্যিই সম্ভব, সেখানে প্রচুর পরিমাণে বিক্রি এবং ক্রস-বিক্রয় রয়েছে এবং এটি আবার আসে from স্ট্রিমিং অ্যানালিটিক্স - যখন কোনও সুযোগ আছে তখন সত্যের সেই মুহুর্তে এই গ্রাহক কী কী কিনে বা প্রতিক্রিয়া জানাতে পারে তার একটি প্রবণতা সিদ্ধান্ত নিতে সক্ষম হচ্ছেন। এই কারণেই আমি সেই ছবিটি পছন্দ করি যা দেজ ভাল্লুকের সাথে সেই মাছটি খাওয়ার মতো দেখিয়েছিল। যে প্রায় কাছাকাছি এটা.

আমরা আরও মনে করি যে গ্রাহক আচরণের পর্যবেক্ষণের ভিত্তিতে সম্পূর্ণ নতুন পণ্য এবং পরিষেবাদি সরবরাহ করার একটি উদ্যোগে নাটকীয়, রূপান্তরকামী পরিবর্তনগুলির একটি আরও বড় বিভাগ রয়েছে যা সমস্ত অন্য উদ্যোগের আচরণের পর্যবেক্ষণের উপর ভিত্তি করে। যদি ধরা যাক, কোনও টেল্কো বা একটি কেবল সংস্থা বাজারের কোন বিভাগে গ্রাহকদের ব্যবহারের নিদর্শনগুলি পর্যবেক্ষণ করছে, কোন সময় কোন প্রোগ্রাম, ইত্যাদি, তারা আসলে এমন পণ্য এবং পরিষেবা তৈরি করে যা প্রায় ভিক্ষা করা হচ্ছে একরকমভাবে সুতরাং এখনই মাল্টি-স্ক্রিন আচরণের পুরো ধারণাটি যেখানে আমরা এখন এটি প্রায় মর্যাদাবান করে নিচ্ছি যে আমরা আমাদের মোবাইল অ্যাপ্লিকেশনগুলিতে টিভি বা তারের সামগ্রী দেখতে পাচ্ছি। সেগুলির কয়েকটি উদাহরণ আমাদের দেওয়া নতুন পণ্য এবং পরিষেবা থেকে আসছে from

আমি, ুকব, "স্ট্রিমিং অ্যানালিটিকাগুলির আর্কিটেকচার বিবেচনাগুলি কী?" শেষ পর্যন্ত আমরা যা করার চেষ্টা করছি trying এটি লাম্বদা আর্কিটেকচার যেখানে আপনি historicalতিহাসিক ডেটা এবং রিয়েল-টাইম অন্তর্দৃষ্টি মিশ্রিত করছেন এবং এটি একই সাথে দেখছেন। সিগমা এটিই সক্ষম করে। আমাদের সকলের কাছে আজ ব্যাচের আর্কিটেকচার এবং এন্টারপ্রাইজ চিত্র রয়েছে। আমরা এক ধরণের বিআই স্ট্যাক এবং ব্যবহারের স্ট্যাক এবং ল্যাম্বদা আর্কিটেকচারটি যুক্ত করেছি। গতির স্তর বা প্রয়োজন হিসাবে এবং ল্যাম্বদা সমস্ত দুটি অন্তর্দৃষ্টি একত্রিত করার এবং এটি একটি সম্মিলিত উপায়ে, উভয় অন্তর্দৃষ্টিকে একত্রিত করে এমন এক সমৃদ্ধ উপায়ে দেখে।

কপ্পা আর্কিটেকচার নামে আরও একটি দৃষ্টান্ত রয়েছে যা প্রস্তাব করা হচ্ছে যেখানে অনুমান করা হচ্ছে যে গতি স্তরটি একমাত্র ইনপুট প্রক্রিয়া যা দীর্ঘ মেয়াদে অব্যাহত থাকবে। সবকিছু এই গতি স্তর মাধ্যমে আসতে চলেছে। এমনকি অফলাইন ইটিএল প্রক্রিয়া হতে যাচ্ছে না। সমস্ত ইটিএল ঘটবে। ক্লিঞ্জ, ডেটা ক্লিনিজিং, কোয়ালিটি ইটিএল - এগুলি সব তারে ঘটবে, কারণ মনে রাখবেন সমস্ত ডেটা রিয়েল টাইম জন্মগ্রহণ করেছিল। কোন এক সময় এটি আসল সময় ছিল। আমরা এগুলি হ্রদগুলিতে, নদী এবং মহাসাগরগুলিতে স্থাপন করার অভ্যস্ত হয়ে পড়েছি, তারপরে স্থির বিশ্লেষণে এটি করেছিলাম যে আমরা ভুলে গিয়েছিলাম যে ডেটা সত্য সময়ে কোনও সময় জন্মগ্রহণ করেছিল। সমস্ত ডেটা প্রকৃতপক্ষে একটি রিয়েল-টাইম ইভেন্ট হিসাবে জন্মগ্রহণ করে যা সময়ের পয়েন্টে ঘটেছিল এবং হ্রদের উপরে আজকের বেশিরভাগ ডেটা কেবল একটি বিশ্লেষণের জন্য ডাটাবেসে রাখা হয়েছিল এবং ল্যাম্বদা এবং কাপা আর্কিটেকচারে আমাদের এখন সুবিধা রয়েছে এটি দেখে, বিশ্লেষণ করে, প্রাক প্রাক-প্রক্রিয়াজাতকরণ এবং এটি আসার সাথে সাথে প্রতিক্রিয়া জানান। এই প্রযুক্তিগুলির দ্বারা এটি সক্ষম করা হয়। আপনি যখন এটি সামগ্রিক চিত্র হিসাবে দেখেন তখন মনে হয় এটির মতো দেখতে যেখানে ভিতরে হ্যাডোপ রয়েছে সেখানে এমপিপি রয়েছে এবং আপনার কাছে ইতিমধ্যে থাকা ডেটা গুদাম রয়েছে।

আমরা এটি রেখেছি কারণ একটি দ্বীপে কেবলমাত্র নতুন প্রযুক্তি নিয়ে কথা বলা গুরুত্বপূর্ণ নয়। তাদের একীকরণ করতে হবে। তাদের বর্তমান এন্টারপ্রাইজ প্রসঙ্গে বোঝাতে হবে, এবং সমাধান প্রদানকারীরা যে উদ্যোগগুলি পরিবেশন করছে, আমরা এ সম্পর্কে অত্যন্ত সংবেদনশীল। আমরা উদ্যোগকে ধরণের বিষয়টিকে পুরোপুরি একীভূত করতে সহায়তা করি। বাম পাশের হ্যাডোপ এবং ডেটা গুদাম স্তরগুলিতে পাশাপাশি উপরের রিয়েল-টাইম স্তরকে বর্ধিত করার জন্য ডেটা উত্স রয়েছে এবং ent সত্ত্বার প্রত্যেকটিরই স্টক কম্পিউটার যা আপনি দেখতে পাচ্ছেন এবং ডেটা ব্যবহারের স্তরটি ডানদিকে রয়েছে পাশ। বেশিরভাগ সম্মতি, প্রশাসন, সুরক্ষা, জীবনচক্র পরিচালন ইত্যাদির সর্বাধিক স্থানান্তরিত করার জন্য অবিচ্ছিন্ন প্রচেষ্টা চলছে, যা আজ উপলভ্য সমস্ত কিছুই এই নতুন প্রযুক্তিতে জড়ো করা হয়েছে।

স্ট্রিম অ্যানালিটিক্সগুলির মধ্যে একটি জিনিস যা করার চেষ্টা করছে, আপনি যদি আজ ল্যান্ডস্কেপটি দেখুন তবে স্ট্রিমিং প্রযুক্তির ল্যান্ডস্কেপটিতে এবং এন্টারপ্রাইজ গ্রাহকের দৃষ্টিকোণ থেকে প্রচুর জিনিস চলছে, বোঝার মতো অনেক কিছুই আছে। ধরে রাখার মতো অনেক কিছুই আছে। বাম পাশে ডেটা সংগ্রহের ব্যবস্থা রয়েছে - নিফাই, লগস্ট্যাশ, ফ্লুম, স্কুওপ। স্পষ্টতই, আমি একটি দাবি অস্বীকার করে বলেছিলাম যে এটি সম্পূর্ণ নয়। বার্তার কাতারে এসে আবার ওপেন সোর্স স্ট্রিমিং ইঞ্জিনগুলিতে আসছে - ঝড়, স্পার্ক স্ট্রিমিং, সামজা, ফ্লিংক, অ্যাপেক্স, হেরন। হেরন সম্ভবত এখনও উন্মুক্ত উত্স নয়। আমি নিশ্চিত কিনা এটি টুইটার থেকে। এই স্ট্রিমিং ইঞ্জিনগুলি তারপরে জটিল ইভেন্ট প্রসেসিং, মেশিন লার্নিং, ভবিষ্যদ্বাণীমূলক বিশ্লেষণ, সতর্কতা মডিউল, স্ট্রিমিং ইটিএল, সমৃদ্ধ পরিসংখ্যানীয় অপারেশন ফিল্টারগুলির মতো কোনও সেটআপ বিশ্লেষণমূলক অ্যাপ্লিকেশন উপাদানটিকে নেতৃত্ব দেয় বা সমর্থন করে। এগুলি আমরা এখন অপারেটরদের বলি। যখন স্ট্রিমিং ইঞ্জিনে সঞ্চালিত স্ট্রিমিং অ্যাপ্লিকেশন হয়ে যায় তবে সেই অপারেটরগুলির সংকলন যখন একসাথে স্ট্রিং থাকে তখন কিছু কাস্টমও সম্ভাব্যভাবে কিছুটা কাস্টমকে মূলত শেষ করে।

উপাদানগুলির এই শৃঙ্খলের অংশ হিসাবে, আপনাকে আপনার প্রিয় ডাটাবেস, আপনার প্রিয় সূচকগুলিতে ডেটা সংরক্ষণ এবং সূচীকরণ করতে হবে। আপনাকে আবারও ক্যাশে বিতরণ করতে হবে এবং এটি আবার উপরের অংশে ডানদিকে ডেটা ভিজ্যুয়ালাইজেশন স্তরটিকে বাণিজ্যিক পণ্য বা ওপেন সোর্স পণ্যগুলিতে নিয়ে যেতে পারে, তবে শেষ পর্যন্ত সেই তথ্যটি বাস্তব সময়ে ভিজ্যুয়ালাইজ করার জন্য আপনার কোনও ধরণের পণ্য প্রয়োজন। এছাড়াও, আপনাকে কখনও কখনও অন্যান্য অ্যাপ্লিকেশনগুলিও চিত্রিত করতে হবে। আমরা সবাই দেখেছি যে কেবলমাত্র আপনি অন্তর্দৃষ্টি দিয়েছিলেন সেই ক্রিয়া দ্বারা প্রাপ্ত মানগুলি, সেই ক্রিয়াটি বিশ্লেষণাত্মক স্ট্যাক থেকে অন্য অ্যাপ্লিকেশন স্ট্যাকের দিকে ট্রিগার হতে চলেছে যা সম্ভবত আইভিআর পাশের কিছু পরিবর্তিত হয়েছে বা একটি কল সেন্টার ট্রিগার করে maybe আউটবাউন্ড কল বা এরকম কিছু। আমাদের স্ট্রিমিং ক্লাস্টারের জন্য সেই সিস্টেমগুলিকে একীভূত করা এবং কিছু প্রক্রিয়া থাকা দরকার যাতে ডেটা স্ট্রিম পাঠানোর অন্যান্য অ্যাপ্লিকেশনগুলি ট্রিগার করে।

এটি বাম থেকে ডানে যেতে সামগ্রিক স্ট্যাক। তারপরে আপনার পরিষেবার স্তর রয়েছে, মাঝারি পর্যবেক্ষণ, সুরক্ষা জেনারেল সার্ভিস লেয়ার ইত্যাদি রয়েছে যা এন্টারপ্রাইজ স্পেসে গ্রাহকরা হ্যাডোপ বিতরণের মতো দেখতে পাচ্ছেন যা আমার কাছে যেমন বলেছিল তেমন স্ট্রিমিং রয়েছে এবং সেখানে বাণিজ্যিক বা একক আছে -ভেন্ডারের সমাধান যা স্পষ্টতই আমাদের প্রতিযোগীদের মধ্যে রয়েছে। ল্যান্ডস্কেপটিতে আরও অনেকগুলি রয়েছে যা আমরা এখানে উল্লেখ নাও করতে পারি।

আপনি সেখানে যা দেখছেন তা এন্টারপ্রাইজ ব্যবহারকারীরা দেখছেন। স্ট্রিম প্রসেসিংয়ের জন্য একটি জটিল এবং দ্রুত বিকশিত প্রযুক্তির ল্যান্ডস্কেপ, আপনি দেখতে পাচ্ছেন। আমরা পছন্দ এবং তাদের ব্যবহারকারীর অভিজ্ঞতা সহজ করতে পেরেছি। আমরা মনে করি যে উদ্যোগগুলিকে আসলে কী দরকার তা হ'ল ওয়ান স্টপ-শপ-এ, সমস্ত সহজেই ব্যবহারযোগ্য ইন্টারফেস যা সেই সমস্ত প্রযুক্তিগুলিকে একত্রিত করে যা ব্যবহারের পক্ষে এটি সহজসাধ্য করে তোলে এবং সমস্ত চলমান অংশগুলি প্রকাশ করে না is এবং অবক্ষয়জনিত সমস্যা এবং কর্মক্ষমতা সম্পর্কিত সমস্যা এবং জীবনচক্র রক্ষণাবেক্ষণ সংক্রান্ত সমস্যাগুলি এন্টারপ্রাইজে রয়েছে।

কার্যকারিতা বিমূর্ততা এক। দ্বিতীয় অংশটি স্ট্রিমিং ইঞ্জিন বিমূর্ততা। স্ট্রিমিং ইঞ্জিন এবং ওপেন সোর্স ডোমেনগুলি এখন প্রতি তিন, চার বা ছয় মাসে একবার আসবে। এটি দীর্ঘকাল ঝড় ছিল। সামজা উঠে এসে এখন স্পার্ক স্ট্রিমিং। ফ্লিঙ্ক মনোযোগ পেতে শুরু করে, মাথা বাড়িয়ে তুলছে। এমনকি স্পার্ক স্ট্রিমিং রোডম্যাপ, তারা বিশুদ্ধ ইভেন্ট প্রসেসিংয়ের জন্য সম্ভাব্যভাবে আলাদা ইঞ্জিন ব্যবহারের জন্য একটি উপায় তৈরি করছে কারণ তারা এও বুঝতে পারে যে স্পার্কটি ব্যাচের জন্য ডিজাইন করা হয়েছিল এবং তারা সম্ভাব্যত আলাদা হওয়ার জন্য তাদের স্থাপত্য দৃষ্টি এবং তাদের রোডম্যাপে একটি পথ তৈরি করছে স্পার্ক স্ট্রিমিংয়ে বর্তমান মাইক্রোব্যাচ প্যাটার্ন ছাড়াও স্ট্রিম প্রসেসিংয়ের ইঞ্জিন।

এটি একটি বাস্তবতা যে আপনাকে অনেক বিবর্তন হতে চলেছে তা নিয়ে লড়াই করতে হবে। আপনাকে প্রযুক্তিগত প্রবাহ থেকে নিজেকে রক্ষা করা দরকার। কারণ ডিফল্টরূপে, আপনাকে একটি বাছাই করতে হবে এবং তারপরে এটি বেঁচে থাকতে হবে, যা অনুকূল নয়। আপনি যদি এটি অন্যভাবে দেখুন, আপনি এর মধ্যে লড়াই করছেন, "ঠিক আছে, আমি একটি মালিকানা প্ল্যাটফর্ম কিনেছিলাম যেখানে লক-ইন নেই, মুক্ত উত্সের কোনও লাভ নেই, খুব উচ্চ ব্যয় এবং সীমিত হতে পারে could এই সমস্ত ওপেন সোর্স স্ট্যাকের তুলনায় নমনীয়তা যেখানে আপনি নিজেরাই এটি করতে পেরেছেন। "আবারও, আমি যেমন বলেছিলাম, এটি অনেক খরচ এবং বাজারে আসতে দেরি করে। আমরা যা বলছি তা হল স্ট্রিমএনালিটিক্স একটি দুর্দান্ত প্ল্যাটফর্মের একটি উদাহরণ যা এন্টারপ্রাইজ শ্রেণি, নির্ভরযোগ্য, একক বিক্রেতা, পেশাদার পরিষেবা সমর্থিত - এটির সত্যই আপনাকে এন্টারপ্রাইজ হিসাবে প্রয়োজন এবং ওপেন সোর্স ইকোসিস্টেমের নমনীয়তার শক্তি যেখানে একটি একক প্ল্যাটফর্ম তাদের একত্রিত করে - ইনজেস্ট, সিইপি, বিশ্লেষণ, ভিজ্যুয়ালাইজেশন এবং সেগুলি that

এটি একটি খুব, খুব অনন্য জিনিসও করে, যা একক ব্যবহারকারীর অভিজ্ঞতার নীচে বিভিন্ন প্রযুক্তি ইঞ্জিনকে একত্রিত করে। আমরা সত্যিই ভাবি ভবিষ্যতে একাধিক স্ট্রিমিং ইঞ্জিন ব্যবহার করতে সক্ষম হওয়ায় বিভিন্ন ব্যবহারের ক্ষেত্রে সত্যই বিভিন্ন স্ট্রিমিং আর্কিটেকচারের চাহিদা রয়েছে। রবিন যেমন বলেছেন, সেখানে বিলম্বের পুরো বর্ণালী রয়েছে। আপনি যদি সত্যিই মিলিসেকেন্ডের লেটেন্সি স্তর, দশক বা এমনকি কয়েক শ মিলসেকেন্ডের কথা বলছেন তবে আপনার এই মুহুর্তে স্টর্মের দরকার আছে যতক্ষণ না আরও কম সীমাবদ্ধতা বা অল্প সময়সীমার জন্য সামান্য পরিপক্ক পণ্য এবং কয়েক সেকেন্ডের মধ্যে তিনটি, তিনটি, চার, পাঁচ সেকেন্ড, এই ব্যাপ্তি, তারপরে আপনি স্পার্ক স্ট্রিমিং ব্যবহার করতে পারেন। সম্ভবত, অন্যান্য ইঞ্জিন রয়েছে যা উভয়ই করতে পারে। নীচে লাইন, একটি বড় উদ্যোগে, সেখানে সমস্ত ধরণের ব্যবহারের ঘটনা ঘটবে। আপনি ব্যবহারকারীর অভিজ্ঞতার সাথে একাধিক ইঞ্জিন রাখার জন্য অ্যাক্সেস এবং সাধারণতাটি চান এবং এটি আমরা স্ট্রিমএনালিটিেক্সে তৈরি করার চেষ্টা করছি trying

আর্কিটেকচারের জন্য কেবল একটি দ্রুত দর্শন। আমরা এটি কিছুটা পুনরায় কাজ করব, তবে মূলত, বাম পাশে একাধিক ডেটা উত্স আসছে - কাফকা, রাবিটএমকিউ, কিনেসিস, অ্যাক্টিভ কিউ, এই সমস্ত ডেটা উত্স এবং বার্তা সারি স্ট্রিম প্রসেসিং প্ল্যাটফর্মে আসে যেখানে আপনি একটি অ্যাপ্লিকেশন একত্রিত করতে যাবেন, যেখানে আপনি ETL এর মতো অপারেটরদের কাছ থেকে টেনে আনতে এবং ড্রপ করতে যাবেন, আমরা যে স্টাফের কথা বললাম। নীচে, একাধিক ইঞ্জিন রয়েছে। এখনই, আমাদের কাছে শিল্পগুলির একমাত্র এবং প্রথম এন্টারপ্রাইজ-শ্রেণীর স্ট্রিমিং প্ল্যাটফর্ম হিসাবে ঝড় এবং স্পার্ক স্ট্রিমিং রয়েছে যার একাধিক ইঞ্জিন সমর্থন রয়েছে। এটি একটি খুব অনন্য, নমনীয়তা যা আমরা রিয়েল-টাইম ড্যাশবোর্ডগুলি রাখার অন্যান্য সমস্ত নমনীয়তার পাশাপাশি দিচ্ছি। সিইটি ইঞ্জিন এম্বেড করা হয়েছে। হ্যাডোপ এবং নোএসকিউএল সূচক, সোলার এবং অ্যাপাচি সূচকগুলির সাথে আমাদের বিজোড় একীকরণ রয়েছে। আপনার পছন্দের ডাটাবেসে তা যা-ই হোক না কেন আপনি ল্যান্ড করতে পারেন এবং অ্যাপ্লিকেশনগুলি দ্রুত দ্রুত তৈরি করতে পারেন এবং সত্যিই দ্রুত বাজারে যেতে এবং ভবিষ্যতের প্রমাণ থাকতে পারেন stay স্ট্রিমএলালিটিক্সে এটিই আমাদের পুরো মন্ত্র।

এটি দিয়ে, আমি মনে করি আমি আমার মন্তব্যগুলি শেষ করব। আরও প্রশ্নের জন্য নির্দ্বিধায় আমাদের কাছে আসা। আমি প্রশ্নোত্তর ও প্যানেল আলোচনার জন্য মেঝেটি খোলা রাখতে চাই।

রেবেকা, তোমার হাতে

রেবেকা জোজভিয়াক: দুর্দান্ত, ঠিক আছে। তোমাকে অনেক ধন্যবাদ. ডেজ এবং রবিন, আমাদের শ্রোতাদের প্রশ্নোত্তর থেকে ঝাঁক দেওয়ার আগে আপনার কিছু প্রশ্ন আছে?

রবিন ব্লুর: আমি একটি প্রশ্ন পেয়েছি। আমি আমার হেডফোনগুলি আবার রেখে দেব যাতে আপনি আমাকে শুনতে পারেন। একটি আকর্ষণীয় বিষয়, আপনি যদি দয়া করে আমাকে এটি বলতে পারতেন, মুক্ত-উত্সের জায়গাতে আমি যা দেখছি তার অনেক কিছুই আমার কাছে অপরিণত বলতে চাই looks এক অর্থে, হ্যাঁ আপনি বিভিন্ন জিনিস করতে পারেন। তবে দেখে মনে হচ্ছে আমরা বাস্তবে তার প্রথম বা দ্বিতীয় প্রকাশে সফ্টওয়্যারটি দেখছি এবং একটি সংস্থা হিসাবে আমি আপনার অভিজ্ঞতার সাথে ভাবছিলাম, আপনি হাদুপ পরিবেশের অপরিপক্কতাটিকে কতটা সমস্যাযুক্ত হিসাবে দেখছেন বা এটি এমন কিছু নয় যা ' অনেক সমস্যা তৈরি?

আনন্দ ভেণুগোপাল: এটি বাস্তব, রবিন। তুমি একেবারেই সঠিক. অপূর্ণতাটি কেবল কার্যকরী স্থিতিশীলতা এবং জিনিসগুলির ক্ষেত্রে প্রয়োজন হয় না, তবে এটির কিছু ক্ষেত্রেও হতে পারে। তবে অপরিচ্ছন্নতা ব্যবহারের জন্য তত্পরতায় বেশি। ওপেন-সোর্স পণ্যগুলি প্রকাশিত হওয়ার সাথে সাথে এবং হ্যাডোপ বিতরণের দ্বারা যেমন প্রস্তাব করা হয় তেমনি এগুলি সমস্ত ভিন্ন ভিন্ন সক্ষম পণ্য, উপাদানগুলি কেবল একসাথে চড় মেরেছিল। তারা একসাথে অবিচ্ছিন্নভাবে কাজ করে না এবং কোনও মসৃণ নির্বিঘ্ন ব্যবহারকারীর অভিজ্ঞতার জন্য ডিজাইন করা হয়নি যা সপ্তাহের মধ্যে স্ট্রিমিং অ্যানালিটিকাল অ্যাপ্লিকেশন স্থাপন করতে আমরা ব্যাংক অফ আমেরিকা বা ভেরিজন বা এটিএন্ডটি-র মতো পাই। তারা অবশ্যই এটির জন্য ডিজাইন করা হয়নি। আমরা আসার কারণেই We আমরা এটিকে একত্রিত করি এবং এটি বোঝা, স্থাপন করা ইত্যাদি সহজ করে তোলে

এটির কার্যকরী পরিপক্কতা, আমি মনে করি অনেকাংশেই আছে। অনেক বড় বড় উদ্যোগ আজ ঝড়ের উদাহরণ ব্যবহার করে। অনেক বড় উদ্যোগ আজ স্পার্ক স্ট্রিমিংয়ের সাথে খেলছে। এই ইঞ্জিনগুলির প্রতিটিরই সীমাবদ্ধতা রয়েছে যেগুলি তারা কী করতে পারে তাই হ'ল প্রতিটি ইঞ্জিনের মাধ্যমে আপনি কী করতে পারেন এবং আপনি কী করতে পারবেন না তা জানা গুরুত্বপূর্ণ এবং প্রাচীরের বিরুদ্ধে আপনার মাথাটি ভেঙে বলা এবং বলার অপেক্ষা রাখে না যে "দেখুন আমি স্পার্ক স্ট্রিমিং বেছে নিয়েছে এবং এটি এই বিশেষ শিল্পে আমার পক্ষে কাজ করে না ”" এটি কাজ করছে না। স্পার্ক স্ট্রিমিং সবচেয়ে ভাল বিকল্প হতে চলেছে এমন ব্যবহারের ক্ষেত্রে রয়েছে এবং এমন কিছু ক্ষেত্রে ব্যবহারের ঘটনা ঘটতে পারে যেখানে স্পার্ক স্ট্রিমিং আপনার পক্ষে মোটেই কাজ না করে। এজন্য আপনার সত্যিকারের একাধিক বিকল্পের প্রয়োজন।

রবিন ব্লুর: ঠিক আছে আপনার বেশিরভাগের জন্য বোর্ডে বিশেষজ্ঞ দল থাকা দরকার। আমি বোঝাতে চাইছি এইটি কোথায় শুরু করবেন তা আমি জানি না। দক্ষ ব্যক্তিদের একটি বুদ্ধিমান সহযোগিতা। আপনি কীভাবে জড়িত হন এবং কীভাবে ঘটে তাতে আমি আগ্রহী। এটি কারণ কারণ একটি নির্দিষ্ট সংস্থা একটি নির্দিষ্ট অ্যাপ্লিকেশনটির পরে বা আপনি কী জাতীয় কৌশল অবলম্বন বলবেন যেখানে তারা একটি পুরো প্ল্যাটফর্মটি অনেক কিছু করতে চায় তা দেখতে পাচ্ছেন।

আনন্দ ভেণুগোপাল: রবিন, আমরা দুজনেরই উদাহরণ দেখছি। সেরা দশ ব্র্যান্ডের কিছু যে প্রত্যেকে জানেন যে এটির সম্পর্কে কৌশলগত পদ্ধতিতে চলছে। তারা জানে যে তারা বিভিন্ন ব্যবহারের ক্ষেত্রে চলেছে তাই তারা প্রয়োজনীয় প্ল্যাটফর্মগুলি মূল্যায়ন করছে যা প্রয়োজন অনুসারে উপযুক্ত হবে, যা কোনও এন্টারপ্রাইজে মোতায়েনের জন্য বহু-ভাড়াটে পদ্ধতিতে বিভিন্ন ধরণের ব্যবহারের ক্ষেত্রে is এছাড়াও একক ব্যবহারের ক্ষেত্রে গল্পগুলি শুরু হচ্ছে starting বন্ধক সংস্থায় একটি নির্দিষ্ট ব্যবসায়ের তদারকি-প্রকারের ব্যবহারের কেস রয়েছে যা আমরা কাজ করছি যা আপনি প্রথম ব্যবহারের ক্ষেত্রে হিসাবে কল্পনা করবেন না তবে এটি হ'ল ব্যবসায়ের সমাধান বা ব্যবহারের ক্ষেত্রে যা তারা সামনে এসেছিল এবং তারপরে আমরা বিন্দুগুলি স্ট্রিমিংয়ের সাথে সংযুক্ত করেছি we । আমরা বললাম, “আপনি কি জানেন? এটি স্ট্রিমিং অ্যানালিটিকাদের জন্য দুর্দান্ত ঘটনা এবং এটিই আমরা এটি বাস্তবায়ন করতে পারি ”" এটি এভাবেই শুরু হয়েছিল। তারপরে, এই প্রক্রিয়াটিতে, তারা শিক্ষিত হয়ে ওঠে এবং বলে, "ওহ বাহ, আমরা যদি এটি করতে পারি এবং যদি এটি একটি জেনেরিক প্ল্যাটফর্ম হয় তবে আমরা অ্যাপ্লিকেশনটি পৃথক করতে পারি, তাদের প্ল্যাটফর্মের মধ্যে স্তরবদ্ধ করতে পারি এবং এতে বিভিন্ন অ্যাপ্লিকেশন তৈরি করতে পারি প্ল্যাটফর্ম। "

রবিন ব্লুর: ডেজ, আপনার কোনও প্রশ্ন আছে?

আনন্দ ভেণুগোপাল: দেজ সম্ভবত নিঃশব্দে রয়েছে।

ডেজ ব্লাঞ্চফিল্ড: দুঃখিত, নিঃশব্দ। আমি নিজেই একটি ভাল কথোপকথন ছিল। রবিনের মূল পর্যবেক্ষণ অনুসরণ করে, আপনি একেবারে সঠিক। আমি মনে করি যে এখন চ্যালেঞ্জটি হ'ল উদ্যোগগুলিতে একটি বাস্তুতন্ত্র এবং একটি সাংস্কৃতিক এবং আচরণগত পরিবেশ রয়েছে যেখানে ফ্রি এবং ওপেন সোর্স সফ্টওয়্যার এমন একটি জিনিস যা তাদের জানা ছিল এবং তারা ফায়ারফক্সের মতো সরঞ্জামগুলিকে ব্রাউজার হিসাবে ব্যবহার করতে সক্ষম হয়েছে এবং এটির একটি শালীনতা রয়েছে স্থায়ী এবং সুরক্ষিত না হওয়া পর্যন্ত আজীবন। তবে তারা ব্যবহার করে এমন খুব বড় প্ল্যাটফর্মগুলির মধ্যে কয়েকটি হ'ল এন্টারপ্রাইজ-গ্রেডের মালিকানাধীন প্ল্যাটফর্ম। সুতরাং আমি ওপেন-সোর্স প্ল্যাটফর্মগুলিকে যা গ্রহণ করি তা গ্রহণ করা সর্বদা এমন কিছু নয় যা তাদের পক্ষে সাংস্কৃতিক বা আবেগগতভাবে পারাপারে সহজ। আমি এটি কেবলমাত্র ছোট প্রোগ্রামগুলি গ্রহণের জুড়ে দেখেছি যা স্থানীয় প্রকল্পগুলি ছিল কেবলমাত্র একটি মৌলিক ধারণা হিসাবে বড় ডেটা এবং বিশ্লেষণের সাথে খেলতে। আমি মনে করি মূল চ্যালেঞ্জগুলির মধ্যে একটি, আমি নিশ্চিত যে আপনি এখন সেগুলি সংস্থাগুলি জুড়ে দেখেছেন, ফলাফল পাওয়ার জন্য তাদের আকাঙ্ক্ষা তবে একই সময়ে তাদের একটি পা পুরানো আটকে থাকতে পারে যেখানে তারা কেবল এটি কিনে নিতে পারে from ওরাকল, আইবিএম এবং মাইক্রোসফ্ট "একটি বড় ব্র্যান্ড sertোকান"। এই নতুন এবং পরিচিত ব্র্যান্ডগুলি হ্যাডোপ প্ল্যাটফর্মগুলি এবং আরও অনেক কিছু দিয়ে আসছে। আরও উত্তেজনাপূর্ণ ব্র্যান্ড আসছে যার মাধ্যমে প্রবাহের মতো শীর্ষস্থানীয় প্রযুক্তি রয়েছে।

আপনি যে ধরণের কথোপকথনটি পেয়েছিলেন বা সেগুলি দিয়ে কেটেছিলেন? আমি জানি যে আজ সকালে আমাদের প্রচুর উপস্থিতি রয়েছে এবং আমি নিশ্চিত যে সবার মনে এই বিষয়টি নিশ্চিত যে, "আমি কীভাবে পুরো চ্যালেঞ্জিং লেয়ারটি বোর্ড থেকে ম্যানেজমেন্ট স্তর পর্যন্ত কাটব, ওহ এটি খুব মুক্ত উত্স এবং খুব রক্তপাতের প্রান্ত? "আপনার ক্লায়েন্টদের সাথে আপনার কথোপকথনগুলি কীভাবে যায় এবং আপনি কীভাবে সেই বিন্দুতে কাটেন যেখানে আপনি স্ট্রিমএনালিটিক্সের পছন্দগুলি অবলম্বন করার বিষয়ে এই ধরণের ভয়কে কমিয়ে দেন?

আনন্দ ভেণুগোপাল: আমরা আমাদের মূল্য প্রস্তাব বিক্রয় করা মোটামুটি সহজ এটি খুঁজে পাচ্ছি কারণ গ্রাহকরা স্বাভাবিকভাবেই পছন্দসই বিকল্প হিসাবে মুক্ত উত্সের দিকে এগিয়ে চলেছেন। তারা সহজেই হাল ছেড়ে দিচ্ছে না এবং বলছে না, "ঠিক আছে, আমি এখন উন্মুক্ত উত্সে যাব।" তারা আসলে একটি বড় পণ্যটির খুব প্রতিশ্রুতিবদ্ধ মূল্যায়ন করে যায়, আসুন এটি আইবিএম বা একটি আদর্শ পণ্য হিসাবে ধরা যাক, কারণ তাদের রয়েছে এই বিক্রেতার সম্পর্ক। তারা আমাদের বা ওপেন সোর্স ইঞ্জিনটি সেই পণ্যটির বিরুদ্ধে ব্যবহার করবে না। তারা মূল্যায়ন ছয় থেকে আট থেকে বারো সপ্তাহের মধ্যে যেতে হবে। তারা নিজেরাই বুঝিয়ে দেবে যে এখানে আমি চাই এমন একটি ডিগ্রি পারফরম্যান্স এবং স্থিতিশীলতা রয়েছে এবং তারপরে তারা তাদের মনের কথাটি বলে, "বাহ, আপনি জানেন কী, আমি আসলে এটি করতে পারি।"

আজ উদাহরণস্বরূপ, আমাদের কাছে একটি বৃহত স্তরের একটি টেলকো রয়েছে যা প্রচুর পরিমাণে স্ট্যাকের শীর্ষে উত্পাদন স্ট্রিম অ্যানালিটিকাস রয়েছে এবং তারা মূল্যায়ন করছে যে অন্য একজন খুব, খুব বড় সুপরিচিত বিক্রেতার বিরুদ্ধে রয়েছে এবং তারা সমস্ত কিছু প্রমাণ করার পরেই তারা নিশ্চিত হয়েছিল were কর্মক্ষমতা, স্থিতিশীলতা এবং things সমস্ত জিনিস। তারা এটাকে মর্যাদাবান করে না। তারা খুঁজে পেয়েছে যে ওপেন সোর্স তাদের মূল্যায়নের মাধ্যমে সক্ষম এবং তারা বুঝতে পেরেছিল যে, সবচেয়ে খারাপ ক্ষেত্রে, "সম্ভবত এমন দুটি ব্যবহারের ঘটনা আছে যা আমি নাও করতে পারি তবে আমার ব্যবসায়ের ত্বরণ ব্যবহারের ক্ষেত্রে বেশিরভাগ ক্ষেত্রেই মুক্ত-উত্সের মাধ্যমে সুস্পষ্টভাবে সম্ভব স্ট্যাক। "এবং আমরা এর ব্যবহার সক্ষম করি। সুতরাং এটি ঠিক সেখানে বড় মিষ্টি জায়গা। তারা ওপেন সোর্স চেয়েছিল। তারা প্রকৃতপক্ষে বিক্রেতাদের লক-ইন পরিস্থিতি থেকে বেরিয়ে আসতে চাইছেন যা তারা বহু, বহু বছর ধরে অভ্যস্ত। তারপরে আমরা এখানে এসে বলি, "আপনি কী জানেন, আমরা আপনার জন্য ওপেন সোর্সকে অনেক বেশি সহজ এবং বন্ধুত্বপূর্ণ করে তুলব” "

ডেজ ব্লাঞ্চফিল্ড: আমি মনে করি যে অন্যান্য চ্যালেঞ্জগুলি যখন তারা theতিহ্যবাহী দায়িত্ব নিয়ে আসে তখন তারা প্রায়শই প্রজন্মের উত্সাহের জন্য কিছু উত্সাহী প্রবণতার পিছনে থাকে যেখানে আমরা এখানে আলোচনা করছি এবং আমি এর অর্থ এই নয় যে নেতিবাচক সামান্য। এটি কেবল বাস্তবতা যা তারা প্রজন্মের এবং যাত্রা পেয়েছিল যা তারা স্থিতিশীল প্ল্যাটফর্মগুলি যাচ্ছিল, পুরানো-স্কুল বিকাশ এবং ইউএটিএন ইন্টিগ্রেশন চক্র এবং টেস্টিংস এবং ডকুমেন্টেশন এবং মার্কেটিং এবং বিক্রয় হিসাবে বিবেচনা করে release আপনি যে ধরণের কাজ করছেন সেদিকে, আমি যে বিষয়টি সম্পর্কে ভাবতে আগ্রহী তা হ'ল গত রাতে আপনার সর্বশেষ প্রকাশের দিকে তাকিয়ে কিছু গবেষণামূলক কাজ করছেন, আপনি এখন এই মিশ্রণটি পেয়েছেন যেখানে আপনি পেয়েছেন অগ্রণী পরামর্শ পয়েন্ট এবং বাস্তবায়নের দিক থেকে দক্ষতা কিন্তু আপনি একটি স্ট্যাকও পেয়েছিলেন যা আপনি রোল করতে পারেন I আমি মনে করি এটি এখানেই আগতরা কিছু সময়ের জন্য সংগ্রাম করতে চলেছে। আমি তাদের অনেককে দেখেছি যেমনটি আমি বাজারে করেছি। তারা প্রায়শই আমি ক্যাপ-আপ নোডগুলিতে কল করি যেখানে আপনি যখন আমাদের কথার বাইরে চলে আসেন তখন যখন আপনি সেই কথোপকথনগুলি করেন এবং আপনি সেখানে কার্যকর হন implementing

আপনি গ্রহণ করতে দেখেছেন এমন কয়েকটি সীমান্ত উল্লম্বের কয়েকটি উদাহরণ দিতে পারেন? উদাহরণস্বরূপ, রকেট সায়েন্সের মতো মহাকাশ পরিবেশ এবং মহাকাশে উপগ্রহ স্থাপন এবং মঙ্গল থেকে ডেটা সংগ্রহ করা। গ্রহে কিছু মুষ্টিমেয় মানুষ তা করছেন doing তবে স্বাস্থ্যের মতো বড় বড় উল্লম্ব উদাহরণ রয়েছে যেমন, অ্যারোনটিক্সে, শিপিং এবং লজিস্টিক্সে, উত্পাদন ও প্রকৌশল ক্ষেত্রে, আপনি যে এত বড় এবং আরও বিস্তৃত শিল্প খাতগুলির উদাহরণ দু'টি যা এখনও পর্যন্ত আপনি সত্যিই ভাল দেখেছেন? মধ্যে গ্রহণ?

আনন্দ ভেণুগোপাল: টেলকো একটি বড় উদাহরণ।

আমি কেবল এখানে আমার স্লাইডগুলি দ্রুত ঠিক করতে চলেছি। আপনি কি এখানে স্লাইডটি দেখতে পাচ্ছেন, কেস স্টাডি 4?

এটি একটি বড় টেলকো সেট-টপ বক্সের ডেটা খাওয়ার এবং এটির সাথে একাধিক জিনিস করার একটি ঘটনা। তারা সত্যিকারের সময়ে গ্রাহকরা আসলে কী করছে তা দেখছে। সেট-টপ বক্সগুলিতে রিয়েল টাইমে কোথায় ত্রুটি ঘটছে তা তারা খুঁজছেন। তারা কল সেন্টারটি অবহিত করার চেষ্টা করছেন, যদি এই গ্রাহক এখনই কল করেন তবে এই গ্রাহকের সেট-টপ বক্সের কোড লিংকের তথ্য, রক্ষণাবেক্ষণের টিকিটের তথ্য এই নির্দিষ্ট গ্রাহকের সেট-টপ বক্সের সমস্যা আছে কিনা তাও আগেই সম্পর্কযুক্ত বা তার আগেও নয় গ্রাহক একটি কথা বলে। প্রতিটি কেবল সংস্থা, প্রতিটি বড় টেলকো এটি করার চেষ্টা করছে। তারা সেট-টপ বক্সের ডেটা আটকায়, রিয়েল-টাইম অ্যানালিটিক্স করে, প্রচারণা বিশ্লেষণ করে যাতে তারা তাদের বিজ্ঞাপনগুলি রাখতে পারে। একটি বিশাল ব্যবহারের কেস আছে।

যেমনটি আমি বলেছিলাম, এই বন্ধকী সংস্থাটি আবার জেনেরিক প্যাটার্ন যেখানে বড় সিস্টেমগুলি ডেটা প্রক্রিয়াকরণের সাথে জড়িত। সিস্টেম এ থেকে সিস্টেম বি-তে সিস্টেম সি-তে প্রবাহিত ডেটা এবং এগুলি নিয়ন্ত্রিত ব্যবসা হয় যে সমস্ত কিছুর সামঞ্জস্য থাকা দরকার। প্রায়শই সিস্টেমগুলি একে অপরের সাথে সিঙ্কের বাইরে চলে যায়, একটি সিস্টেম বলছে, "আমি একশো loansণ প্রসেস করছি যার মোট মূল্য 10 মিলিয়ন ডলার with" সিস্টেমটি বলছে, "না, আমি অন্য কারও 110 টি loansণ প্রক্রিয়াজাত করছি? বিভিন্ন সংখ্যা। "তাদের সত্যিকারের দ্রুত এটি সমাধান করতে হবে কারণ তারা প্রকৃতপক্ষে একই ডেটা প্রক্রিয়াজাত করছে এবং বিভিন্ন ব্যাখ্যা করে।

এটি কোনও ক্রেডিট কার্ড, loanণ প্রক্রিয়াকরণ, ব্যবসায়িক প্রক্রিয়া, বা এটি বন্ধকী ব্যবসায়িক প্রক্রিয়া বা অন্য কিছু হোক না কেন, আমরা অবশ্যই তাদের ব্যবসায়ের প্রক্রিয়াগুলি সুসংগতভাবে না থেকে যায় তা নিশ্চিত করার জন্য আসল সময়ে পারস্পরিক সম্পর্ক এবং পুনর্মিলন করতে তাদের সহায়তা করছি helping এটি অন্য একটি আকর্ষণীয় ব্যবহারের কেস। মার্কিন সরকারের একজন বড় ঠিকাদার রয়েছেন যিনি ডিএনএস ট্র্যাফিকের দিকে নজর রেখে অনায়াসে সনাক্ত করতে দেখছেন। একটি অফলাইন প্রশিক্ষণ মডেল রয়েছে যা তারা তৈরি করেছে এবং তারা সেই মডেলটির উপর ভিত্তি করে রিয়েল-টাইম ট্র্যাফিকের স্কোরিং করছে। সেই আকর্ষণীয় ব্যবহারের কয়েকটি। সুরক্ষার সারি দেখার জন্য একটি বড় বিমান সংস্থা রয়েছে এবং তারা আপনাকে সেই তথ্য দেওয়ার চেষ্টা করছে যে, "আরে, এটি আপনার বিমানের জন্য আপনার বিমানের জন্য প্রবেশদ্বার gate টিএসএ-র ক্যু আজ প্রায় ৪৫ মিনিট বনাম দু'ঘন্টার তুলনায় অন্য কিছু। "আপনি সেই আপডেটটি সামনে পেয়ে যান get তারা এখনও এটি নিয়ে কাজ করছে। আকর্ষণীয় আইওটি ব্যবহারের ক্ষেত্রে তবে গ্রাহকের অভিজ্ঞতায় নেমে স্ট্রিমিং অ্যানালিটিক্সের দুর্দান্ত কেস।

রেবেকা জোজভিয়াক: এটি রেবেকা। আপনি যখন ব্যবহারের বিষয়গুলি নিয়ে রয়েছেন, তখন একজন শ্রোতা সদস্যের কাছ থেকে একটি দুর্দান্ত প্রশ্ন রয়েছে যা ভাবছেন যে, "এই কেস স্টাডিগুলি কি এই উদ্যোগগুলি বাড়ির তথ্য সিস্টেম বিশ্লেষণকারী দিক থেকে চালিত হচ্ছে বা সেগুলি আরও চালিত হচ্ছে? যে ব্যবসার নির্দিষ্ট প্রশ্ন আছে বা মনে মনে আছে? "

আনন্দ ভেণুগোপাল: আমি মনে করি আমরা প্রায় 60০ শতাংশ বা তার বেশি, ৫০ শতাংশ থেকে ৫৫ শতাংশ দেখতে পাই, যারা বেশিরভাগই সক্রিয়, উত্সাহী প্রযুক্তি উদ্যোগগুলি যারা জানেন যাঁরা মোটামুটি বুদ্ধিমান হন এবং কিছু ব্যবসায়ের প্রয়োজনীয়তা বোঝেন এবং সম্ভবত তাদের একটি পৃষ্ঠপোষক রয়েছে যে তারা চিহ্নিত কিন্তু এটি প্রযুক্তি দলগুলি হ'ল ব্যবসায় ব্যবহারের আক্রমণগুলির জন্য প্রস্তুত হয়ে আসছে এবং এরপরে তারা যখন সক্ষমতা তৈরি করে, তারা জানে যে তারা এটি করতে পারে এবং তারপরে তারা ব্যবসায় যায় এবং আক্রমণাত্মকভাবে এটি বিক্রি করে। ৩০ শতাংশ থেকে ৪০ শতাংশ ক্ষেত্রে আমরা দেখতে পাই যে ব্যবসায়টির ইতিমধ্যে একটি নির্দিষ্ট ব্যবহারের মামলা রয়েছে যা স্ট্রিমিং অ্যানালিটিক্সের সক্ষমতা প্রার্থনা করছে।

রেবেকা জোজভিয়াক: তা বোঝা যায়। আমি শ্রোতা সদস্যের কাছ থেকে আরও কিছু প্রযুক্তিগত প্রশ্ন পেয়েছি। তিনি ভাবছেন যে এই সিস্টেমগুলি বাস্তব সময়ে টুইটার স্ট্রিম বা ফেসবুক পোস্টগুলির পলির মতো কাঠামোগত এবং কাঠামোগত ডেটা স্ট্রিম উভয়ই সমর্থন করে, বা প্রাথমিকভাবে এটি ফিল্টার করা দরকার?

আনন্দ ভেণুগোপাল: আমরা যে পণ্য এবং প্রযুক্তিগুলির বিষয়ে কথা বলছি তা কাঠামোগত এবং কাঠামোগত উভয়ই ডেটা সমর্থন করে। সেগুলি কনফিগার করা যায়। সমস্ত ডেটাতে কোনও ধরণের কাঠামো থাকে তা সে কোনও পাঠ্য বা এক্সএমএল বা কিছু হতে পারে anything সময়ের স্ট্যাম্প ফিডের নিরিখে কিছু কাঠামো রয়েছে। সম্ভবত আরও একটি ব্লব রয়েছে যা পার্স করা দরকার যাতে আপনি স্ট্র্যাটে পার্স ইনজেকশন করতে পারেন ডেটা স্ট্রাকচারগুলি বিশ্লেষণ করতে। যদি এটি কাঠামোগত হয়, তবে আমরা কেবল সিস্টেমটিকে বলি, "ঠিক আছে, যদি কমা দ্বারা পৃথকীকৃত মান থাকে এবং প্রথমটির একটি স্ট্রিং হয়, দ্বিতীয়টি একটি তারিখ হয়” "সুতরাং আমরা সেই স্ক্রিন স্তরগুলিকে পার্সিং বুদ্ধি ইনজেকশন করতে পারি এবং কাঠামোগত এবং কাঠামোগত উভয় ডেটা সহজেই প্রক্রিয়া করুন।

রেবেকা জোজভিয়াক: আমি দর্শকদের কাছ থেকে আরও একটি প্রশ্ন পেয়েছি। আমি জানি আমরা ঘন্টা খানিকটা উপরে চলে এসেছি। এই অংশগ্রহনকারী জানতে চায়, রিয়েল-টাইম স্ট্রিমিং অ্যাপ্লিকেশনগুলি ট্রানজেকশন সিস্টেমে পুনরায় একত্রিত করার জন্য প্রয়োজনীয়তা এবং সুযোগ উভয়ই বিকাশ করছে, উদাহরণস্বরূপ তারা জালিয়াতি প্রতিরোধ ব্যবস্থাগুলি তুলে ধরেছে। সেক্ষেত্রে লেনদেন সিস্টেমগুলিকে কি সেই সাথে ফিট করার জন্য টুইঙ্ক করা দরকার?

আনন্দ ভেনুগোপাল: এটা একীভূত, তাই না? এটি লেনদেন সিস্টেমের একীকরণ। তারা কখনও কখনও তথ্যের উত্স হয়ে ওঠে যেখানে আমরা আসল সময়ে লেনদেন বিশ্লেষণ করি এবং অনেক ক্ষেত্রে যেখানে আমরা বলি যে কোনও অ্যাপ্লিকেশন প্রবাহ আছে এবং এখানে আমি একটি স্থিতিশীল ডেটা দেখার সাইট এবং তারপরে আমাদের ক্ষেত্রে যেখানে কোনও প্রকার স্ট্রিমিং দেখানোর চেষ্টা করছি streaming এবং আপনি কোনও সিদ্ধান্ত বা বিশ্লেষণাত্মক অন্তর্দৃষ্টি করার জন্য স্ট্রিমিং ডেটা এবং স্ট্যাটিক ডেটা একসাথে সমৃদ্ধ করতে এইচবিজ বা আরডিবিএমএসের মতো স্থির ডাটাবেস সন্ধান করছেন।

আরও একটি বড় শিল্পের প্রবণতা রয়েছে যা আমরাও দেখতে পাচ্ছি - ওএলএপি এবং ওএলটিপি রূপান্তর - এবং এজন্য আপনার কাছে কুডুর মতো ডেটাবেস এবং মেমরির ডাটাবেসগুলি একই সাথে উভয় লেনদেন এবং বিশ্লেষণী প্রক্রিয়াকরণকে সমর্থন করে। স্ট্রিম প্রক্রিয়াজাতকরণ স্তরটি পুরোপুরি মেমরির মধ্যে থাকবে এবং আমরা এর মধ্যে কিছু লেনদেনের ডাটাবেসের দিকে তাকিয়ে বা হস্তক্ষেপ করব।

রেবেকা জোজভিয়াক: মিশ্র কাজের চাপ লাফিয়ে উঠতে শেষ বাধা হয়ে দাঁড়িয়েছে, আমার মনে হয়। দেজ, রবিন, আপনারা দুজনের কি আরও কিছু প্রশ্ন আছে?

ডেজ ব্লাঞ্চফিল্ড: আমি একটি শেষ প্রশ্নে ঝাঁপিয়ে যাচ্ছি এবং তাতে আপত্তি জানাতে চাইলে সেটি মুছে ফেলব। গত দশক ধরে আমি যে সংস্থাগুলি নিয়ে কাজ করেছিলাম বা স্ট্রিম অ্যানালিটিকাদের এই উত্তেজনাপূর্ণ চ্যালেঞ্জের দিকে পরিচালিত করেছিলাম সেই প্রথম চ্যালেঞ্জটি, আমরা যখন এই পুরো চ্যালেঞ্জের চারপাশে কথোপকথন শুরু করি তখন তারা টেবিলে ফিরে যাওয়ার ঝোঁক রাখে where আমরা দক্ষতা সেট পেতে? আমরা কীভাবে দক্ষতার সেটটি পুনরায় প্রশিক্ষণ করব এবং কীভাবে আমরা অভ্যন্তরীণভাবে সেই ক্ষমতাটি অর্জন করব? অনুপ্রেরণা আসার এবং হাত ধরে যাত্রার মধ্য দিয়ে আমাদের ধরে রাখা এবং তারপরে একটি দুর্দান্ত প্রথম পদক্ষেপ হিসাবে প্রয়োগ করা এবং এটি করার ফলে এটি প্রচুর পরিমাণে জ্ঞান লাভ করে।

তবে মাঝারি থেকে বড় সংস্থার জন্য, আপনি এই মুহুর্তে কী ধরণের জিনিসগুলির জন্য এই প্রস্তুতি নিতে দেখছেন, সেই ক্ষমতাটি অভ্যন্তরীণভাবে তৈরি করতে, তার চারপাশে কেবলমাত্র একটি মৌলিক শব্দভাণ্ডার থেকে কিছু পেতে এবং তারা কী ধরণের বার্তা দিয়ে যেতে পারে সংগঠনটি এই ধরণের কাঠামোতে স্থানান্তরিত করার এবং সিইওর কাছ থেকে আইটি থেকে তাদের বিদ্যমান প্রযুক্তিগত কর্মীদের পুনরায় সংশোধন করছে যাতে আপনি এটি তৈরি করে এবং প্রয়োগ করার পরে তারা নিজেরাই এটি চালাতে পারে? খুব সংক্ষেপে, কী ধরণের চ্যালেঞ্জগুলি এবং কীভাবে তারা সেগুলি সমাধান করছে, আপনি যে গ্রাহকদের সাথে व्यवहार করছেন, কী ধরণের চ্যালেঞ্জগুলি পেয়েছেন এবং কীভাবে তারা পুনরায় প্রশিক্ষণ এবং অভিজ্ঞতা এবং জ্ঞান পুনরুদ্ধারের সমাধানের মধ্য দিয়ে যায় এই জন্য প্রস্তুত হওয়ার জন্য be অপারেশনালি প্রায় যেতে পারেন?

আনন্দ ভেণুগোপাল: প্রায়শই, স্ট্রিমিং অ্যানালিটিক্স প্ল্যাটফর্মটি বাইরে যেতে এবং স্ট্রিমিং অ্যানালিটিক্স প্ল্যাটফর্ম কেনার চেষ্টা করা লোকের ছোট্ট দল ইতিমধ্যে স্মার্ট যে তারা হ্যাডোপ সচেতন, তারা ইতিমধ্যে তাদের হ্যাডোপ ম্যাপরেডস দক্ষতা অর্জন করেছে, এবং কারণ তারা হাদুপের সাথে ঘনিষ্ঠভাবে কাজ করছে বিতরণ বিক্রেতা, তারা হয় পরিচিত। উদাহরণস্বরূপ, সমস্ত কিছুই কাফকা পাচ্ছে। তারা এটি দিয়ে কিছু করছে এবং স্টর্ম বা স্পার্ক স্ট্রিমিং তাদের ওপেন সোর্স ডোমেনে রয়েছে। অবশ্যই, লোকেরা এটির সাথে পরিচিত হয় বা এর চারপাশে দক্ষতা তৈরি করে। তবে এটি শুরু হয় এমন একটি ছোট্ট লোকের সাথে যা যথেষ্ট দক্ষ এবং যথেষ্ট স্মার্ট। তারা সম্মেলনে যোগ দিচ্ছেন। তারা শিখছে এবং তারা বিক্রেতাদের কাছে বুদ্ধিমান প্রশ্ন জিজ্ঞাসা করে এবং কিছু ক্ষেত্রে তারা বিক্রেতাদের সাথে শিখায়। বিক্রেতারা যেহেতু প্রথম সভায় আসছেন এবং উপস্থাপন করছেন, তারা স্টাফ জানেন না তবে তারা সহপাঠ করেছেন এবং তারপরে তারা এটির সাথে খেলতে শুরু করে।

সেই ছোট্ট লোকের নাম নিউক্লিয়াস এবং তারপরে এটি বাড়তে শুরু করে এবং প্রত্যেকে এখন বুঝতে পারে যে প্রথম ব্যবসায়িক ব্যবহারের কেসটি কার্যকর হয়। সেখানে একটি তরঙ্গ শুরু হয় এবং আমরা গত সপ্তাহে স্পার্ক শীর্ষ সম্মেলনে দেখেছিলাম যেখানে মূলধন ওলের মতো একটি বৃহৎ উদ্যোগ সেখানে ছিল এবং পুরো শক্তি দিয়েছিল। তারা স্পার্ককে বেছে নিচ্ছিল। তারা এটি সম্পর্কে কথা বলছিলেন। তারা স্পার্কে তাদের প্রচুর লোককে শিক্ষিত করছে কারণ তারা ব্যবহারকারী হিসাবে অনেক ক্ষেত্রেও এতে অবদান রাখছে। আমরা অনেকগুলি, বহু বৃহৎ উদ্যোগের সাথে একই দেখতে পাই। এটি খুব স্মার্ট লোকের কয়েকটি ছোট সেট দিয়ে শুরু হয় এবং এরপরে এটি সামগ্রিক শিক্ষার একটি waveেউ শুরু হয় এবং লোকেরা জানে যে একবার কোনও সিনিয়র ভিপি বা একবার কোনও সিনিয়র ডিরেক্টর সারিবদ্ধ হয় এবং তারা এই জিনিসটির উপর বাজি রাখতে চায় এবং শব্দটি কাছাকাছি আসে এবং তারা সবাই এই দক্ষতা বাছাই শুরু করে।

ডেজ ব্লাঞ্চফিল্ড: আমি নিশ্চিত যে এই চ্যাম্পিয়নদের গড়ার জন্য আপনার দুর্দান্ত সময় রয়েছে।

আনন্দ ভেনুগোপাল: হ্যাঁ। প্রাথমিক চ্যাম্পিয়নদের সাথে কাজ করার সাথে সাথে আমরা প্রচুর শিক্ষা গ্রহণ করি এবং আমরা প্রশিক্ষণ কোর্স করি এবং অনেকগুলি, আমাদের বৃহত গ্রাহকদের জন্য আমরা ফিরে এসেছি এবং বিশেষত মূলধারার ব্যবহারের পর্যায়ে অনেকগুলি ব্যবহারকারীকে আনতে প্রশিক্ষণের তরঙ্গ এবং তরঙ্গ পেয়েছিলাম many হাডোপ ম্যাপ্রেডস সাইটে। আমরা দেখেছি যে একটি বৃহত্তর ক্রেডিট কার্ড সংস্থায় যিনি আমাদের গ্রাহক, আমরা কমপক্ষে পাঁচ থেকে আটটি বিভিন্ন প্রশিক্ষণ প্রোগ্রাম সরবরাহ করেছি। আমাদের কাছে আমাদের, স্যান্ডবক্সগুলি সহ লোকেরা ডাউনলোড করতে, অভ্যস্ত করতে এবং সেভাবে নিজেরাই শিক্ষিত করতে পারে সেগুলি সহ এই সমস্ত পণ্যগুলির বিনামূল্যে সম্প্রদায় সংস্করণ রয়েছে।

ডেজ ব্লাঞ্চফিল্ড: আপনার কাছে আজ সকালে এইটাই আছে। আপনাকে অনেক ধন্যবাদ. আপনি আজ আমাদের জন্য যে মডেলগুলি ব্যবহার করেছেন এবং সেগুলি ব্যবহার করতে আমি অবিশ্বাস্যভাবে আকর্ষণীয় বলে মনে করি। ধন্যবাদ.

আনন্দ ভেনুগোপাল: দুর্দান্ত। আপনাকে অনেক ধন্যবাদ।

রেবেকা জোজভিয়াক: এই হট টেকনোলজিস ওয়েবকাস্টে যোগ দেওয়ার জন্য সবাইকে ধন্যবাদ। ডেজ ব্লাঞ্চফিল্ড, ডাঃ রবিন ব্লার এবং ইমেপটাস টেকনোলজিস, আনন্দ ভেনুগোপালের কাছ থেকে শুনে শুনে আকর্ষণীয় হয়ে উঠেছে। আপনাকে উপস্থাপক ধন্যবাদ। ধন্যবাদ আপনাকে স্পিকার এবং আপনাকে শ্রোতাদের ধন্যবাদ। পরের মাসে আমাদের কাছে আরও একটি হট টেকনোলজিস রয়েছে, তাই এটি দেখুন। আপনি সর্বদা ইনসাইডানালাইসিস ডটকম এ আমাদের সামগ্রী সংরক্ষণাগার পেতে পারেন। আমরা স্লাইডশেয়ারে প্রচুর সামগ্রী এবং ইউটিউবে কিছু আকর্ষণীয় বিটও রেখেছি।

এই সব ভাবেন। আবারও ধন্যবাদ এবং আপনার একটি ভাল দিন আছে। বিদায়, বিদায়।