পরামর্শের শক্তি: কীভাবে একটি ডেটা ক্যাটালগ বিশ্লেষকদের ক্ষমতায়িত করে

টেকোপিডিয়া স্টাফ দ্বারা, জুন 22, 2016

টেকওয়ে : হোস্ট রেবেকা জোজভিয়াক ডেজ ব্লাঞ্চফিল্ড, রবিন ব্লার এবং ডেভিড ক্রফোর্ডের সাথে ডেটা ক্যাটালগের সুবিধাগুলি নিয়ে আলোচনা করেছেন।

ভিডিওটি দেখতে আপনাকে অবশ্যই এই ইভেন্টের জন্য নিবন্ধন করতে হবে। ভিডিওটি দেখতে নিবন্ধন করুন।

রেবেকা জোজভিয়াক: মহিলা ও ভদ্রলোকগণ, ২০১ 2016 সালের হট টেকনোলজিসকে হ্যালো এবং স্বাগতম Today কাভানাগ আজ, যখন তিনি বিশ্ব ভ্রমণ করছেন, তাই আমাদের সাথে যোগ দেওয়ার জন্য আপনাকে ধন্যবাদ। এই বছরটি উত্তপ্ত, আমি যেখানে আছি টেক্সাসে এটি কেবল গরম নয়, তবে এটি পুরো জায়গাতেই গরম। সব ধরণের নতুন প্রযুক্তি বিস্ফোরণ ঘটছে। আমরা আইওটি পেয়েছি, স্ট্রিমিং ডেটা, মেঘ গ্রহণ, হাডোপ পরিপক্ক হতে চলে এবং গ্রহণ করা হয় be আমাদের অটোমেশন, মেশিন লার্নিং রয়েছে এবং এই সমস্ত জিনিস অবশ্যই ডেটা দ্বারা আন্ডারলাইন করা হয়। এবং উদ্যোগগুলি দিন দ্বারা চালিত আরও এবং আরও ডেটা হয়ে উঠছে। এবং অবশ্যই, এর মূল বিষয়টি জ্ঞান, এবং আবিষ্কারের দিকে পরিচালিত করে এবং আপনি জানেন যে আরও ভাল সিদ্ধান্ত নিতে পারেন। কিন্তু ডেটা থেকে সত্যই সর্বাধিক মান পেতে, এটি পাওয়া সহজ হয়ে ওঠে। আপনি যদি এটিকে লক করে রাখেন, বা কবর দিচ্ছেন, বা এন্টারপ্রাইজের মধ্যে থাকা কয়েকজনের মস্তিষ্কে এটি পুরোপুরি এন্টারপ্রাইজের পক্ষে খুব ভাল কাজ করে না।

এবং আমি লাইব্রেরিগুলির ডেটা তালিকাভুক্তি এবং চিন্তাভাবনা সম্পর্কে একধরনের চিন্তাভাবনা করছিলাম, যেখানে আপনাকে কিছু খুঁজে বের করার প্রয়োজন হলে আপনি কোথায় গেছেন, যদি আপনার কোনও বিষয় নিয়ে গবেষণা করার দরকার পড়ে বা কিছু তথ্য সন্ধানের প্রয়োজন হয়, আপনি লাইব্রেরিতে গিয়েছিলেন, এবং অবশ্যই আপনি কার্ডের ক্যাটালগ, বা সেখানে কাজ করা ক্র্যাবি মহিলাতে গিয়েছিলেন। তবে এগুলি ঘুরে বেড়ানোও মজাদার ছিল, যদি আপনি কেবল সন্ধান করতে চান এবং নিশ্চিত যে আপনি কেবল ঝরঝরে কিছু আবিষ্কার করতে পারেন তবে কিছু আকর্ষণীয় তথ্য যা আপনি জানতেন না তা খুঁজে পেতে পারেন, তবে যদি সত্যিই আপনাকে কিছু খুঁজে বের করার প্রয়োজন হয়, এবং আপনি কী কী সন্ধান করছেন তা জানতেন, আপনার কার্ড ক্যাটালগের প্রয়োজন ছিল এবং অবশ্যই এন্টারপ্রাইজের সমতুল্য একটি ডেটা ক্যাটালগ, যা আমাদের ব্যবহারকারীদের সমৃদ্ধ করতে, আবিষ্কার করতে, ভাগ করতে, উপভোগ করতে এবং সত্যই সহায়তা করতে পারে এমন সমস্ত ডেটা আলোকিত করতে সহায়তা করে লোকেরা দ্রুত এবং সহজে ডেটাতে আসে।

সুতরাং আজ আমরা ডেজ ব্লাঞ্চফিল্ড পেয়েছি, আমাদের নিজস্ব ডেটা বিজ্ঞানী, এবং আমরা আমাদের নিজস্ব প্রধান বিশ্লেষক, ডক্টর রবিন ব্লারকে পেয়েছি, আমরা অ্যালেশন থেকে ডেভিড ক্রাফোর্ডকে পেয়েছি, যিনি তাঁর সংস্থার ডেটা তালিকাভুক্ত গল্পের বিষয়ে কথা বলছেন, তবে প্রথম আমরা ডেজ দিয়ে নেতৃত্ব দিতে যাচ্ছি। দেজ, আমি বল তোমার কাছে যাচ্ছি এবং মেঝে তোমার।

ডেজ ব্লাঞ্চফিল্ড: আপনাকে ধন্যবাদ আজ, আমার জন্য ধন্যবাদ। এটি এমন একটি বিষয় যা সম্পর্কে আমি অত্যন্ত আগ্রহী, কারণ প্রায় প্রতিটি সংস্থা আমি আমার প্রতিদিনের কাজটিতে আসি, আমি ঠিক একই বিষয়টি পাই যা আমরা প্রি-শো ব্যানারে খুব সংক্ষেপে বলেছিলাম, এবং এটি হ'ল বেশিরভাগ সংস্থাগুলি যারা কয়েক বছরেরও বেশি সময় ধরে ব্যবসায়ের সাথে সংস্থার চারপাশে সমাহিত তথ্য, বিভিন্ন ফর্ম্যাট রয়েছে এবং বাস্তবে আমার কাছে ক্লায়েন্ট রয়েছে তাদের কাছে ডেটা সেট রয়েছে যা লোটাস নোটগুলিতে ফিরে যায়, ডাটাবেস যা এখনও কিছুতে চলছে তাদের সিউডো হস্তক্ষেপ করার ক্ষেত্রে কেসগুলি রয়েছে এবং তারা সকলেই আসলে তাদের ডেটা কোথায় রয়েছে এবং এটিতে কীভাবে অ্যাক্সেস পাওয়া যায়, কাকে অ্যাক্সেস দিতে হয়, কখন তাদের অ্যাক্সেস সরবরাহ করতে হয় এবং কীভাবে ন্যায়বিচার করতে হয় এই চ্যালেঞ্জের মধ্যে চলছে cases ক্যাটালগ, এবং কীভাবে এটি এমন জায়গায় পৌঁছানো যায় যেখানে প্রত্যেকেই পারেন: ক) কীভাবে সেখানে রয়েছে এবং কী আছে তা সম্পর্কে সচেতন হন এবং খ) কীভাবে এতে অ্যাক্সেস পাবেন এবং এটি কীভাবে ব্যবহার করবেন। এবং অবশ্যই সবচেয়ে বড় চ্যালেঞ্জগুলির মধ্যে একটি এটি সন্ধান করা, অন্য বড় চ্যালেঞ্জটি সেখানে কী রয়েছে এবং এটি কীভাবে অ্যাক্সেস করবেন তা জেনে রাখা।

আমি ভাল করেই জানি যে আমার কাছে কয়েক ডজন ডাটাবেস রয়েছে, তবে আমি সেখানে আসলে কী জানি বা সেখানে কী আছে তা কীভাবে খুঁজে বের করতে হবে তা আমি ঠিক জানি না এবং এতটাই অবিচ্ছিন্নভাবে আমরা এখন শো-পূর্ব ডেটাতে আবিষ্কার করছি, আপনি ঝোঁক অফিসে ঘোরাফেরা করতে এবং প্রশ্ন জিজ্ঞাসা করতে, এবং ঘনক্ষেত্রের প্রাচীরগুলি জুড়ে চিৎকার করে দেখার চেষ্টা করুন এবং প্রায়শই আমার অভিজ্ঞতা হ'ল আপনি হয়ত দেখতে পাচ্ছেন যে আপনি সামনের ডেস্ক, অভ্যর্থনাতে ঘুরে বেড়াচ্ছেন এবং জিজ্ঞাসা করছেন যে কে জানে কিনা আপনি কথা বলতে যাচ্ছেন। বেশিরভাগ ক্ষেত্রে, এটি সবসময় আইটি লোক না কারণ তারা ডেটা সেট সম্পর্কে অজানা থাকে কারণ কেউ সবেমাত্র এটি তৈরি করেছে, এবং এটি একটি সহজ কিছু হতে পারে - প্রায়শই আমরা কোনও প্রকারের প্রজেক্ট খুঁজে পাই যা আইটি পরিবেশে দাঁড়িয়ে আছে এবং প্রকল্প পরিচালকের সমস্ত জিনিসের একটি স্প্রেডশিট ব্যবহার করেছেন এবং এটি সম্পদ এবং প্রসঙ্গ এবং নামগুলির আশেপাশে বেশ কয়েকটি বিশাল পরিমাণের মূল্যবান তথ্য অর্জন করেছে এবং আপনি যদি সেই প্রকল্পটি জানেন না এবং আপনি সেই ব্যক্তিকে না জানেন তবে আপনি কেবল সেই তথ্যটি খুঁজে পাবেন না। এটি কেবল উপলভ্য নয়, এবং আপনাকে সেই আসল ফাইলটি ধরে রাখতে হবে।

ডেটা সম্পর্কিত চারপাশে একটি বাক্যাংশ ছড়িয়ে পড়েছে এবং আমি এটির সাথে অগত্যা একমত হই না, তবে আমি মনে করি এটি একটি সুন্দর সামান্য নিক্ষেপ এবং এটিই একটি নির্দিষ্ট পরিমাণ লোক মনে করে যে ডেটা নতুন তেল, এবং আমি নিশ্চিত যে আমরা পরে কিছু পরে কিছু দিক এটি আবরণ করতে যাচ্ছি। তবে আমি যা লক্ষ্য করেছি, অবশ্যই সেই রূপান্তরের অংশ হয়ে উঠছি সেগুলি হ'ল যেসব সংস্থাগুলি তাদের ডেটাগুলিকে মূল্য দিতে শিখেছে তারা তাদের প্রতিযোগীদের উপর উল্লেখযোগ্য সুবিধা অর্জন করেছে।

আইবিএমের একটি আকর্ষণীয় কাগজ ছিল, প্রায় পাঁচ বা ছয় বছর আগে এবং তারা এখানে অস্ট্রেলিয়ায় প্রায় 4, 000 সংস্থার সমীক্ষা করেছিল এবং তারা সমস্ত তথ্য, সমস্ত কার্যকারিতা ডেটা, সমস্ত অর্থের ডেটা নিয়েছিল এবং এটিকে একটি ফুটন্ত পটে একসাথে রেখেছিল এবং তারপরে এটি অস্ট্রেলিয়ান স্কুল অফ ইকোনমিক্সে প্রেরণ করা হয়েছিল, এবং তারা আসলে এখানে একটি সাধারণ প্রবণতা শুরু করেছিল এবং এটি হ'ল যে সমস্ত প্রযুক্তি যারা প্রযুক্তি অর্জনে অবিচ্ছিন্নভাবে তাদের পিয়ার এবং প্রতিযোগীদের উপর প্রতি প্রতিযোগী ছিল তাদের প্রতিদ্বন্দ্বীরা প্রায় কখনও তা গ্রহণ করে না এবং আমি মনে করি এটি এখন এমন অনেক তথ্য হিসাবে দেখা গেছে যে আমরা লোকেরা ডিজিটাল রূপান্তরকে কী বলে দেখি যেখানে যে সংস্থাগুলি স্পষ্টভাবে নির্ধারণ করেছে যে তারা কীভাবে তথ্য পেয়েছে সেগুলি কীভাবে সন্ধান করতে পারে, সেই ডেটা উপলভ্য করার জন্য এবং এটি খুব সহজেই ব্যবহারযোগ্য উপায়ে পাওয়া যায় সংস্থার কাছে ফ্যাশন, অগত্যা সর্বদা কেন কারণ সংস্থাটির এটি প্রয়োজন হতে পারে তা না জেনে এবং প্রতিযোগীদের কাছে উল্লেখযোগ্য সুবিধা অর্জন করতে পারে।

আমি এই স্লাইডে বেশ কয়েকটি উদাহরণ পেয়েছি, যা আপনি দেখতে পাচ্ছেন। আমার এক লাইনটি হ'ল, আমার দৃষ্টিতে, প্রায় প্রতিটি শিল্প খাত জুড়ে বৃহত আকারের ব্যত্যয় ডেটা দ্বারা চালিত হচ্ছে, এবং যদি বর্তমান প্রবণতাগুলি কিছুতেই যায় তবে আমার দৃষ্টিভঙ্গি হ'ল আমরা কেবল সত্যই অর্জন করেছি শুরু হয়েছিল কারণ যখন দীর্ঘ-স্থায়ী ব্র্যান্ডগুলি শেষ পর্যন্ত এর অর্থ কী তা জেগে উঠে গেমটিতে প্রবেশ করে, তারা পাইকারি সময়ে গেমটি প্রবেশ করতে চলেছে। যখন তথ্যের পর্বতমালা রয়েছে এমন বড় খুচরা বিক্রেতারা যখন ডেটাতে কিছু historicalতিহাসিক বিশ্লেষণ প্রয়োগ করতে শুরু করেন, তারা যদি এমনকি এটির উপস্থিতিও জানেন, তবে অনলাইনে কিছু খেলোয়াড় কিছুটা ওয়েকআপ কল পেতে চলেছেন।

তবে এর মধ্যে বেশিরভাগ ব্র্যান্ডের সাথে আমার অর্থ আমরা উবারকে পেয়েছি যারা বিশ্বের বৃহত্তম ট্যাক্সি সংস্থা। তাদের কোনও ট্যাক্সি নেই, তাই এগুলি কী তাদের যাদু করে তোলে, তাদের ডেটা কী? বৃহত্তম আবাসন সরবরাহকারী এয়ারবিএনবি, আমরা বিশ্বের বৃহত্তম ফোন সংস্থা ওয়েচ্যাট পেয়েছি, তবে তাদের কাছে কোনও বাস্তব অবকাঠামো, এবং কোনও হ্যান্ডসেট, কোনও ফোন লাইন নেই। আলিবাবা, গ্রহের বৃহত্তম খুচরা বিক্রেতা, তবে তাদের কোনও জায়ের মালিকানা নেই। কথায় সবচেয়ে বড় মিডিয়া সংস্থা ফেসবুক আমি মনে করি শেষ গণনায় তাদের এখন 1.4 বিলিয়ন সক্রিয় ডেটা ব্যবহারকারী ছিল, যা একটি মন-বিচলিত নম্বর। এটি কোথাও নেই - আমি মনে করি যে কেউ দাবি করেছিল যে গ্রহটির এক চতুর্থাংশ আসলে প্রতিদিন সেখানে রয়েছে, এবং এখনও এখানে এমন একটি সামগ্রী সরবরাহকারী রয়েছে যা আসলে সামগ্রী তৈরি করে না, তারা যে সমস্ত ডেটা পরিবেশন করে সেগুলি তাদের দ্বারা তৈরি করা হয়নি, এটি তৈরি হয়েছে তাদের গ্রাহকগণ দ্বারা এবং আমরা সকলেই এই মডেলটি জানি।

সোসাইটি ওয়ান, যা আপনি শুনে থাকতে পারেন বা শুনে থাকতে পারেন না, এটি একটি স্থানীয় ব্র্যান্ড, আমি মনে করি বেশ কয়েকটি দেশে এটি একটি ব্যাংক যা আসলে পিয়ার-টু-পিয়ার ndingণ দেয়, সুতরাং অন্য কথায়, এটির কোনও অর্থ নেই। এটি যা করে তা হ'ল এটি লেনদেন পরিচালনা করে এবং ডেটা তার নীচে বসে। নেটফ্লিক্স, আমরা সকলেই এর সাথে খুব পরিচিত। এখানে একটি আকর্ষণীয় ওয়ান-লাইনার রয়েছে। যখন নেটফ্লিক্স আইনত অস্ট্রেলিয়ায় ব্যবহার করতে সক্ষম হয়েছিল, যখন এটি আনুষ্ঠানিকভাবে ঘোষণা হয়েছিল, আপনাকে এটিতে যাওয়ার জন্য কোনও ভিপিএন ব্যবহার করতে হবে না, বিশ্বজুড়ে অনেক লোকের ঝোঁক রয়েছে - আপনি যদি নিজের স্থানীয় এলাকায় এটি না পেতে পারেন - যখন নেটফিক্স অস্ট্রেলিয়ায় চালু হয়েছিল, তখন এটি আমাদের ইন্টারনেট লিঙ্কগুলিতে আন্তর্জাতিক ব্যান্ডউইদথকে ৪০ শতাংশ বাড়িয়েছে, সুতরাং এটি কেবলমাত্র একটি অ্যাপ্লিকেশন, একটি ক্লাউড-হোস্টেড অ্যাপ্লিকেশন, যা ডেটা নিয়ে খেলা ছাড়া কিছুই করে না, রাতারাতি অস্ট্রেলিয়ায় ইন্টারনেটের ব্যবহার প্রায় দ্বিগুণ করে দেয়। এটি কেবল একটি মন-বিচলিত পরিসংখ্যান।

এবং অবশ্যই, আমরা সকলেই অ্যাপল এবং গুগলের সাথে পরিচিত, তবে এগুলি গ্রহের বৃহত্তম সফ্টওয়্যার ব্যবসা, তবুও তারা আসলে অ্যাপগুলি লিখেনি write এই সমস্ত সংস্থার সাথে সামঞ্জস্যপূর্ণ জিনিসটি কী? ঠিক আছে, এটি ডেটা, এবং তারা সেখানে পেল না কারণ তারা জানত না যে তাদের ডেটা কোথায় ছিল এবং তারা কীভাবে এটি তালিকাভুক্ত করতে পারে তা জানত না।

আমরা এখন যেটি সন্ধান করছি তা হ'ল এই সম্পূর্ণ নতুন সম্পদ শ্রেণীর ডেটা হিসাবে উল্লেখ করা হয়েছে, এবং সংস্থাগুলি এটি জাগ্রত করছে। তবে তাদের কাছে সবসময় সরঞ্জাম এবং জ্ঞাত কীভাবে এবং সেইজন্য সেই সমস্ত ডেটা ম্যাপ করার জন্য, সেই সমস্ত ডেটাটি তালিকাভুক্ত করার জন্য এবং এটি উপলব্ধ করার জন্য থাকে না, তবে আমরা দেখতে পেয়েছি যে প্রায় কোনও শারীরিক সম্পদ নেই এমন সংস্থাগুলি উচ্চ বাজারের মূল্য অর্জন করেছে। এই নতুন ডেটা সম্পদ শ্রেণীর মাধ্যমে সময় রেকর্ড করুন। আমি যেমন বলেছি, পুরানো কিছু খেলোয়াড় এখন এই বিষয়ে জেগে আছেন এবং অবশ্যই তা বাইরে নিয়ে আসছেন।

আমি কিছুটা ভ্রমণে লোক গ্রহণের এক বিশাল অনুরাগী, সুতরাং আঠারো শতে, আঠারো শত শত দেরীতে এবং আপনি মার্কিন বাজারে এর সাথে আরও পরিচিত হবেন, এটি দেখা গেল যে একটি আদমশুমারি চালাতে হবে to প্রতি বছর বা তার পরে, আমার মনে হয় তারা এই দশ বছরে সে সময় তাদের চালিয়েছিল, তবে আপনি যদি প্রতি বছর একটি আদমশুমারি চালাচ্ছেন তবে ডেটা বিশ্লেষণ করতে আপনি আট বা নয় বছর পর্যন্ত সময় নিতে পারেন। দেখা গেল যে ডেটা সেটটি তখন কাগজের জায়গাগুলিতে বাক্সে রেখে যায় এবং প্রায় কেউই এটি খুঁজে পায় না। তারা কেবল এই প্রতিবেদনগুলি ছড়িয়ে দিয়েছিল, তবে আসল তথ্য পাওয়া খুব কঠিন ছিল, আমাদের দ্বিতীয় বিশ্ব যুদ্ধের সাথে 1940 এর দশকের কাছাকাছি, অন্য একটি বিশ্বের উল্লেখযোগ্য মুহুর্তের সাথে আমাদের একই রকম পরিস্থিতি রয়েছে এবং এই জিনিসটি হ'ল ব্লেচলে পার্ক বোম্ব বিএমবিই বানান, এবং এটি একটি বিশাল সংখ্যা-ক্রাঞ্চিং বিশ্লেষণাত্মক সরঞ্জাম ছিল যা ছোট ডেটা সেটগুলির মধ্যে দিয়ে যায় এবং এটিতে সংকেতগুলি খুঁজে পেতে পারে এবং এনগমার মাধ্যমে ক্র্যাক কোডগুলি সহায়তা করতে ব্যবহৃত হত।

এই জিনিসটি আবার মূলত একটি ডিভাইস ছিল যা ক্যাটালগের মতো খুব বেশি নয়, তবে ডেটা ট্যাগ এবং মানচিত্রের জন্য নকশাগুলি তৈরি করা এবং ডেটা সেটগুলির মধ্যে এটি সন্ধান করা সম্ভব করে, এক্ষেত্রে কোডগুলি ভাঙ্গা, কীগুলি এবং বাক্যাংশগুলি সন্ধান এবং সন্ধান করা সেগুলি নিয়মিত ডেটা সেটগুলিতে থাকে এবং তাই আমরা তথ্যগুলিতে জিনিসগুলি আবিষ্কার করার এবং ডেটা তালিকাভুক্তকরণের দিকে এগিয়ে যাওয়ার এই যাত্রাটি পেরিয়ে এসেছি।

এবং তারপরে এই জিনিসগুলি এসেছিল, এই বিশাল স্বল্প ব্যয়ের মেশিনগুলির র্যাকগুলি, কেবল অফ শেল্ফ মেশিনগুলি। এবং আমরা কিছু খুব আকর্ষণীয় কাজ করেছি এবং তাদের সাথে আমরা একটি কাজ করেছি আমরা খুব স্বল্প ব্যয়ের ক্লাস্টার তৈরি করেছি যা গ্রহের সূচকে সূচনা করতে পারে এবং খুব বিখ্যাতভাবে এই বড় ব্র্যান্ডগুলি এসেছে যা চলে গেছে তবে গুগলের সম্ভবত সবচেয়ে সাধারণ হোম আমরা যে ব্র্যান্ডটি শুনেছি - এটি একটি প্রকৃত ক্রিয়া হয়ে দাঁড়িয়েছে এবং আপনি জানেন যে আপনার ব্র্যান্ড যখন একটি ক্রিয়া হয়ে ওঠে। তবে গুগল যা শিখিয়েছিল, সম্ভবত এটি ব্যবসায়িক বিশ্বে উপলব্ধি না করেই তারা পুরো গ্রহটিকে একটি নির্দিষ্ট স্তরে সূচিবদ্ধ করতে সক্ষম হয়েছিল এবং বিশ্বজুড়ে যে ডেটা তৈরি করেছিল তা ক্যাটালগ করতে সক্ষম হয়েছিল এবং এটিকে খুব সহজতে উপলব্ধ করেছে, সামান্য ক্ষুদ্র এক-লাইন সূত্রে সুবিধাজনক ফর্ম, এটিতে কোনও কিছুই নেই এমন একটি ওয়েব পৃষ্ঠা এবং আপনি আপনার ক্যোয়ারিতে টাইপ করেন, এটি গিয়ে এটি খুঁজে পায় কারণ তারা ইতিমধ্যে গ্রহটি ক্রল করেছিল, এটি সূচকযুক্ত করেছিলেন এবং এটিকে সহজেই উপলভ্য করেছিলেন।

এবং আমরা লক্ষ্য করেছিলাম যে, "আচ্ছা থাকো, আমরা সংগঠনগুলিতে এটি করছি না - এটি কেন? কেন আমরা এমন একটি সংস্থা পেয়েছি যা পুরো গ্রহটির মানচিত্র তৈরি করতে পারে এবং এটিকে সূচক তৈরি করতে পারে, এটি ক্রল করে সূচক তৈরি করতে পারে এবং এটি উপলভ্য করতে পারে, আমরা এটি অনুসন্ধান করতে পারি, এবং তারপরে জিনিসটি ক্লিক করে এটি সন্ধান করতে পারি, কীভাবে আমরা আসি অভ্যন্তরীণভাবে এটি করেন নি? "সুতরাং বিশ্বজুড়ে এখন প্রচুর পরিমাণে মেশিন রয়েছে যা ইন্ট্রনেটগুলির জন্য এটি করে এবং জিনিসগুলি সন্ধান করে, তবে তারা এখনও সত্যিই কেবল traditionalতিহ্যবাহী ওয়েবের বাইরে চলে যাওয়ার ধারণাটি ধরে রেখেছে g পৃষ্ঠা বা একটি ফাইল সার্ভার

এই পরবর্তী প্রজন্মকে এখন অনেক উপায়ে ডেটা ক্যাটালগ প্রবেশের পরিবর্তে, নোটগুলি এবং ওয়াটার কুলার কথোপকথনের মাধ্যমে ডেটা অ্যাক্সেস আবিষ্কার করা ডেটা আবিষ্কার এবং ক্যাটালগের জন্য আর কোনও উপযুক্ত পদ্ধতি নয় এবং বাস্তবে, আমি এটি কখনও মনে করি না সত্যিই ছিল। আমরা আর এই পুরো চ্যালেঞ্জকে কেবলমাত্র নোটগুলি পাস করে, এবং নোট পোস্ট করে এবং এ সম্পর্কে চ্যাট করতে পারে না। আমরা এখন সঠিকভাবে এবং সেই অঞ্চলের বাইরে যেখানে ডেটা ক্যাটালগের ক্ষেত্রে এই পরবর্তী-জেনের পদ্ধতিটি এসেছে এবং চলে গেছে। আমাদের চারপাশে আমাদের অস্ত্র পেতে হবে। যদি এটি একটি সহজ সমস্যা ছিল, আমরা ইতিমধ্যে এটি ইতিমধ্যে অনেকগুলি উপায়ে সমাধান করেছি, তবে আমি মনে করি যে এটি কোনও সহজ সমস্যা নয়, কেবল সূচীকরণ এবং ডেটা কল করা এটির একটি অংশ, এটি ডেটাতে কী আছে তা জেনে এবং আমরা যা আবিষ্কার করি তার চারপাশে মেটাডেটা তৈরি করা এবং তারপরে এটিকে একটি সহজ, উপভোগযোগ্য আকারে সরবরাহ করা, বিশেষত স্ব-পরিষেবা এবং বিশ্লেষণে। এটি এখনও একটি সমস্যার সমাধান হচ্ছে, তবে পাঁচ বছরে ধাঁধার অনেকগুলি অংশ ভাল এবং সত্যই সমাধান হয়েছে এবং উপলভ্য।

যেমনটি আমরা জানি, তথ্য উপাত্ত তালিকাভুক্ত করা মানুষ ব্যর্থতার একটি রেসিপি কারণ মানব ত্রুটি হ'ল ডেটা প্রক্রিয়াকরণে আমরা যে বিরাট দুঃস্বপ্নগুলি মোকাবিলা করি তার মধ্যে একটি এবং আমি নিয়মিত এই বিষয়টি নিয়ে কথা বলি যেখানে আমার দৃষ্টিতে মানুষ কাগজের ফর্মগুলি পূরণ করা সম্ভবত সবচেয়ে বড় দুঃস্বপ্ন আমরা বড় ডেটা এবং বিশ্লেষণে ডিল করি, তারা যে কাজগুলি করে সেগুলি ক্রমাগত ঠিক করতে, এমনকি তারিখ এবং ক্ষেত্রের মতো সাধারণ জিনিসগুলিতেও লোকেরা এটি ভুল ফর্ম্যাটে রাখে।

তবে আমি যেমন বলেছি, আমরা প্রতিদিন ইন্টারনেট সন্ধান ইঞ্জিনকে বিশ্ব সূচক দেখেছি, তাই এখন আমরা এটিকে ধারণাটি তৈরি করছি যে এটি আবিষ্কারের প্রক্রিয়াতে ব্যবসায়ের ডেটা সেটগুলিতে করা যেতে পারে, এবং সরঞ্জামগুলি এবং সিস্টেমগুলি এখন আজ আপনি যেমন শিখতে চলেছেন তত সহজেই উপলভ্য। কৌশলটি, সত্যিই আমার দৃষ্টিতে সঠিক সরঞ্জামগুলি বেছে নেওয়া হচ্ছে কাজের জন্য সেরা সরঞ্জাম। এবং আরও সঠিকভাবে এর উপরে, এর সঠিক অংশটি সন্ধান করা আপনাকে এই পথটি শুরু করতে সহায়তা করতে। এবং আমি বিশ্বাস করি যে আমরা আজ সে সম্পর্কে শুনব, কিন্তু আমরা এটি করার আগে, আমি আমার কলেজের কাছে যাব, রবিন ব্লুর এবং এই বিষয়ে তাঁর বক্তব্য শুনব। রবিন, আমি কি তোমার কাছে যেতে পারি?

রবিন ব্লুর: হ্যাঁ, অবশ্যই আপনি পারেন। দেখা যাক এটি কার্যকর হয় কিনা, ওহ হ্যাঁ এটি করে। ঠিক আছে, আমি সত্যিই ডেজের চেয়ে অন্য দিক থেকে আসছি, তবে আমি একই জায়গায় শেষ করব। এটি ডেটাতে সংযোগ স্থাপনের বিষয়ে, তাই আমি কেবল ভেবেছিলাম যে আমি তথ্য-উপাত্তের সাথে সংযোগের বাস্তবতার মধ্য দিয়ে চলব point

এমন একটি সত্য আছে যে ডেটা এটির চেয়ে বেশি খণ্ডিত হয়। তথ্যের পরিমাণ খুব অসাধারণভাবে বৃদ্ধি পাচ্ছে, তবে প্রকৃতপক্ষে, ডেটার বিভিন্ন উত্সগুলিও অবিশ্বাস্য হারে বাড়ছে, এবং তাই ডেটা সর্বদা ক্রমশ খণ্ডিত হয়ে উঠছে। তবে বিশেষত বিশ্লেষণ অ্যাপ্লিকেশনগুলির কারণে - তবে সেগুলি কেবলমাত্র অ্যাপ্লিকেশন নয় - আমরা এই সমস্ত ডেটার সাথে সংযুক্ত হওয়ার জন্য সত্যই একটি ভাল কারণ পেয়েছি, সুতরাং আমরা একটি কঠিন জায়গায় আটকে রয়েছি, আমরা খণ্ডিত তথ্যের জগতে আটকে আছি, এবং ডেজে যেমন নতুন তেলকে ডেকে বলছিল তেমন ডেটাতে সুযোগ রয়েছে।

ডেটা সম্পর্কে, ভাল, এটি স্পিনিং ডিস্কে ফাইল সিস্টেম সিস্টেম বা ডাটাবেসগুলিতে বাস করত। এখন এটি অনেক বেশি বৈচিত্রময় পরিবেশে বাস করে, এটি ফাইল সিস্টেমে বাস করে তবে এটি আজকাল হ্যাডোপ উদাহরণগুলিতে বা স্পার্কের উদাহরণগুলিতেও বাস করে। এটি একাধিক প্রজাতির ডাটাবেসে বাস করে। এত দিন আগে, আমরা কিছু প্রাসঙ্গিক ডাটাবেসকে প্রমিত করেছিলাম, ভাল আপনি জানেন যে গত পাঁচ বছরে উইন্ডোটি চলে গিয়েছিল, কারণ নথির ডাটাবেসের প্রয়োজন আছে, এবং গ্রাফ ডাটাবেসের প্রয়োজন আছে, তাই আপনি জানেন, গেমটি আছে পরিবর্তন করেছেন। সুতরাং এটি স্পিনিং ডিস্কে বাস করত, তবে এটি এখন এসএসডি-তে বাস করে। এসএসডি-র সর্বশেষ পরিমাণ - অবশ্যই সাম্প্রতিকতম এসএসডি ইউনিট স্যামসাং থেকে বের হচ্ছে - বিশ গিগাবাইট, যা বিশাল। এখন এটি স্মৃতিতে বাস করে, এই অর্থে যে তথ্যগুলির মূল কপি মেমরিতে থাকতে পারে ডিস্কের পরিবর্তে, আমরা এর মতো সিস্টেমগুলি তৈরি করতে ব্যবহৃত হত না; আমরা এখন করি। এবং এটি মেঘে বাস করে। যার অর্থ এটি মেঘে এই যে কোনও একটিতে বাস করতে পারে, আপনি মেঘে কোথায় আছেন তা আপনি অগত্যা জানেন না, আপনার কেবলমাত্র এর ঠিকানা থাকবে।

কেবলমাত্র পয়েন্টটি বাড়ানোর জন্য, হ্যাডোপ এতক্ষণ, এক্সটেনসিবল ডেটা স্টোর হিসাবে ব্যর্থ হয়েছে। আমরা আশা করেছিলাম এটি একটি এক্সটেনসিবল স্কেল-আউট ডেটা স্টোর হয়ে যাবে, এবং এটি কেবল সমস্ত কিছুর জন্য একটি ফাইল সিস্টেমে পরিণত হবে, এবং এটি হবে - আকাশে বৃষ্টিধনগুলি প্রদর্শিত হবে, মূলত, এবং ইউনিকর্নগুলি চারপাশে নাচবে এবং এর কিছুই ঘটেনি। যার অর্থ আমরা ডেটা পরিবহনের সমস্যাটি শেষ করি, এবং ডেটা পরিবহনের কোনও প্রয়োজন হয় না, তবে এটি একটি অসুবিধাও বটে। আজকাল ডেটাতে সত্যই মহাকর্ষ থাকে, একবার আপনি যখন একাধিক টেরাবাইটের ডেটা পেয়ে যান এবং এটিকে চারপাশে ছুঁড়ে মারেন, তখন আপনার নেটওয়ার্কে ধরণের কারণগুলি বিলম্বিত হতে পারে বা বিভিন্ন জায়গায় প্রদর্শিত হয়। আপনি যদি ডেটা চারপাশে পরিবহন করতে চান তবে সময় নির্ধারণ করা একটি উপাদান। প্রায় সবসময় রয়েছে, আজকাল, আপনি কোনও জিনিস, এক স্থান থেকে অন্য স্থানে একটি ডেটা পেতে কতটা সময় পেয়েছেন তার কিছু সীমাবদ্ধতা রয়েছে। ব্যাচ উইন্ডোজ হিসাবে আমরা যা ভাবতাম তা ব্যবহৃত হত, যখন মেশিনটি নিরর্থক ছিল এবং আপনার কাছে যতটা ডেটা থাকুক না কেন, আপনি কেবল এটিকে ছুঁড়ে ফেলতে পারেন এবং এটি সমস্ত কাজ করে। ভাল যে চলে গেছে, আমরা অনেক বেশি একটি রিয়েল-টাইম বিশ্বে বাস করছি। অতএব সময় সময় একটি ফ্যাক্টর। যত তাড়াতাড়ি আপনি ডেটাটি চারপাশে সরাতে চান, সুতরাং যদি ডেটার মাধ্যাকর্ষণ থাকে, আপনি সম্ভবত এটি সরাতে পারবেন না।

ডেটা ম্যানেজমেন্ট এই অর্থে একটি উপাদান যা আপনি আসলে এই সমস্ত ডেটা পরিচালনা করার জন্য পেয়েছেন, আপনি এটি নিখরচায় পাবেন না, এবং যে কাজটি করা দরকার তা করার জন্য প্রকৃতপক্ষে ডেটা পাওয়ার জন্য প্রতিলিপি প্রয়োজন হতে পারে, কারণ আপনি এটি যেখানে রেখেছেন তা নাও হতে পারে। ডেটার স্বাভাবিক প্রক্রিয়াজাতকরণ করার জন্য এটিতে পর্যাপ্ত সংস্থান নাও থাকতে পারে। সুতরাং ডেটা অনুলিপি করা হয়, এবং ডেটা আপনি কল্পনা করা চেয়ে বেশি প্রতিলিপি করা হয়। আমার মনে হয় কেউ আমাকে বহুদিন আগে বলেছিলেন যে ডেটা গড়ের টুকরোটি কমপক্ষে আড়াই থেকে তিনবার প্রতিলিপি করা হয়। ইএসবি বা কাফকা ডেটা প্রবাহের জন্য একটি বিকল্প উপস্থাপন করে তবে আজকাল এটি আর্কিটেকচারের দাবি করে। আজকাল আপনার সত্যিকার অর্থে ডেটাটি ফেলে দেওয়ার অর্থ কী তা নিয়ে এক উপায় বা অন্যভাবে চিন্তা করা দরকার। অতএব, তথ্য যেখানে রয়েছে সেখানে অ্যাক্সেস করা সাধারণত পছন্দনীয়, যতক্ষণ না আপনি যখন ডেটা সন্ধান করতে চান তখন আপনি প্রয়োজনীয় কর্মক্ষমতা অর্জন করতে পারেন এবং এটি প্রসঙ্গে নির্ভর করে। সুতরাং এটি যাইহোক, একটি কঠিন পরিস্থিতি। ডেটা ক্যোয়ারির ক্ষেত্রে আমরা এসকিউএল-এর বিবেচনায় ভাবতে সক্ষম হয়েছি, আমরা এখন সত্যিই উপস্থিত হয়েছি, আপনি জানেন, বিভিন্ন ধরণের প্রশ্নের, এসকিউএল হ্যাঁ, তবে সংলগ্ন, এছাড়াও গ্রাফ অনুসন্ধানগুলি, স্পার্কের কেবলমাত্র একটি উদাহরণ গ্রাফ করা, কারণ আমাদের পাঠ্য অনুসন্ধানও করা দরকার যা আমাদের আগের চেয়ে অনেক বেশি ছিল, এছাড়াও রেগেক্স ধরণের অনুসন্ধানগুলি যা নিদর্শনগুলির জন্য সত্যই জটিল অনুসন্ধান এবং জেনুইন প্যাটার্নের মিল রয়েছে, এই সমস্ত কিছুই আসলে বুদবুদ। এবং এগুলির সমস্ত দরকারী কারণ আপনি যা সন্ধান করছেন তা তারা আপনাকে পেয়েছে বা আপনি যা সন্ধান করছেন তা তারা আপনাকে পেতে পারে।

প্রশ্নগুলি এখন একাধিক ডেটা বিস্তৃত, তাই এটি সর্বদা এটি করে না এবং প্রায়শই পারফরম্যান্স হতাশ হয়ে থাকে যদি আপনি এটি করেন। সুতরাং, এটি পরিস্থিতিগুলির উপর নির্ভর করে, তবে লোকেরা একাধিক ডেটা উত্স থেকে ডেটা জিজ্ঞাসা করতে সক্ষম হবে বলে আশাবাদী, তাই একরকম বা অন্যের ডেটা ফেডারেশন আরও এবং আরও বর্তমান হয়ে উঠছে। পারফরম্যান্সের উপর নির্ভর করে ডেটা ভার্চুয়ালাইজেশন যা এটি করার একটি আলাদা উপায়, এটি খুব সাধারণ। ডেটা ক্যোয়ারীগুলি আসলে কোনও প্রক্রিয়ারই একটি অংশ, পুরো প্রক্রিয়া নয়। এটি কেবল উল্লেখ করার মতো যে আপনি যদি বিশ্লেষণের পারফরম্যান্সের দিকে তাকিয়ে থাকেন তবে প্রকৃত বিশ্লেষণগুলি ডেটা সংগ্রহের চেয়ে ভয়ঙ্কর অনেক বেশি সময় নিতে পারে, কারণ এটি পরিস্থিতিতে নির্ভর করে তবে আপনি যদি কিছু করতে চান তবে ডেটা অনুসন্ধানগুলি একটি পরম প্রয়োজনীয়তা একাধিক ডেটা উত্সগুলিতে বিশ্লেষণের ধরণের, এবং এটি ঠিক, আপনার সত্যিকারের এমন ক্ষমতা থাকতে হবে যা বিস্তৃত।

ক্যাটালগ সম্পর্কে তাই। ক্যাটালগগুলি একটি কারণে উপস্থিত রয়েছে, কমপক্ষে আমরা বলছি যে, আপনি জানেন, এটি রয়েছে, আমাদের ডিরেক্টরি রয়েছে এবং আমাদের ডাটাবেসে স্কিমার ব্যবস্থা রয়েছে এবং আমাদের প্রতিটি ক্যাটালগ রয়েছে এবং আপনি যেখানে যাবেন সেখানে আপনি একটি জায়গা খুঁজে পাবেন এবং তারপরে আপনি আসলে পাবেন সন্ধান করুন যে ক্যাটালগ কিছু আছে, এবং ইউনিফাইড গ্লোবাল ক্যাটালগ যেমন একটি স্পষ্টতই ভাল ধারণা। তবে খুব কম সংস্থারই এমন জিনিস রয়েছে। আমার মনে আছে, বছর দুই হাজার - বছর দু'হাজার আতঙ্ক - আমার মনে আছে কম্যুনিস্টরা তাদের কতজন এক্সিকিউটেবল ছিল তাও পিন করতে পারেনি, তাদের কাছে কতগুলি বিভিন্ন ডেটা স্টোর ছিল তা মনে করে না, এবং সম্ভবত এটি এখনকার ঘটনা। আপনি জানেন যে বেশিরভাগ সংস্থাগুলি বিশ্বব্যাপী সক্রিয়ভাবে জানেন না, তারা কী ডেটা পেয়েছেন। তবে প্রকৃতপক্ষে এটি একটি বিশ্বব্যাপী ক্যাটালগ থাকা বা ডেটা উত্সগুলির বৃদ্ধি এবং অ্যাপ্লিকেশনগুলির ক্রমাগত বর্ধনের কারণে যা চলছে তার একটি বিশ্বব্যাপী চিত্র ধারণ করার জন্য এটি স্পষ্টতই প্রয়োজনীয় হয়ে উঠছে, এবং এটি বিশ্লেষণের জন্য বিশেষত প্রয়োজনীয়, কারণ আপনিও এক উপায়ে, এবং এখানে অন্যান্য সমস্যা রয়েছে যেমন বংশ এবং ডেটা নিয়ে সমস্যা, এবং এটি সুরক্ষার জন্য প্রয়োজনীয়, ডেটা প্রশাসনের অনেকগুলি বিষয়, আপনি যদি সত্যই জানেন না যে আপনি কী ডেটা পেয়েছেন, ধারণাটি আপনি এটি পরিচালনা করতে যাচ্ছেন এটি কেবল অযৌক্তিক। সুতরাং, এতে, সমস্ত ডেটা কোনওভাবেই অনুঘটকিত হয় কেবল একটি সত্য। প্রশ্নটি হল ক্যাটালগ সুসংগত কিনা এবং আসলে আপনি এটি দিয়ে কী করতে পারেন। সুতরাং আমি রেবেকার কাছে ফিরে যাব।

রেবেকা জোজভিয়াক: ঠিক আছে, ধন্যবাদ রবিন পরের দিকে আমরা অ্যালেসন থেকে ডেভিড ক্রফোর্ডকে পেয়েছি, ডেভিড আমি এগিয়ে যাব এবং বলটি আপনার কাছে পৌঁছে দেব এবং আপনি এটি নিয়ে যেতে পারেন।

ডেভিড ক্রফোর্ড: আপনাকে অনেক ধন্যবাদ। আমি আপনাকে এই শোতে আসার জন্য সত্যই প্রশংসা করি। আমি মনে করি আমি এটি শুরু করতে যাচ্ছি, সুতরাং আমার মনে হয় এখানে আমার ভূমিকাটি হল সেই তত্ত্বের কিছু গ্রহণ করা এবং এটি কীভাবে বাস্তবে প্রয়োগ করা হচ্ছে তা দেখুন এবং আমরা প্রকৃত গ্রাহকদের কাছে গাড়ি চালাতে সক্ষম হয়েছি এবং ফলস্বরূপ আপনি দেখতে পাচ্ছেন স্লাইডের কয়েকটি, আমি বিশ্লেষণাত্মক সম্ভাব্য উন্নতিতে কী ফলাফল দেখতে সক্ষম হব সে সম্পর্কে আমি কথা বলতে চাই। সুতরাং আলোচনাটি অনুপ্রাণিত করতে, আমরা সেখানে কীভাবে পেল সে সম্পর্কে আমরা কথা বলতে যাচ্ছি। সুতরাং আমি সত্যিই অনেক স্মার্ট ব্যক্তি, এই গ্রাহকদের সাথে খুব নিবিড়ভাবে কাজ করার জন্য ভাগ্যবান এবং আমি কেবল কয়েকজনকে চিহ্নিত করতে চাই যারা প্রকৃতপক্ষে পরিমাপ করতে সক্ষম হয়েছি এবং ডেটা ক্যাটালগ কীভাবে তাদের বিশ্লেষককে প্রভাবিত করেছে সে সম্পর্কে কথা বলতে চাই কর্মধারা. এবং সামনের দিকে সামান্য সংক্ষেপে থাকার জন্য, আমি ডেটা ক্যাটালগের আয়াতগুলির পূর্ববর্তী মধ্যস্থ সমাধানগুলি এবং সম্পর্কগুলি যেভাবে আমরা একসাথে রেখেছি সমাধানগুলি সম্পর্কে সত্যই চিন্তা করে, তার মধ্যে একটি যা আমরা পরিবর্তন দেখতে পাই তার মধ্যে একটি মনে করি, তা বিশ্লেষকদের থেকে শুরু করা to এবং পিছনে কাজ। বলতে গেলে, বিশ্লেষকদের উত্পাদনশীলতা সক্ষম করার বিষয়ে এটি তৈরি করা যাক। কেবল মেনে চলার বিপরীতে, বা যেমন কেবল একটি জায় রয়েছে তার বিপরীতে, আমরা এমন একটি সরঞ্জাম তৈরি করছি যা বিশ্লেষকদের আরও উত্পাদনশীল করে তোলে।

সুতরাং, যখন আমি আর্থিক পরিষেবা সংস্থার স্কয়ারের একজন ডেটা বিজ্ঞানীর সাথে কথা বলি, তখন একজন ব্যক্তি নিক ছিলেন, যে আমাদের কীভাবে তার সম্পর্কে বলছিলেন, তিনি রিপোর্ট শুরু করার জন্য সঠিক ডেটা সেট করতে কয়েক ঘন্টা সময় নিতেন, এখন তিনি পারেন মার্কেট শেয়ারে অনুসন্ধান ব্যবহার করে কয়েক সেকেন্ডের মধ্যে এটি করুন, আমরা তাদের সিটিওর সাথে কথা বললাম যারা তার বিশ্লেষক যারা স্কয়ার ব্যবহার করছে তাদের কাছে টেনেছিল, আমাকে ক্ষমা করে দিচ্ছিল, অ্যালেনেশন ব্যবহার করছিল, তাদের কী কী উপকারিতা দেখেছিল তা খুঁজে বের করার জন্য এবং তারা একটি 50 রিপোর্ট করেছিলেন শতাংশ উত্পাদনশীলতা বৃদ্ধি, এবং যে, বিশ্বের শীর্ষ খুচরা ব্যবসায়ীদের মধ্যে একটি, ইবে, তারা প্রায় এক হাজারেরও বেশি লোক পেয়েছেন যারা নিয়মিতভাবে এসকিউএল বিশ্লেষণ করে চলেছেন, এবং আমি দেবের সাথে বেশ নিবিড়ভাবে কাজ করেছি সেখানে, প্রকল্পটি কে তাদের ডেটা টুলস টিমের ম্যানেজার এবং তিনি দেখতে পেলেন যে কোয়েরিয়াররা যখন অ্যালিশন গ্রহণ করে, একটি ক্যাটালগ গ্রহণ করে, তখন তারা ডাটাবেসের বিরুদ্ধে নতুন অনুসন্ধান লেখার গতি দ্বিগুণ দেখছে।

সুতরাং এটি প্রকৃত ফলাফল, এই লোকেরা প্রকৃতপক্ষে তাদের সংস্থায় ক্যাটালগ প্রয়োগ করছে এবং সেটআপ পেতে যা লাগে তা আমি আপনাকে নিতে চাই। কীভাবে কোনও সংস্থায় একটি ক্যাটালগ প্রতিষ্ঠিত হয় এবং সম্ভবত সবচেয়ে গুরুত্বপূর্ণ কথাটি হ'ল এটির অনেকগুলি স্বয়ংক্রিয়ভাবে ঘটে থাকে, তাই ডেজ সিস্টেমগুলি সম্পর্কে কথা বলেছিল, সিস্টেমগুলি সম্পর্কে শিখছে এবং এটি আধুনিক ডেটা ক্যাটালগ ঠিক ঠিক তাই করে। সুতরাং তারা তাদের ডেটা সেন্টারে অલેশন ইনস্টল করে এবং তারপরে তারা এটিকে তাদের ডেটা পরিবেশে মেটাডেটার বিভিন্ন উত্সের সাথে সংযুক্ত করে। আমি ডাটাবেস এবং বিআই সরঞ্জামগুলিতে কিছুটা ফোকাস করব - এই দুটি থেকে আমরা প্রযুক্তিগত মেটাডেটা বের করতে যাচ্ছি, মূলত যা বিদ্যমান তা সম্পর্কে। ঠিক আছে, তাই কি টেবিল? কি রিপোর্ট? রিপোর্ট সংজ্ঞা কি? সুতরাং তারা প্রযুক্তিগত মেটাডেটা আহরণ করে এবং সেই সিস্টেমগুলির অভ্যন্তরে প্রতিটি বস্তুর জন্য একটি ক্যাটালগ পৃষ্ঠা স্বয়ংক্রিয়ভাবে তৈরি হয় এবং তারপরে, তারা সেই প্রযুক্তিগত মেটাডেটার উপরেও এক্সট্রাক্ট করে এবং স্তরটি রাখে, তারা ব্যবহারের ডেটা উপরে রাখে। এটি মূলত ডাটাবেস থেকে ক্যোয়ারী লগগুলি পড়ে এবং এটি তথ্যের সত্যই আকর্ষণীয় উত্স। সুতরাং, যখনই কোনও বিশ্লেষক কোনও কোয়েরি লিখেছেন, যখনই কোনও রিপোর্টিং সরঞ্জাম, এটি বাড়ির বড় কিনা বা বালুচর থেকে বাইরে, ড্যাশবোর্ড আপডেট করার জন্য কোনও রিপোর্টিং সরঞ্জাম কোনও ক্যুরি চালায় কিনা, যখন কোনও অ্যাপ্লিকেশন কাজ করার জন্য ডেটা toোকানোর জন্য কোনও কোয়েরি চালায় একটি ডেটা সেট - এই সমস্ত জিনিস ডাটাবেস ক্যোয়ারী লগগুলিতে বন্দী। আপনার কোনও ক্যাটালগ আছে বা না, সেগুলি ডাটাবেসের সাহায্যে ক্যোয়ারী লগে ধরা পড়ে। ডেটা ক্যাটালগ কী করতে পারে এবং বিশেষত অ্যালেনের ক্যাটালগ কী করতে পারে, সেই লগগুলি পড়তে হয়, তার ভিতরে প্রশ্নগুলি জিজ্ঞাসা করে এবং সেই লগগুলির উপর ভিত্তি করে একটি সত্যই আকর্ষণীয় ব্যবহারের গ্রাফ তৈরি করে, এবং আমরা ভবিষ্যতের ব্যবহারকারীদের অবহিত করার জন্য এটি খেলায় নিয়ে আসি তথ্য ব্যবহারের অতীত ব্যবহারকারীরা কীভাবে এটি ব্যবহার করেছে of

সুতরাং, আমরা সেই সমস্ত জ্ঞানকে একটি ক্যাটালগের সাথে একত্রে এনেছি, এবং এটিকে সত্যিকারের ধরণের করার জন্য, এটি ইতিমধ্যে গ্রাহকদের দ্বারা নিযুক্ত করা একীকরণগুলি, সুতরাং, আমরা ওরাকল, টেরাদাতা, রেডশিফ্ট, ভার্টিকা এবং আরও অনেক কিছু দেখেছি রিলেশনাল ডাটাবেস হ্যাডোপ বিশ্বে হ্যাডোপ, ধরণের সম্পর্কযুক্ত, মেটা স্টোরের উপর হ্যাডোপ ফাইল সিস্টেমের শীর্ষে এসপিএল রয়েছে, ইম্পালা, তেজ, প্রেস্টো এবং হিভ, আমরা আল্টিস্কেলের মতো ক্লাউড হ্যাডোপ প্রাইভেট সরবরাহকারীদের সাথে সাফল্যও দেখেছি এবং আমরা এছাড়াও টেবিলের সার্ভার, মাইক্রোস্ট্রেজি সার্ভার এবং ড্যাশবোর্ডগুলিকে সূচী করার পাশাপাশি প্লটলির মতো ডেটা সায়েন্স চার্টিং সরঞ্জামগুলির সাথে সংহত করতে সক্ষম হয়েছে।

সুতরাং, আমরা এই সমস্ত সিস্টেমে সংযোগ স্থাপন করেছি, আমরা এই সিস্টেমগুলি গ্রাহকদের সাথে সংযুক্ত করেছি, আমরা প্রযুক্তিগত মেটাডেটা টেনেছি, আমরা ব্যবহারের ডেটা টেনেছি, এবং আমরা স্বয়ংক্রিয়ভাবে ডেটা ক্যাটালগকে প্রাইমড করেছি, তবে সেই পথে আমরা জ্ঞানকে কেন্দ্রিয় করুন, তবে কেবলমাত্র বিষয়গুলিকে একটি ডেটা ক্যাটালগের মধ্যে কেন্দ্রীভূত করা, কেবলমাত্র সেইগুলিই সত্যিই অসাধারণ উত্পাদনশীলতা বৃদ্ধির জোগান দেয় না যা আমরা ইবে, স্কয়ার এবং মার্কেট শেয়ারের সাথে কথা বলেছি। এটি করার জন্য, বিশ্লেষকদের কাছে জ্ঞান বিতরণের বিষয়ে আমাদের যেভাবে চিন্তাভাবনা করা উচিত তা আসলে আমাদের পরিবর্তন করতে হবে। তারা এর জন্য প্রস্তুত করতে যে প্রশ্ন জিজ্ঞাসা করছে তার মধ্যে একটি ছিল, "ক্যাটালগটি আসলে কোনও বিশ্লেষকের কর্মপ্রবাহকে কীভাবে প্রভাবিত করে?"

আমরা সারা দিনই এটির জন্য চিন্তা করে কাটিয়েছি এবং চিন্তাভাবনার এই পরিবর্তন সম্পর্কে কথা বলার জন্য, একটি ধাক্কা শ্লোকটির একটি টান মডেল, আমি কীন্ডল নেওয়ার আগে এবং পড়ার আগে পৃথিবী কেমন ছিল তার একটি দ্রুত সাদৃশ্য তৈরি করতে চেয়েছিলাম। সুতরাং এটির কিছু অভিজ্ঞতা কেবল আপনার কাছে থাকতে পারে, যখন আপনি কোনও শারীরিক বই পড়ছেন, আপনি একটি শব্দ জুড়ে এসেছেন, আপনি নিশ্চিত নন যে আপনি এই শব্দের সংজ্ঞাটি খুব ভাল জানেন, আপনি সম্ভবত এটি প্রসঙ্গ থেকে অনুমান করতে পারেন, সম্ভবত এটি নয় যে আপনি আপনি পালঙ্ক থেকে উঠে, আপনার বুক শেলফটিতে হাঁটবেন, আপনার অভিধানটি সন্ধান করুন, এটি ধুলাবালি করবেন এবং শব্দের বর্ণানুক্রমিক তালিকার সঠিক জায়গায় ফিরে যাবে তা নিশ্চিত করার জন্য, হ্যাঁ আপনার ঠিক সেই সংজ্ঞা ছিল, এবং আপনি জানেন এটি এর সূক্ষ্মতা। সুতরাং এটি আসলে ঘটে না। সুতরাং আপনি একটি কিন্ডল অ্যাপ কিনেছেন এবং আপনি সেখানে বই পড়া শুরু করেন এবং আপনি এমন একটি শব্দ দেখতে পান যা সম্পর্কে আপনি নিশ্চিত নন এবং আপনি শব্দটি স্পর্শ করেছেন। হঠাৎ একই স্ক্রিনে হ'ল শব্দের অভিধান সংজ্ঞা হ'ল তার সমস্ত ঘনত্বের সাথে, বিভিন্ন উদাহরণ ব্যবহার করে এবং আপনি কিছুটা সোয়াইপ করেন এবং আপনি সেই বিষয়ে একটি উইকিপিডিয়া নিবন্ধ পেয়েছেন, আপনি আবার সোয়াইপ করেছেন, আপনি একটি অনুবাদ সরঞ্জাম পেয়েছেন যা এটি অন্য ভাষায় বা অন্য ভাষাগুলিতে অনুবাদ করতে পারে এবং হঠাৎই আপনার ভাষা সম্পর্কে জ্ঞানটি এত বেশি সমৃদ্ধ হয় এবং আপনাকে যাওয়ার সময়টির তুলনায় এটি একটি বিস্ময়কর সংখ্যার বার ঘটে and নিজের জন্য এই উত্স টানুন।

এবং তাই আমি কী যুক্তি দিতে চলেছি, তা হ'ল কোনও বিশ্লেষকটির ওয়ার্কফ্লো এবং কোনও বিশ্লেষক যেভাবে ডেটা ডকুমেন্টেশনের সাথে ডিল করবেন, আসলে এটি খুব সামঞ্জস্যপূর্ণ যে কোনও পাঠক অভিধানের সাথে কীভাবে ইন্টারেক্ট করবেন, কোনও শারীরিক কিনা, তবে কিন্ডল, এবং তাই আমরা কীভাবে আমরা যেভাবে এই উত্পাদনশীলতা বৃদ্ধিকে দেখেছি, তা ক্যাটালগকে ছড়িয়ে দিচ্ছে না, বরং এটি বিশ্লেষকের কর্মপ্রবাহের সাথে সংযুক্ত করছে, এবং তাই তারা আমাকে এখানে একটি ডেমো করতে বলেছে, এবং আমি চাই যে এই উপস্থাপনা কেন্দ্রবিন্দু। তবে আমি কেবল ডেমোর জন্য প্রসঙ্গ সেট আপ করতে চাই। ব্যবহারকারীদের যখন প্রয়োজন হয় যখন আমরা তথ্য জ্ঞানের দিকে ঠেলে দেওয়ার বিষয়ে চিন্তা করি, তখন আমরা এটি করার জন্য সঠিক জায়গাটি মনে করি, তারা যেখানে তাদের সময় ব্যয় করে এবং যেখানে তারা বিশ্লেষণ করছেন, এটি একটি এসকিউএল ক্যোয়ারী সরঞ্জাম। এমন একটি জায়গা যেখানে আপনি এসকিউএল কোয়েরি লিখেন এবং চালান। এবং তাই আমরা একটি তৈরি করেছি এবং আমরা এটি তৈরি করেছি এবং এটি অন্যান্য ক্যোয়ারী সরঞ্জামগুলির থেকে সত্য যা আলাদা তা হ'ল ডেটা ক্যাটালগের সাথে গভীর সংহতকরণ।

সুতরাং আমাদের ক্যোয়ারী সরঞ্জামটির নাম অলেশন কমপোজ। এটি একটি ওয়েব-ভিত্তিক ক্যোয়ারী সরঞ্জাম এবং আমি এটি আপনাকে এক সেকেন্ডে দেখাব। একটি ওয়েব-ভিত্তিক ক্যোয়ারী সরঞ্জাম যা আপনি পূর্ববর্তী স্লাইডে দেখেছেন এমন সমস্ত ডাটাবেস লোগো জুড়ে কাজ করে। আমি বিশেষ করে ডেমো করার চেষ্টা করতে যাচ্ছি ক্যাটালগ তথ্য ব্যবহারকারীদের কাছে আসার উপায়। এবং এটি এই তিনটি বিভিন্ন উপায়ে এটি করে। এটি হস্তক্ষেপের মাধ্যমে এটি সম্পাদন করে এবং সেখানেই ডেটা গভর্নর, বা ডেটা স্টুয়ার্ড, বা কোনও উপায়ে প্রশাসক বা ম্যানেজার, এমন কেউ বলতে পারেন, "আমি একটি নোট বা সতর্কতার সাথে ইন্টারজেক্ট সাজিয়ে রাখতে চাই কর্মপ্রবাহ এবং এটি সঠিক সময়ে ব্যবহারকারীদের কাছে পৌঁছে দেওয়ার বিষয়টি নিশ্চিত করুন So "সুতরাং এটি হস্তক্ষেপ এবং আমরা এটি প্রদর্শন করব।

স্মার্ট পরামর্শগুলি এমন একটি উপায় যেখানে সরঞ্জামটি কোনও ক্যোয়ারির লেখার সাথে সাথে বিষয়বস্তু এবং কোনও অংশের পরামর্শ দেওয়ার জন্য ক্যাটালগটির সমস্ত সম্মিলিত জ্ঞান ব্যবহার করে। সর্বাধিক গুরুত্বপূর্ণ বিষয়টি এটি হ'ল এটি করার জন্য ক্যোয়ারী লগের সত্যিকার অর্থে সুবিধা গ্রহণ করে, ব্যবহারের ভিত্তিতে জিনিসগুলি পরামর্শ দেওয়ার জন্য এবং আগে লেখা থাকা প্রশ্নেরও অংশ খুঁজে পেতে পারে। এবং আমরা এটি প্রদর্শন করব।

এবং তারপর প্রাকদর্শন। পূর্বরূপগুলি হ'ল, আপনি যখন কোনও সামগ্রীর নামে টাইপ করছেন, আমরা আপনাকে ক্যাটালগটি যা জানায় তা বা কমপক্ষে ক্যাটালগটি সেই অবজেক্ট সম্পর্কে জেনে থাকা সর্বাধিক প্রাসঙ্গিক জিনিসগুলি দেখায়। সুতরাং ডেটার নমুনাগুলি, যারা এর আগে এটি ব্যবহার করেছিল, সেই বস্তুর যৌক্তিক নাম এবং বিবরণ, আপনার কাছে এটি জিজ্ঞাসা না করেই লেখার সময় সমস্ত আপনার কাছে আসে।

সুতরাং আর কোনও কথা না বলেই আমি ডেমোতে যাব এবং আমি এটি প্রদর্শিত হওয়ার জন্য অপেক্ষা করতে যাচ্ছি। আমি আপনাকে এখানে যা দেখাতে চলেছি তা হল ক্যোয়ারী সরঞ্জাম। এটি একটি ডেডিকেটেড এসকিউএল রাইটিং ইন্টারফেস। এটি একটি নির্দিষ্ট অর্থে ক্যাটালগ থেকে পৃথক ইন্টারফেস। ডেজ এবং রবিন ক্যাটালগ সম্পর্কে কথা বলেছিলেন এবং আমি কীভাবে সরাসরি কর্মক্ষেত্রের পরিষেবায় এনেছি তা সরাসরি ক্যাটালগ ইন্টারফেসের উপরে কিছুটা ঝাঁপিয়ে পড়েছি।

আমি এখানে একটি জায়গা দেখছি যেখানে আমি এসকিউএল টাইপ করতে পারি, এবং নীচে আপনি দেখতে পাবেন যে আমরা যে ধরণের বিষয়গুলি উল্লেখ করছি তার সম্পর্কে আমাদের কিছু তথ্য উপস্থিত রয়েছে। সুতরাং আমি কেবল একটি কোয়েরি টাইপ করা শুরু করতে যাচ্ছি এবং আমি এই হস্তক্ষেপগুলির একটিতে পৌঁছালে আমি থামিয়ে দেব। সুতরাং আমি "নির্বাচন করুন" টাইপ করব এবং আমি বছরটি চাই। আমি নাম চাই এবং আমি কিছু বেতন তথ্য সন্ধান করতে যাচ্ছি। সুতরাং এটি একটি শিক্ষা তথ্য সেট। এটিতে উচ্চতর শিক্ষাপ্রতিষ্ঠান সম্পর্কিত তথ্য রয়েছে এবং আমি এই সারণীর মধ্যে একটিতে গড় অনুষদ বেতনের দিকে তাকিয়ে আছি।

সুতরাং আমি আসলে "বেতন" শব্দটি টাইপ করেছি It's এটি কলামের নামে ঠিক সেভাবে নয়। আমরা পরামর্শগুলি করার জন্য যৌক্তিক মেটাডেটা এবং শারীরিক মেটাডেটা উভয়ই ব্যবহার করি। এবং আমি এখানে যেটি উল্লেখ করতে চাই তা হল এই হলুদ বাক্স যা এখানে উপস্থিত হচ্ছে। এটি বলে যে এই কলামটিতে একটি সতর্কতা রয়েছে। আমি এটি সন্ধান করতে যাইনি, এই ডেটা কীভাবে সঠিকভাবে ব্যবহার করতে হয় সে বিষয়ে আমি কোনও ক্লাস নিইনি। এটি আমার কাছে এসেছিল এবং এটি একটি গোপনীয়তা চুক্তির বিষয়ে একটি সতর্কতা যা এই ডেটার সাথে করা উচিত। সুতরাং কিছু প্রকাশের নিয়ম আছে। যদি আমি এই ডেটাটি জিজ্ঞাসা করতে যাচ্ছি, আমি এই টেবিলটি থেকে ডেটা বের করতে যাচ্ছি, আমি কীভাবে এটি প্রকাশ করব সে সম্পর্কে আমার যত্নবান হওয়া উচিত। সুতরাং আপনার এখানে একটি প্রশাসনের নীতি আছে। কিছু আনুগত্যের চ্যালেঞ্জ রয়েছে যা এই নীতিটি মেনে চলা এত সহজ করে তোলে যখন আমি যখন ডেটা দেখছি তখন এটি সম্পর্কে জানতাম।

সুতরাং আমি পেয়েছি যে আমার কাছে আসছে, এবং তারপর আমি টিউশনিও দেখতে যাচ্ছি। এবং এখানে আমরা প্রাকদর্শনগুলি খেলতে আসা দেখতে পাচ্ছি। এই টিউশনির কলামে, আমি দেখছি - প্রতিষ্ঠানের টেবিলে একটি টিউশন কলাম রয়েছে, এবং আমি এর একটি প্রোফাইল দেখছি। অ্যালিশন টেবিলগুলি থেকে নমুনা ডেটা টেনে নিয়ে যায় এবং এই ক্ষেত্রে এটি আমাকে আকর্ষণীয় কিছু দেখাচ্ছে। এটি আমাকে মানগুলির বন্টন দেখায় এবং এটি আমাকে দেখায় যে শূন্যের মানটি নমুনায় 45 গুণ এবং অন্য কোনও মানের চেয়ে বেশি দেখা গেছে। সুতরাং আমি কিছু অনুভূতি পেয়েছি যে আমরা কিছু তথ্য অনুপস্থিত হতে পারে।

যদি আমি একজন উন্নত বিশ্লেষক হন তবে এটি ইতিমধ্যে আমার কর্মপ্রবাহের অংশ হতে পারে। বিশেষত যদি আমি একটি বিশেষভাবে সাবধানী হয়ে থাকি, যেখানে আমি সময়ের আগে অনেকগুলি প্রোফাইলিং কোয়েরি করতাম। যখনই আমি কোনও নতুন টুকরো কাছে পৌঁছাচ্ছি, আমি সর্বদা আমাদের ডেটা কভারেজটি কী তা নিয়ে চিন্তা করি। তবে আমি যদি ডেটা বিশ্লেষণে নতুন হয়ে থাকি, আমি যদি এই ডেটা সেটে নতুন হয়ে থাকি তবে আমি ধরে নিতে পারি যে যদি কোনও কলাম থাকে তবে তা সর্বদা পূরণ হয়। অথবা আমি ধরে নিতে পারি যে এটি যদি পূরণ না করা হয় তবে এটি শূন্য নয়, এটি নাল বা এরকম কিছু। তবে এই ক্ষেত্রে, আমাদের কাছে অনেকগুলি শূন্য রয়েছে এবং আমি যদি গড় গড়ে থাকি তবে তারা সম্ভবত ভুল হবে, যদি আমি কেবল ধরে নিই যে সেই শূন্যগুলি ডেটা হারিয়ে যাওয়ার পরিবর্তে আসলে শূন্য ছিল।

তবে এলেশন, আপনার কার্যপ্রবাহের মধ্যে এই পূর্বরূপটি আনার মাধ্যমে, ধরণের আপনাকে এই তথ্যটি একবার দেখার জন্য অনুরোধ করে এবং এমনকি ধ্রুপদী বিশ্লেষককে এমনকি তথ্যের বিষয়ে এখানে লক্ষ্য করার মতো কিছু আছে তা দেখার সুযোগ দেয়। সুতরাং আমরা যে প্রাকদর্শন আছে।

পরবর্তী কাজটি আমি যাচ্ছি তা হ'ল আমি এই তথ্যটি কী টেবিলগুলি থেকে পেতে হবে তা সন্ধান করার চেষ্টা করতে যাচ্ছি। সুতরাং এখানে আমরা স্মার্ট পরামর্শ দেখুন। এটি সর্বদা চলেছে, তবে বিশেষত এখানে, আমি কিছুও টাইপ করি নি তবে এটি আমাকে পরামর্শ দিচ্ছে যে এই কোয়েরির জন্য আমি কোন টেবিলগুলি ব্যবহার করতে চাই। এবং এটি সম্পর্কে সর্বাধিক গুরুত্বপূর্ণ বিষয়টি হ'ল এটি ব্যবহারের পরিসংখ্যানগুলির সুবিধা নেয়। উদাহরণস্বরূপ, যেমন ইবে, এমন একটি পরিবেশে যেখানে আপনার একক ডাটাবেসে কয়েক হাজার টেবিল রয়েছে, এমন একটি সরঞ্জাম রয়েছে যা খড় থেকে গমের ধাক্কা মারতে পারে এবং ব্যবহারের পরিসংখ্যানগুলি ব্যবহার করে, এটি তৈরির জন্য সত্যই গুরুত্বপূর্ণ পরামর্শ কিছু মূল্যবান।

সুতরাং এটি এই টেবিল পরামর্শ দিতে যাচ্ছে। আমি যখন পূর্বরূপ দেখি, আমরা আসলে আমার ক্যোয়ারীতে ইতিমধ্যে উল্লিখিত তিনটি কলাম হাইলাইট করি। সুতরাং আমি জানি যে এটি তিনটি পেয়েছে তবে এর নাম নেই। আমার নাম নেওয়া দরকার, তাই আমি একটি যোগদান করতে যাচ্ছি। আমি যখন একটি যোগদান করি, এখন আবার এই প্রিভিউগুলি আমার সন্ধানে সহায়তা করতে পারে, নামের সাথে টেবিলটি কোথায়। সুতরাং আমি দেখতে পাচ্ছি যে এটির একটি সুন্দর বিন্যাসিত, সঠিকরূপে বড় ধরণের নাম রয়েছে। প্রতিটি প্রতিষ্ঠানের নামের সাথে এটির একটি সারি রয়েছে বলে মনে হচ্ছে, তাই আমি এটি দখল করতে চলেছি, এবং এখন আমার একটি যোগদানের শর্ত প্রয়োজন।

এবং সুতরাং, এখানে অ্যালেক্স যা করছে তা আবার কোয়েরি লগগুলির দিকে ফিরে তাকাচ্ছে, আগের বার দেখেছিল যে এই দুটি সারণী যুক্ত হয়েছে এবং এতে যোগদানের বিভিন্ন উপায়ের পরামর্শ দিচ্ছে। আবারও কিছুটা হস্তক্ষেপ আছে। আমি যদি এর একটির দিকে নজর রাখি তবে এটি একটি সতর্কতা পেয়েছে যা আমাকে দেখায় যে এটি কেবল সামগ্রিক বিশ্লেষণের জন্যই ব্যবহার করা উচিত। যদি আপনি প্রতিষ্ঠানের মাধ্যমে প্রতিষ্ঠানের মাধ্যমে কিছু করার চেষ্টা করছেন তবে এটি সম্ভবত ভুল জিনিস তৈরি করবে। আপনি যদি বিশ্ববিদ্যালয়-স্তরের ডেটা চান তবে এই দুটি সারণিতে যোগদানের যথাযথ উপায় হিসাবে ওপিই আইডি সহ এইটিকে সমর্থন করা হয়। সুতরাং আমি এটি করি এবং এটি একটি সংক্ষিপ্ত ক্যোয়ারী, তবে আমি ডেটা কী তা সম্পর্কে কোনও অন্তর্দৃষ্টি না করেই আমার ক্যোয়ারীটি লিখেছি। আমি কখনই এই ডেটা সেটটির কোনও ইআর ডায়াগ্রামের দিকে নজর রাখিনি, তবে আমি ইতিমধ্যে এই ডেটা সম্পর্কে অনেক কিছু জানি কারণ প্রাসঙ্গিক তথ্য আমার কাছে আসছে।

সুতরাং এগুলি তিনটি উপায়ে যে কোনও ক্যাটালগ, ইন্টিগ্রেটেড ক্যোয়ারী সরঞ্জামের মাধ্যমে, আপনি ক্যোয়ারী লেখার সাথে সাথে সরাসরি ওয়ার্কফ্লোকে প্রভাবিত করে। ক্যাটালগের সাথে কোয়েরি সরঞ্জাম সংহত করার অন্য একটি সুবিধা হ'ল, যখন আমি আমার ক্যোয়ারী শেষ করি এবং আমি এটি সংরক্ষণ করি, তখন আমি "ইনস্টিটিউশন টিউশন এবং অনুষদ বেতন, " এর মতো একটি শিরোনাম রাখতে পারি এবং তারপরে আমার এখানে একটি বোতাম রয়েছে যে আমাকে কেবল ক্যাটালগে প্রকাশের অনুমতি দেয়। এই পিছনে খাওয়ানো আমার পক্ষে খুব সহজ হয়ে যায়। এমনকি যদি আমি এটি প্রকাশ না করি, এটি ক্যোয়ারী লগের অংশ হিসাবে ধরা পড়েছে, তবে আমি যখন এটি প্রকাশ করি তখন এটি বাস্তবে সেই অংশের অংশ হয়ে যায় যেখানে কেন্দ্রিয় স্থান যেখানে সমস্ত ডেটা জ্ঞান বাস করে।

সুতরাং আমি যদি অ্যালেনেশনের সমস্ত প্রশ্নের সন্ধানে ক্লিক করি তবে আমাকে নেওয়া হবে - এবং এখানে আপনি ক্যাটালগ ইন্টারফেসের আরও কিছু দেখতে পাবেন - আমাকে একটি উত্সর্গীকৃত ক্যোয়ারী অনুসন্ধানে নিয়ে যাওয়া হয়েছে যা আমাকে অনুসন্ধানগুলি অনুসন্ধান করার উপায় দেখায় পুরো সংস্থা। এবং আপনি দেখতে পাচ্ছেন যে আমার সদ্য প্রকাশিত ক্যোয়ারী শীর্ষে রয়েছে। এবং কেউ কেউ এখানে লক্ষ্য করতে পারেন, আমরা প্রশ্নগুলি ক্যাপচার করার সাথে সাথে আমরা লেখককেও ক্যাপচার করি, এবং আমরা লেখক এবং এই ডেটা অবজেক্ট হিসাবে আমার মধ্যে এই সম্পর্কটি স্থাপন করি যা সম্পর্কে আমি এখন কিছু জানি। এবং আমি এই ক্যোয়ারী এবং এই ডেটা অবজেক্টগুলির বিশেষজ্ঞ হিসাবে প্রতিষ্ঠিত হচ্ছি। লোকেরা যখন ডেটা সম্পর্কে জানার দরকার পড়ে তখন এটি সত্যিই সহায়ক, তারপরে তারা শিখতে সঠিক ব্যক্তির সন্ধান করতে পারেন। এবং যদি আমি ডেটাতে আসলে নতুন, আমি একজন উন্নত বিশ্লেষক কিনা - একজন উন্নত বিশ্লেষক হিসাবে, আমি এটি দেখতে এবং উদাহরণগুলির একটি গুচ্ছটি দেখতে পাব যা আমাকে নতুন ডেটা সেটে শুরু করতে পারে। যেহেতু কেউ এসকিউএল-এর সাথে সুপার বুদ্ধি বোধ না করতে পারে, আমি প্রাক-তৈরি ক্যোয়ারীগুলি খুঁজে পেতে পারি যা রিপোর্ট করতে পারে যে আমি এর সুবিধা নিতে পারি।

এখানে মিড ম্যাসেট স্কোর সম্পর্কে ফিল মাজনেটের একটি। এটিতে ক্লিক করুন এবং আমি নিজেই ক্যোয়ারির জন্য একটি ক্যাটালগ পৃষ্ঠা সাজিয়েছি। এটি এমন একটি নিবন্ধ সম্পর্কে কথা বলেছিল যা এই প্রশ্নের সন্ধান করে, তাতে আমার কীভাবে কীভাবে এটি ব্যবহার করতে হয় তা শিখতে চাইলে পড়ার জন্য কিছু ডকুমেন্টেশন রয়েছে। এবং আমি এটি রচনা বোতামে ক্লিক করে ক্যোয়ারী সরঞ্জামে খুলতে পারি এবং এটি সম্পাদনা না করেই আমি নিজেই এটি এখানে চালাতে পারি। এবং প্রকৃতপক্ষে, আপনি আমাদের লাইটওয়েট রিপোর্টিংয়ের ক্ষমতাগুলির কিছুটা দেখতে পাবেন, যেখানে আপনি যখন কোনও কোয়েরি লিখছেন, আপনি এটির মতো একটি টেম্পলেট ভেরিয়েবলটি ফেলে দিতে পারেন এবং এটি কোয়েরি ভিত্তিক একটি ফর্ম তৈরির সহজ উপায় তৈরি করে পরামিতি কয়েক।

ডেমো জন্য তাই আমি কি আছে। আমি স্লাইডগুলিতে ফিরে যেতে চলেছি। কেবল পুনরায় সংশোধন করার জন্য, আমরা দেখিয়েছিলাম যে কীভাবে কোনও প্রশাসক, একজন ডেটা গভর্নর, ক্যোয়ারী সরঞ্জামটিতে প্রদর্শিত অবজেক্টগুলিতে সতর্কতা রেখে কীভাবে হস্তক্ষেপ করতে পারে, কীভাবে অ্যালিশন স্মার্ট পরামর্শ দেওয়ার জন্য ডেটা অবজেক্টগুলির ব্যবহার সম্পর্কে তার জ্ঞান ব্যবহার করে, কীভাবে এটি নিয়ে আসে বিশ্লেষকরা যখন কোনও নির্দিষ্ট বস্তু স্পর্শ করছেন তখন তাদের কর্মপ্রবাহকে উন্নত করার জন্য প্রোফাইলিং এবং অন্যান্য টিপসগুলিতে এবং নতুন অনুসন্ধানগুলি যখন লেখা হয় তখন কীভাবে এই জাতীয় সমস্ত ফ্যাটগুলি ক্যাটালগটিতে ফিরে আসে।

স্পষ্টতই আমি সংস্থার হয়ে একজন মুখপাত্র। আমি ডেটা ক্যাটালগ সম্পর্কে ভাল জিনিস বলতে যাচ্ছি। আপনি যদি আমাদের কোনও গ্রাহকের কাছ থেকে সরাসরি শুনতে চান, সেফওয়েতে ক্রিস্টি অ্যালেন বিশ্লেষকদের একটি দল চালান এবং এমন এক সময় সম্পর্কে খুব দুর্দান্ত গল্প করেছেন যখন কোনও বিপণনের পরীক্ষা দেওয়ার জন্য যখন তাকে সত্যিই ঘড়িটি হারাতে হয়েছিল, এবং কীভাবে তার পুরোটা ছিল দলটি সহযোগিতা করার জন্য অ্যালেকশনকে ব্যবহার করেছিল এবং সেই প্রকল্পটিতে খুব দ্রুত ঘুরে দাঁড়ায়। সুতরাং আপনি এই বিটটি অনুসরণ করতে পারেন that গল্পটি যাচাই করার জন্য লিঙ্কটি, বা আপনি কীভাবে অ্যালেনশন আপনার সংস্থায় ডেটা ক্যাটালগ আনতে পারে সে সম্পর্কে যদি কিছুটা শুনতে চান তবে আমরা একটি ব্যক্তিগতকৃত ডেমো সেট আপ করতে পেরে খুশি। অনেক ধন্যবাদ.

রেবেকা জোজভিয়াক: ডেভিড, আপনাকে অনেক ধন্যবাদ। আমি নিশ্চিত যে শ্রোতাদের প্রশ্নোত্তর আমি ফিরিয়ে দেওয়ার আগে ডেজ এবং রবিনের কয়েকটি প্রশ্ন রয়েছে have দেজ, আপনি কি আগে যেতে চান?

ডেজ ব্লাঞ্চফিল্ড: একেবারে। আমি প্রকাশিত প্রশ্নগুলির এই ধারণার ধারণাটি পছন্দ করি এবং এটিকে আবার লেখার উত্সের সাথে সংযুক্ত করি। আমি ইন-হাউস অ্যাপ স্টোরের এই ধারণার দীর্ঘদিনের চ্যাম্পিয়ন হয়েছি এবং আমি মনে করি এটি এটি তৈরির জন্য সত্যই একটি দুর্দান্ত ভিত্তি।

আমি এমন কিছু সংস্থার মধ্যে কিছুটা অন্তর্দৃষ্টি পেয়েছিলাম যা আপনি এটি করতে দেখছেন, এবং কিছু সাফল্যের গল্প যা তারা অর্জন করতে পারে কেবল ডেটা আবিষ্কার করার জন্য আপনার সরঞ্জাম এবং প্ল্যাটফর্মের উপার্জনের নয় এই পুরো যাত্রার সাথে, তবে এরপরেও তাদের অভ্যন্তরীণ সাংস্কৃতিক এবং আচরণগত বৈশিষ্ট্যগুলিকে চারদিকে রূপান্তরিত করুন। এখন এই ধরণের ইন-হাউস অ্যাপ স্টোরটি থাকা যেখানে আপনি কেবল ডাউনলোড করুন বাছাই করুন, ধারণাটি যেখানে তারা কেবল এটি সন্ধান করতে পারে না, তবে তারা প্রকৃতপক্ষে সেই জ্ঞানের রক্ষকদের সাথে সামান্য সম্প্রদায়ের বিকাশ শুরু করতে পারে।

ডেভিড ক্রফোর্ড: হ্যাঁ, আমি মনে করি আমরা অবাক হয়েছি। আমরা অ্যাডটেকের প্রোডাক্ট ম্যানেজার হিসাবে আমার অতীত থেকে এবং আমরা যে সমস্ত গ্রাহকের সাথে কথা বলেছি, উভয়েরই ভাগ করে নেওয়ার প্রশ্নগুলিতে আমরা বিশ্বাস করি, তবে গ্রাহকরা যে প্রথম জিনিসগুলির মধ্যে এটি কতবার তা আমি কতবার আশ্চর্য হয়েছি? তারা অ্যালিশন থেকে বেরিয়ে আসে এমন মান হিসাবে কথা বলুন।

আমি ইনভয়েস টুগো নামে পরিচিত আমাদের এক গ্রাহকের কাছে ক্যোয়ারী সরঞ্জামটির কিছু ব্যবহারকারীর পরীক্ষা করছিলাম, এবং তাদের একটি প্রোডাক্ট ম্যানেজার ছিল যারা তুলনামূলকভাবে নতুন ছিল এবং তারা বলেছিল - তিনি আসলে আমাকে বলেছিলেন, ব্যবহারকারীর পরীক্ষার সময় অরক্ষিত, "আমি আসলে না এসএকিউএল লিখুন এটি ব্যতীত এলেশন দ্বারা সহজ করা হয়েছে। "এবং অবশ্যই, প্রধানমন্ত্রী হিসাবে আমি একধরণের যাই, " আপনার অর্থ কী, আমরা এটি কীভাবে করেছি? "এবং তিনি বলেছিলেন, " আচ্ছা, সত্যিই এটি ঠিক কারণ আমি লগ ইন করতে পারি এবং এই বিদ্যমান কোয়েরিগুলির সমস্তটি দেখতে পাচ্ছি ”" এসকিউএল দিয়ে একটি ফাঁকা স্লেট দিয়ে শুরু করা একটি অবিশ্বাস্যরকম কঠিন কাজ, তবে একটি বিদ্যমান ক্যোয়ারি পরিবর্তন করে যেখানে আপনি ফলাফলটি দেখতে পাচ্ছেন এবং আপনি বলতে পারেন, "ওহ, আমার কেবলমাত্র এই অতিরিক্ত কলামটি দরকার, " বা "আমাকে এটি নির্দিষ্ট তারিখের নির্দিষ্ট ফিল্টারে ফিল্টার করতে হবে", এটি করা খুব সহজ কাজ।

আমরা এই ধরনের আনুষঙ্গিক ভূমিকা দেখেছি, যেমন পণ্য পরিচালকগণ, বিক্রয় বিকল্পের লোকেরা, যারা বাছাই শুরু করেন এবং যারা সর্বদা এসকিউএল শিখতে চেয়েছিলেন এবং এই ক্যাটালগটি ব্যবহার করে এটিকে বেছে নিতে শুরু করেছিলেন। আমরা আরও দেখেছি যে প্রচুর সংস্থাগুলি ওপেন সোর্সকে সাজানোর চেষ্টা করেছে। আমি অভ্যন্তরীণভাবে এই ধরণের জিনিসগুলি তৈরি করার চেষ্টা করেছি, যেখানে তারা অনুসন্ধানগুলি ট্র্যাক করে এটি উপলব্ধ করে তোলে এবং তাদের কার্যকর করার জন্য কিছু ধরণের কৌশলগত চ্যালেঞ্জ রয়েছে। ফেসবুকের একটি অভ্যন্তরীণ সরঞ্জাম রয়েছে যা তারা হাইপাল বলেছিল যা এই ধরণের হাইভের উপর লেখা সমস্ত প্রশ্নকে ক্যাপচার করেছিল, তবে আপনি যা আবিষ্কার করেছেন তা হ'ল যদি আপনি সঠিকভাবে ব্যবহারকারীদের ধাক্কা না দেন তবে আপনি কেবল একটি বিষয় শেষ করবেন নির্বাচিত বিবৃতিগুলির খুব দীর্ঘ তালিকা। এবং একজন ব্যবহারকারী হিসাবে যে কোনও অনুসন্ধানটি আমার পক্ষে দরকারী কিনা তা আবিষ্কার করার চেষ্টা করছে বা যদি এটি কোনও ভাল হয় তবে আমি যদি কেবলমাত্র নির্বাচিত বিবৃতিগুলির একটি দীর্ঘ তালিকাগুলি সন্ধান করি তবে সেখানে মানটির চেয়ে বেশি কিছু পেতে আমার অনেক বেশি সময় লাগবে গোড়া থেকে শুরু. আমরা কীভাবে ক্যোয়ারী ক্যাটালগ তৈরি করব সে সম্পর্কে খুব যত্ন সহকারে চিন্তা করেছি যা সঠিক জিনিসটি সামনে এনে দেয় এবং এটি একটি কার্যকর উপায়ে সরবরাহ করে।

ডেজ ব্লাঞ্চফিল্ড: আমি মনে করি আমরা সকলেই এই যাত্রাটি খুব অল্প বয়স থেকেই, যৌবনের মধ্য দিয়ে, বিভিন্ন উপায়ে এগিয়ে চলেছি। একগুচ্ছ প্রযুক্তি। আমি, ব্যক্তিগতভাবে নিজেই, আমি কোডটি কাটা শিখার মতো, একই একই আসল জিনিসটি দিয়েছি through আমি ম্যাগাজিন এবং তারপরে বইয়ের মধ্য দিয়ে যেতাম, এবং আমি একটি নির্দিষ্ট স্তরে অধ্যয়ন করতাম এবং তারপরে আমার আসলে সেখানে আরও কিছু প্রশিক্ষণ এবং শিক্ষা নেওয়া দরকার ছিল।

তবে অজান্তেই আমি দেখতে পেলাম যে আমি যখন নিজের পড়াশোনা করা এবং পত্রিকা পড়া এবং বই পড়া এবং অন্যান্য লোকের প্রোগ্রামগুলি কাটা এবং এর উপর কোর্স করতে যাচ্ছিলাম তখনও আমি কোর্সগুলি করা থেকে যতটা শিখতে পেরেছিলাম ঠিক তেমনই অন্যদের সাথে কথা বলেছি কিছু অভিজ্ঞতা ছিল যারা। এবং আমি মনে করি এটি একটি আকর্ষণীয় আবিষ্কার যা এখন আপনি এটি তথ্য বিশ্লেষণে নিয়ে এসেছেন, আমরা মূলত একই সমান্তরাল দেখতে পাচ্ছি, মানুষ অবিচ্ছিন্নভাবে স্মার্ট।

অন্য যে জিনিসটি আমি সত্যিই বুঝতে আগ্রহী তা হ'ল খুব উচ্চ স্তরে, অনেক সংস্থা জিজ্ঞাসা করতে চলেছে, "এই পর্যায়ে পৌঁছাতে কতক্ষণ সময় লাগে?" লোকেরা যখন সময় পাবে তখন সময়সীমা অনুসারে কী হবে? আপনার প্ল্যাটফর্মটি ইনস্টল হয়েছে এবং তারা কি ধরণের সরঞ্জাম আবিষ্কার করতে শুরু করেছে? এই বিষয়টিকে দেখার জন্য লোকেরা কত তাড়াতাড়ি সত্যিই তাত্ক্ষণিক "এ-হা" মুহুর্তে রূপান্তরিত হয় যেখানে তারা বুঝতে পারে যে তারা আরওআইআই সম্পর্কে চিন্তাও করছে না কারণ সেখানে রয়েছে, কিন্তু এখন তারা বাস্তবে তাদের ব্যবসায়ের পদ্ধতি পরিবর্তন করছে're ? এবং তারা একটি হারিয়ে যাওয়া শিল্প আবিষ্কার করেছে এবং তারা আশা করে যে তারা এটির সাথে সত্যই মজা করতে পারে fun

ডেভিড ক্রফোর্ড: হ্যাঁ, আমি এটির উপরে কিছুটা স্পর্শ করতে পারি। আমি মনে করি যে আমরা যখন ইনস্টল হয়ে উঠি, সেই একটি দুর্দান্ত জিনিস, এমন একটি জিনিস যা লোকেরা ডাটা সিস্টেমগুলির সাথে সরাসরি সংযুক্ত একটি ক্যাটালগ সম্পর্কে পছন্দ করে, আপনি যে জায়গাটি পূরণ করতে হবে সেখানে আপনি ফাঁকা শুরু করেন না that পৃষ্ঠায় পৃষ্ঠা। এবং এটি পূর্ববর্তী ডেটা সমাধানগুলির একধরণের সত্য যেখানে আপনি একটি খালি সরঞ্জাম দিয়ে শুরু করতে চান এবং যে কোনও বিষয় আপনি নথি করতে চান তার জন্য আপনাকে একটি পৃষ্ঠা তৈরি করা শুরু করতে হবে।

যেহেতু আমরা মূলত সফ্টওয়্যারটি ইনস্টল করার কয়েক দিনের মধ্যে মেটাডেটা বের করে স্বয়ংক্রিয়ভাবে অনেকগুলি বিষয় নথিভুক্ত করি, সুতরাং আপনার ডেটা পরিবেশের একটি চিত্র থাকতে পারে যা সরঞ্জামটিতে কমপক্ষে 80 শতাংশ রয়েছে। এবং তারপরে আমি মনে করি লোকেরা এই সরঞ্জামটির সাথে প্রশ্নগুলি লিখতে শুরু করার সাথে সাথে এগুলি স্বয়ংক্রিয়ভাবে ক্যাটালগটিতে সঞ্চারিত হবে এবং তাই তারাও প্রদর্শন শুরু করবে।

আমি এটি জানাতে অতিরিক্ত উত্সাহী হতে চাই না। আমার মনে হয় একমাসে দুই সপ্তাহ খুব সুন্দর রক্ষণশীল অনুমান। একমাসে দুই সপ্তাহ, রক্ষণশীল অনুমান যে সত্যিই আপনি ঘুরে ফিরেছেন এবং অনুভব করছেন যে আপনি এর থেকে মূল্য অর্জন করছেন, যেমন আপনি কিছু জ্ঞান ভাগ করা শুরু করছেন এবং সেখানে গিয়ে আপনার ডেটা সম্পর্কে জিনিসগুলি সন্ধান করতে সক্ষম হচ্ছেন।

ডেজ ব্লাঞ্চফিল্ড: সত্যিই, আপনি যখন এটি সম্পর্কে ভাবেন তখন তা অবাক করে দেয়। আপনি কার্যকরভাবে সূচক এবং তালিকাভুক্তকরণের কয়েকটি বড় ডেটা প্ল্যাটফর্ম বাস্তবায়ন এবং স্থাপন এবং সঠিকভাবে দাঁড় করতে কখনও কখনও কয়েক বছর সময় নিতে পারে।

রবিন ব্লুরকে হস্তান্তর করার আগে আমি আপনার কাছে সর্বশেষ প্রশ্নটি সংযোগকারীদের। তাত্ক্ষণিকভাবে আমার দিকে ঝাঁপিয়ে পড়ে এমন একটি জিনিস হ'ল আপনি অবশ্যই পুরো চ্যালেঞ্জটি সাজানোর জন্য পেয়ে গেছেন। সুতরাং সত্যিই দ্রুত একটি দম্পতি প্রশ্ন আছে। এক, সংযোজকরা কত দ্রুত বাস্তবায়িত হয়? স্পষ্টতই আপনি সবচেয়ে বড় প্ল্যাটফর্ম, যেমন ওরাকলস এবং টেরাদাতাস এবং আরও এবং ডিবি 2 গুলি দিয়ে শুরু করেন। তবে আপনি কতটা নিয়মিত নতুন সংযোজকগুলির মধ্য দিয়ে আসতে দেখছেন এবং তারা কোন টার্নআরন্ড সময় নেয়? আমি তাদের জন্য একটি স্ট্যান্ডার্ড কাঠামো আছে ধারণা। এবং আপনি কত গভীর goোকা? উদাহরণস্বরূপ, বিশ্বের ওরাকলস এবং আইবিএম, এবং এমনকি টেরেডাটা এবং তারপরে দেরী ওপেন সোর্স প্ল্যাটফর্মগুলির আরও কিছু জনপ্রিয়। তারা কি আপনার সাথে সরাসরি কাজ করছে? আপনি নিজেরাই আবিষ্কার করছেন? এই প্ল্যাটফর্মগুলিতে আপনার কি অভ্যন্তরীণ জ্ঞান থাকতে হবে?

কোন সংযোজককে বাছাই করার মতো দেখতে কী লাগে এবং সেই সংযোগকারীরা সম্ভবত যা পারে তার সব আবিষ্কার করছে তা নিশ্চিত করার জন্য আপনি সেই অংশীদারিগুলির সাথে কতটা গভীরভাবে জড়িত?

ডেভিড ক্রফোর্ড: হ্যাঁ, অবশ্যই এটি একটি দুর্দান্ত প্রশ্ন। আমি মনে করি যে বেশিরভাগ অংশের জন্য আমরা সংযোজকগুলি বিকাশ করতে পারি। আমরা যখন কম বয়সে শুরু করি এবং গ্রাহক না থাকি তখন অবশ্যই আমরা তা করি। কোনও অভ্যন্তরীণ অ্যাক্সেসের প্রয়োজন ছাড়াই আমরা অবশ্যই সংযোগগুলি বিকাশ করতে পারি। আমরা কখনও ডেটা সিস্টেমগুলিতে কোনও বিশেষ অ্যাক্সেস পাই না যা সর্বজনীনভাবে উপলভ্য নয় এবং প্রায়শই কোনও অভ্যন্তরীণ তথ্যের প্রয়োজন ছাড়াই। আমরা নিজেরাই ডেটা সিস্টেম দ্বারা উপলব্ধ মেটাডেটা পরিষেবাদির সুবিধা গ্রহণ করি। প্রায়শই এগুলি বেশ জটিল এবং কাজ করা কঠিন হতে পারে। আমি বিশেষত এসকিউএল সার্ভারকে জানি, যেভাবে তারা কোয়েরি লগ পরিচালনা করে, সেখানে বিভিন্ন আলাদা কনফিগারেশন রয়েছে এবং এটি এমন কিছু যা আপনাকে সত্যই কাজ করতে হবে। এটি সঠিকভাবে সেট আপ করার জন্য আপনাকে সূক্ষ্ম সূচনা এবং নোবগুলি এবং ডায়ালগুলি বুঝতে হবে এবং এটি আমরা গ্রাহকদের সাথে কাজ করেছি যেহেতু আমরা এর আগেও বেশ কয়েকবার এটি করেছি times

তবে একটি নির্দিষ্ট পরিমাণে, এটি এমন ধরণের পাবলিক এপিআই যা উপলব্ধ বা সর্বজনীন ইন্টারফেস যা পাওয়া যায় যা আমরা লাভ করি। এগুলির বেশ কয়েকটি সংস্থার সাথে আমাদের অংশীদারিত্ব রয়েছে, এটি বেশিরভাগই শংসাপত্রের ভিত্তি, যাতে তারা স্বাচ্ছন্দ্য বোধ করে যে আমরা কাজ করি এবং তারা আমাদের পরীক্ষার জন্য সংস্থানও সরবরাহ করতে পারে, কখনও কখনও কোনও প্ল্যাটফর্মের কাছে প্রারম্ভিক অ্যাক্সেস হতে পারে তা নিশ্চিত করার জন্য আমরা নতুন সংস্করণে কাজ করি।

নতুন সংযোগ ঘুরিয়ে দেওয়ার জন্য, আমি আবার বলব, রক্ষণশীল হওয়ার চেষ্টা করে, চলুন ছয় সপ্তাহ থেকে দুই মাস বলি। এটি নির্ভর করে যে এটি কতটা অনুরূপ। সুতরাং পোস্টগ্রের কাজগুলির মধ্যে কিছু রেডশিফটের সাথে একই রকম দেখাচ্ছে। রেডশিফ্ট এবং ভার্টিকা তাদের বিশদ অনেক ভাগ করে। সুতরাং আমরা এই জিনিসগুলির সুবিধা নিতে পারি। তবে হ্যাঁ, ছয় সপ্তাহ থেকে দুই মাস পর্যন্ত ফর্সা হবে।

আমাদের এপিআইও রয়েছে, যাতে - আমরা অ্যালেকশনকে একটি মেটাডাটা প্ল্যাটফর্ম হিসাবেও ভাবি, সুতরাং যদি আমাদের কাছে পৌঁছানোর এবং স্বয়ংক্রিয়ভাবে দখল করার জন্য কিছু না পাওয়া যায় তবে এমন উপায় রয়েছে যে আপনি নিজেই সংযোজকটি লিখতে পারেন এবং এটি আমাদের সিস্টেমে ঠেলে দিতে পারেন যে সমস্ত কিছু এখনও একটি একক অনুসন্ধান ইঞ্জিনে কেন্দ্রীভূত হয়।

ডেজ ব্লাঞ্চফিল্ড: কল্পনাপ্রসূত। আমি ওটার তারিফ করি. সুতরাং আমরা এটি রবিনের হাতে হস্তান্তর করব, কারণ আমি নিশ্চিত যে তারও বেশিরভাগ প্রশ্ন রয়েছে। রবিন?

রেবেকা জোজভিয়াক: রবিন নিঃশব্দে থাকতে পারে।

ডেজ ব্লাঞ্চফিল্ড: আপনি নিজেকে নিঃশব্দে নিয়ে এসেছেন।

রবিন ব্লুর: হ্যাঁ, ঠিক আছে। দুঃখিত, আমি নিজেকে নিঃশব্দ করেছি। আপনি যখন এটি বাস্তবায়ন করেন, তখন প্রক্রিয়াটি কী? আমি এক ধরনের কৌতূহলী কারণ অনেক জায়গায় প্রচুর ডেটা থাকতে পারে। কাজটি কেমন হচ্ছে তাহলে?

ডেভিড ক্রফোর্ড: হ্যাঁ, অবশ্যই। আমরা প্রবেশ করি, প্রথমে এটি আমাদের সার্ভারের বিধান রয়েছে কিনা তা নিশ্চিত করার একটি আইটি প্রক্রিয়া ধরণের, নেটওয়ার্ক সংযোগ উপলব্ধ রয়েছে কিনা তা নিশ্চিত করে, বন্দরগুলি উন্মুক্ত থাকে যাতে আমরা প্রকৃতপক্ষে সিস্টেমগুলিতে অ্যাক্সেস করতে পারি। তারা প্রায়শই জানে যে তারা কোন সিস্টেমের সাথে শুরু করতে চায়। একটি ডেটা সিস্টেমের অভ্যন্তর জানা, যা - এবং কখনও কখনও আমরা আসলে তাদের সহায়তা করব। সিস্টেমে কে কী কী ব্যবহার করছেন এবং কতজন ব্যবহারকারী রয়েছেন তা বোঝার জন্য আমরা তাদের জিজ্ঞাসার লগটি প্রাথমিকভাবে দেখতে তাদের সহায়তা করব। সুতরাং আমরা কোথায় তা খুঁজে পেতে সহায়তা করব - তারা প্রায়শই, যদি তারা কয়েকশো বা হাজারো লোককে পেয়ে থাকে যেগুলি ডেটাবেসে লগইন করতে পারে তবে তারা আসলে জানে না যে তারা কোথায় লগ ইন করছে, তাই আমরা খুঁজে পেতে পারি ক্যোয়ারী লগ ইন করে যে আপনি অনন্য ব্যবহারকারীর কতগুলি অ্যাকাউন্টে বাস্তবে লগইন করেছেন এবং এক মাস বা একমাসে এখানে কোয়েরিগুলি চালাচ্ছেন।

সুতরাং আমরা এর সুবিধা নিতে পারি, তবে প্রায়শই কেবল সর্বাধিক গুরুত্বপূর্ণগুলিতে। আমরা সেগুলি সেট আপ করব এবং তারপরে একটি প্রক্রিয়া আছে, "আসুন অগ্রাধিকার দিন।" সমান্তরালভাবে ঘটতে পারে এমন অনেকগুলি ক্রিয়াকলাপ রয়েছে। আমি ক্যোয়ারী সরঞ্জামটি ব্যবহারের জন্য প্রশিক্ষণের দিকে মনোনিবেশ করব। লোকেরা একবার ক্যোয়ারী সরঞ্জামটি ব্যবহার শুরু করলে, সবার আগে, প্রচুর লোকেরা এই সত্যটি পছন্দ করে যে এটি তাদের বিভিন্ন সিস্টেমে কেবলমাত্র একটি একক ইন্টারফেস। তারা এটি সত্যও পছন্দ করে যে এটি ওয়েব ভিত্তিক, তারা না চাইলে কোনও ইনস্টল জড়িত না। সুরক্ষা দৃষ্টিকোণ থেকে, তারা কোনও কর্পোর আইটি নেটওয়ার্ক এবং ডেটা সেন্টারের যেখানে উত্পাদন ডেটা সূত্রগুলি বাস করে সেগুলির মধ্যে একটি নেটওয়ার্ক স্ট্যান্ডপয়েন্ট থেকে, একক প্রবেশ পয়েন্ট বাছাই করতে পছন্দ করে। এবং সুতরাং, তারা কোয়েশনের সরঞ্জাম হিসাবে অ্যালেক্স সেট আপ করবে এবং এই সমস্ত সিস্টেমের অ্যাক্সেসের পয়েন্ট হিসাবে রচনা লিখতে শুরু করবে।

এটি একবার হয়ে গেলে, আমরা প্রশিক্ষণের উপরে যে বিষয়টিতে মনোনিবেশ করি তা বোঝা যাচ্ছে যে ওয়েব-ভিত্তিক বা একটি সার্ভার-ভিত্তিক ক্যোয়ারী সরঞ্জামের মধ্যে কিছু আপনার পার্থক্য যা আপনার ডেস্কটপে রয়েছে, এবং ব্যবহারের কিছু সংক্ষিপ্তসার যে। এবং একই সাথে আমরা যা করার চেষ্টা করব তা হল সর্বাধিক মূল্যবান ডেটা সনাক্ত করা, আবার কোয়েরি লগ সম্পর্কিত তথ্যের সুযোগ নিয়ে এবং বলে, “আরে, আপনি ভিতরে যেতে পারেন এবং লোকেরা এগুলি বুঝতে সহায়তা করতে পারেন। আসুন এই টেবিলগুলিতে প্রতিনিধি প্রশ্নগুলি প্রকাশ করা শুরু করুন ”" খুব তাড়াতাড়ি খুব দ্রুত লোককে সজ্জিত করার সবচেয়ে কার্যকর উপায়। আসুন আপনার নিজের ক্যোয়ারির ইতিহাসটি দেখুন, এই বিষয়গুলি প্রকাশ করুন যাতে তারা প্রথম ক্যোয়ারী হিসাবে প্রদর্শিত হয়। লোকেরা যখন কোনও টেবিল পৃষ্ঠার দিকে নজর দেয়, তারা সেই টেবিলটিকে স্পর্শ করে এমন সমস্ত কোয়েরি দেখতে পারে এবং তারা সেখান থেকে শুরু করতে পারে। এবং তারপরে এই বিষয়গুলিতে শিরোনাম এবং বিবরণ যুক্ত করা শুরু করা যাক যাতে এটি সন্ধান এবং অনুসন্ধান করা সহজ হয়, যাতে আপনি এটি কীভাবে ব্যবহার করবেন সে সম্পর্কে কিছু সূক্ষ্মতা জানতে পারেন।

আমরা নিশ্চিত করেছি যে আমরা ক্যোয়ারী লগটিতে পুঙ্খানুপুঙ্খ নজর পেয়েছি যাতে আমরা বংশ বংশ তৈরি করতে পারি। আমরা যা করি তার মধ্যে একটি হ'ল আমরা কোয়েরি লগটি এমন সময়ে সন্ধান করি যখন ডেটা এক টেবিল থেকে অন্য টেবিলের দিকে চলে যায় এবং এটি আমাদের ডাটা সারণী সম্পর্কে প্রায়শই জিজ্ঞাসিত প্রশ্নগুলির একটি রাখার অনুমতি দেয়, এটি কোথা থেকে এসেছে? আমি কীভাবে এটি বিশ্বাস করব? এবং তাই আমরা যা প্রদর্শন করতে পারি তা কেবল এটি নয় যে এটি অন্যান্য টেবিলগুলি থেকে এসেছে, তবে কীভাবে এটি রূপান্তরিত হয়েছিল। আবার, এটি কোয়েরি লগ দ্বারা চালিত এক ধরণের।

সুতরাং আমরা নিশ্চিত করেছি যে এই জিনিসগুলি সেট আপ হয়েছে এবং আমরা সিস্টেমে বংশের সন্ধান পাচ্ছি এবং আমরা সর্বাধিক মূল্যবান এবং মেটাডেটের সর্বাধিক অতিভিত্তিক টুকরাগুলি লক্ষ্য করছি যা আমরা টেবিলের পৃষ্ঠাগুলিতে প্রতিষ্ঠিত হতে পারি, যাতে আপনি অনুসন্ধান যখন, আপনি দরকারী কিছু খুঁজে।

রবিন ব্লুর: ঠিক আছে। অন্যান্য প্রশ্ন - শ্রোতাদের কাছ থেকে প্রচুর প্রশ্ন রয়েছে, তাই আমি এখানে খুব বেশি সময় নিতে চাই না - অন্য প্রশ্নটি যে ধরণের মনে আসে, তা কেবল ব্যথার বিষয় points অনেকগুলি সফ্টওয়্যার কেনা কারণ লোকেরা একরকম বা অন্য কোনও উপায়ে, কোনও কিছুর সাথে অসুবিধা হচ্ছে। তাহলে সাধারণ ব্যথার বিন্দুটি কী যা মানুষকে অ্যালিশনে নিয়ে যায়?

ডেভিড ক্রফোর্ড: হ্যাঁ। আমি মনে করি সেখানে কয়েকটি রয়েছে তবে আমি মনে করি যে আমরা প্রায়শই শুনতে পাই তার মধ্যে একটি হ'ল অ্যানবোর্ডিং। "আমার নিকটবর্তী মেয়াদে 10, 20, 30 জন লোক নিয়োগ করা দরকার যারা এই ডেটা থেকে নতুন অন্তর্দৃষ্টি তৈরি করতে চলেছে, তারা কীভাবে গতিতে উঠবে?" সুতরাং বিশ্লেষক জাহাজে চলাচল এমন কিছু যা আমরা অবশ্যই করছি সাজসরঁজাম. এছাড়াও সিনিয়র বিশ্লেষকদের তথ্য সম্পর্কে অন্যান্য লোকের প্রশ্নের উত্তর দেওয়ার জন্য তাদের সমস্ত সময় ব্যয় করা থেকে মুক্তি পেয়েছে। এটিও খুব ঘন ঘন একটি। এবং এই দুটিই মূলত শিক্ষার সমস্যা।

এবং তারপরে আমি আর একটি জায়গা বলব যা আমরা লোকজনকে অ্যালিশন অবলম্বন করতে দেখি যখন তারা কারও সাথে কাজ করার জন্য একটি নতুন ডেটা পরিবেশ স্থাপন করতে চায় people লোকেরা সুবিধা পেতে তারা অভ্যন্তরীণভাবে এই বিজ্ঞাপন এবং বাজারজাত করতে চায়। তারপরে অ্যালিশনটিকে সেই নতুন বিশ্লেষণাত্মক পরিবেশের সম্মুখ-প্রান্ত তৈরি করা খুব আকর্ষণীয়। এটি ডকুমেন্টেশন পেয়েছে, এটির একটি একক পয়েন্ট পরিচয় পেয়েছে - সিস্টেমে অ্যাক্সেসের একক পয়েন্ট, এবং তাই এটি অন্য একটি জায়গা যেখানে লোকেরা আমাদের কাছে আসবে।

রবিন ব্লুর: ঠিক আছে, আমি আপনাকে রেবেকার হাতে দেব কারণ শ্রোতা আপনার কাছে যাওয়ার চেষ্টা করছে।

রেবেকা জোজভিয়াক: হ্যাঁ, আমাদের এখানে দর্শকদের কাছে অনেক ভাল প্রশ্ন রয়েছে। এবং ডেভিড, এইটি আপনাকে বিশেষভাবে প্রকাশিত হয়েছিল। এটি কারওর কাছ থেকে যিনি স্পষ্টতই লোকজনের সাথে খারাপ ব্যবহারের প্রশ্নগুলির সাথে কিছু অভিজ্ঞতা রেখেছেন এবং তিনি ধরণের বলেছিলেন যে আমরা ব্যবহারকারীদের যত বেশি ক্ষমতায়িত করি, গণনা সংস্থার দায়বদ্ধ ব্যবহার পরিচালনা করা তত বেশি কঠিন। সুতরাং আপনি কি বিভ্রান্ত তবে সাধারণ জিজ্ঞাসা বাক্যাংশের প্রচারের বিরুদ্ধে রক্ষা করতে পারেন?

ডেভিড ক্রফোর্ড: হ্যাঁ, আমি এই প্রশ্নটি দেখছি। এটি একটি দুর্দান্ত প্রশ্ন - একটি আমরা প্রায়শই প্রায়শই পাই get আমি আগের সংস্থাগুলিতে নিজেই এই ব্যথাটি দেখেছি, যেখানে আপনার ব্যবহারকারীদের প্রশিক্ষণ দেওয়া দরকার। উদাহরণস্বরূপ, "এটি একটি লগ টেবিল, এটি লগগুলি বছরের পর বছর ধরে ফিরে আসবে। আপনি যদি এই টেবিলটিতে একটি কোয়েরি লিখতে চলেছেন তবে আপনাকে অবশ্যই তারিখের মধ্যে সীমাবদ্ধ করতে হবে ”" সুতরাং, উদাহরণস্বরূপ, এটি এমন একটি প্রশিক্ষণ যা আমি পূর্ববর্তী সংস্থায় গিয়েছিলাম ডেটাবেস অ্যাক্সেস দেওয়ার আগে।

আমাদের কয়েকটি উপায় রয়েছে যা আমরা এটির সমাধান করার চেষ্টা করি। আমি বলব যে আমি মনে করি ক্যোয়ারী লগ ডেটা এটির জন্য সত্যই অনন্য মূল্যবান। এটি কোয়েরি পরিকল্পনাকারীর সাথে ডাটাবেস অভ্যন্তরীণভাবে কী করে তার বিপরীতে আরও একটি অন্তর্দৃষ্টি দেয়। এবং আমরা যা করি, সেগুলির মধ্যে একটি হ'ল - আমি যে ম্যানুয়াল হস্তক্ষেপগুলি দেখিয়েছি তা আমাদের আছে এবং এটি দরকারী, তাই না? সুতরাং একটি বিশেষ যোগদানের জন্য, উদাহরণস্বরূপ, আপনি বলতে পারেন, "আসুন এটি হ্রাস করুন।" এটি স্মার্ট পরামর্শে প্রদর্শিত হলে এটিতে একটি বড় লাল পতাকা থাকবে। তাই এটি মানুষের কাছে যাওয়ার চেষ্টা করার একটি উপায়।

আর একটি জিনিস যা আমরা করি তা হ'ল এক্সিকিউশন-সময় হস্তক্ষেপে স্বয়ংক্রিয়। এটি দেখার জন্য এটি চালানোর আগে এটি আসলে পার্স গাছটি ব্যবহার করবে, এটিতে কোনও নির্দিষ্ট ফিল্টার বা অন্যান্য জিনিস রয়েছে যা আমরা সেখানেও করি। তবে সবচেয়ে মূল্যবান একটি এবং ব্যাখ্যা করার সবচেয়ে সহজ একটি এটির মধ্যে একটি ফিল্টার অন্তর্ভুক্ত রয়েছে? এই উদাহরণটি যেমন আমি সবেমাত্র দিয়েছি, এই লগ টেবিলটি, যদি আপনি এটি অনুসন্ধান করতে যাচ্ছেন, একটি তারিখের সীমা থাকতে হবে, আপনি সেখানে সারণি পৃষ্ঠায় উল্লেখ করতে পারেন যে আপনি সেই তারিখের পরিসীমা ফিল্টার প্রয়োগ করতে বাধ্য করেন। যদি কেউ এমন কোনও ক্যোয়ারী চালানোর চেষ্টা করে যার মধ্যে সেই ফিল্টারটি অন্তর্ভুক্ত না হয়, তবে এটি তাদেরকে একটি বড় সতর্কবার্তা দিয়ে থামিয়ে দেবে, এবং এটি বলবে, "আপনার সম্ভবত আপনার কোয়েরিতে এমন কিছু এসকিউএল যুক্ত করা উচিত যা তারা দেখতে পাবে।" তারা যদি চালিয়ে যেতে পারে তবে তারা চান. আমরা এটি ব্যবহার করতে আসলে তাদের পুরোপুরি নিষিদ্ধ করতে যাচ্ছি না - এটিও একটি কোয়েরি, দিনের শেষে, অনুসন্ধানগুলি চালানো উচিত। তবে আমরা তাদের সামনে একটি দুর্দান্ত বড় বাধা রেখেছি এবং আমরা তাদের একটি পরামর্শ দিচ্ছি, তাদের কার্যকারিতা উন্নত করতে ক্যোয়ারিটি পরিবর্তন করার জন্য একটি কংক্রিট প্রযোজ্য পরামর্শ।

আমরা আসলে কিছু ক্ষেত্রে স্বয়ংক্রিয়ভাবে এটি আবারও কোয়েরি লগ পর্যবেক্ষণ করে করি। যদি আমরা দেখতে পাই যে এই টেবিলের কিছু বড় আকারের ক্যোয়ারীগুলি কোনও নির্দিষ্ট ফিল্টার বা একটি বিশেষ যোগদানের ধারাটির সুবিধা নিয়ে থাকে, তবে আমরা আসলে এটি পপ করব। আমরা এটি একটি হস্তক্ষেপে প্রচার করব। আসলে, আমার সাথে এটি একটি অভ্যন্তরীণ ডেটা সেটে ঘটেছিল। আমাদের গ্রাহকের ডেটা রয়েছে এবং আমাদের ব্যবহারকারীর আইডি রয়েছে তবে ব্যবহারকারী আইডি সেট রয়েছে, কারণ এটি ধরণের - প্রতিটি গ্রাহকের কাছে আমাদের আইডি রয়েছে। এটি অনন্য নয়, সুতরাং একটি অনন্য যোগদানের কী পেতে আপনাকে এটি একটি ক্লায়েন্ট আইডির সাথে জুড়তে হবে। এবং আমি একটি ক্যোয়ারী লিখছিলাম এবং আমি কিছু বিশ্লেষণ করার চেষ্টা করেছি এবং এটি পপ আপ করে বলল, "আরে, অন্য সবাই ক্লায়েন্ট আইডি এবং ব্যবহারকারীর আইডি উভয়ই এই টেবিলগুলিতে যোগ দেবেন বলে মনে হচ্ছে। আপনি কি নিশ্চিত যে আপনি এটি করতে চান না? "এবং এটি আমাকে কিছু ভুল বিশ্লেষণ করতে আসলেই থামিয়েছিল। সুতরাং এটি বিশ্লেষণের যথার্থতার পাশাপাশি পারফরম্যান্স উভয়ের পক্ষে কাজ করে। সুতরাং আমরা এই সমস্যাটি কীভাবে গ্রহণ করি তা এই জাতীয়।

রেবেকা জোজভিয়াক: এটি আমার কাছে কার্যকর বলে মনে হবে। আপনি বলেছিলেন যে আপনি প্রয়োজনীয়ভাবে সংস্থানগুলি হোগিং থেকে লোকদের আটকাবেন না, তবে বাছাই করে বলুন যে তারা যা করছে তা সবচেয়ে ভাল নাও হতে পারে?

ডেভিড ক্রফোর্ড: আমরা সবসময় ধরেই নিয়েছি যে ব্যবহারকারীরা দূষিত নয় - তাদের সেরা উদ্দেশ্য দিন - এবং আমরা সেভাবে বেশ উন্মুক্ত হওয়ার চেষ্টা করি।

রেবেকা জোজভিয়াক: ঠিক আছে। এখানে আরও একটি প্রশ্ন রয়েছে: "আপনার সমাধানের সাথে কোনও এমডিএম সরঞ্জামের মতো ক্যাটালগ ম্যানেজারের মধ্যে পার্থক্য কী? অথবা কোয়েরি টেবিলগুলির পছন্দকে আরও প্রশস্ত করে এটি কোনও ভিন্ন অধ্যক্ষের উপর নির্ভর করে, যেখানে এমডিএম এটি স্বয়ংক্রিয়ভাবে করবে, তবে মেটাটাটা সংগ্রহের একই অন্তর্নিহিত অধ্যক্ষের সাথে "

ডেভিড ক্রফোর্ড: হ্যাঁ, আমি মনে করি যে আমি যখন traditionalতিহ্যবাহী MDM সমাধানগুলি দেখি, তখন প্রাথমিক পার্থক্যটি একটি দার্শনিক one ব্যবহারকারী কে সে সম্পর্কে এটি সবই। আমার মতামতটির শুরুতে আমি যেমনটি বলেছিলাম, অ্যালেনেশন, আমি মনে করি, যখন আমরা প্রতিষ্ঠিত হয়েছিলাম, তখন বিশ্লেষকদের আরও অন্তর্দৃষ্টি তৈরি করতে, তাদের দ্রুততর উত্পাদন করতে, অন্তর্দৃষ্টিগুলিতে আরও নির্ভুল হওয়ার জন্য আমাদের লক্ষ্য নিয়ে প্রতিষ্ঠিত হয়েছিল উৎপাদন করা. আমি মনে করি না যে এটি কখনও aতিহ্যবাহী MDM সমাধানের লক্ষ্য ছিল। এই সমাধানগুলি সেই লোকগুলির দিকে লক্ষ্যবস্তু হয়ে থাকে যাদের এসসিসির কাছে ডেটা ক্যাপচার করা হয়েছে বা অন্য কোনও ধরণের নিরীক্ষণের উদ্দেশ্যে অভ্যন্তরীণভাবে রিপোর্ট তৈরি করতে হবে। এটি কখনও কখনও বিশ্লেষকদের সক্ষম করতে পারে, তবে এটি প্রায়শই, যদি এটি কোনও চিকিত্সককে তাদের কাজ করতে সক্ষম করে, তবে এটি ডিবিএর মতো ডেটা আর্কিটেক্ট সক্ষম করার সম্ভাবনা বেশি থাকে।

যখন আপনি কোনও বিশ্লেষকের দৃষ্টিকোণ থেকে জিনিসগুলি সম্পর্কে চিন্তা করেন, তখনই আপনি যখন কোনও এমডিএম সরঞ্জাম কখনও না করেন এমন কোনও ক্যুরিয়ার সরঞ্জাম তৈরি শুরু করেন। আপনি যখন পারফরম্যান্সের পাশাপাশি নির্ভুলতার বিষয়ে চিন্তা করতে শুরু করেন, তেমনি আমার ব্যবসায়ের প্রয়োজনীয়তার সাথে ডেটা কী সম্পর্কিত তা বোঝা শুরু করে। এই সরঞ্জামগুলির মধ্যে সমস্তই এমন একটি জিনিস যা আমরা যখন সরঞ্জামটি ডিজাইন করি তখন তা আমাদের মনে পপ হয়। এটি আমাদের অনুসন্ধান অ্যালগরিদমগুলিতে যায়, এটি ক্যাটালগ পৃষ্ঠাগুলির বিন্যাস এবং প্রতিষ্ঠানের চারপাশের জ্ঞানের অবদান রাখার ক্ষমতাতে চলে যায়। এটি সত্য যে আমরা কোয়েরি সরঞ্জামটি তৈরি করেছিলাম এবং এটিতে আমরা সরাসরি ক্যাটালগটি তৈরি করেছি, তাই আমার মনে হয় এটি সত্যই এটি থেকে এসেছে। আপনার প্রথমে কোন ব্যবহারকারীর মনে আছে?

রেবেকা জোজভিয়াক: ঠিক আছে, ভাল এটি সত্যিই এটি ব্যাখ্যা করতে সহায়তা করেছিল। সংরক্ষণাগারটি ধরে রাখতে কে মারা যাচ্ছিল কারণ তাকে চলে যেতে হয়েছিল, কিন্তু তিনি সত্যই তার প্রশ্নের উত্তর চেয়েছিলেন। তিনি বলেছিলেন যে এটি শুরুতে উল্লেখ করা হয়েছিল যে এখানে একাধিক ভাষা রয়েছে তবে এসকিউএলটিই কি কমপোজ উপাদানটির মধ্যে একমাত্র ভাষা ব্যবহার করা যায়?

ডেভিড ক্রফোর্ড: হ্যাঁ, এটা সত্য। এবং আমি যে জিনিসগুলিতে লক্ষ্য করেছি সেগুলির মধ্যে একটি, যেমন আমি বিভিন্ন ধরণের ডেটাবেস, ডকুমেন্ট ডাটাবেস, গ্রাফ ডাটাবেসগুলির, কী ভ্যালু স্টোরগুলির বিস্ফোরণ প্রত্যক্ষ করেছি, তা হ'ল তারা অ্যাপ্লিকেশন বিকাশের জন্য সত্যই শক্তিশালী। তারা সেখানে প্রয়োজনীয় প্রয়োজনীয়তার তুলনামূলক ডাটাবেসগুলির চেয়ে ভাল উপায়ে আরও ভালভাবে পরিবেশন করতে পারে।

তবে আপনি যখন এটিকে ডেটা বিশ্লেষণে ফিরিয়ে আনেন, আপনি যখন এটিকে আবার ফিরিয়ে আনেন - যখন আপনি সেই তথ্যগুলি যে সমস্ত লোকদের কাছে তথ্য সরবরাহ করতে চলেছেন বা ডেটা অনুসন্ধানের জন্য অ্যাডহক খনন করতে চান, তারা সর্বদা কোনও সম্পর্কের দিকে ফিরে আসে, অন্তত, মানুষের জন্য ইন্টারফেস। এর একমাত্র কারণ এসকিউএল হ'ল ডেটা বিশ্লেষণের লিঙ্গুয়া ফ্র্যাঙ্কা, সুতরাং এর অর্থ, মানুষের পক্ষে এটি সংহতকারী সরঞ্জামগুলির জন্যও। আমি মনে করি এই কারণেই হ্যাডোপে এসকিউএল এত জনপ্রিয় এবং এটি সমাধান করার জন্য প্রচুর প্রচেষ্টা রয়েছে, কারণ দিনের শেষে, লোকেরা জানেন people সম্ভবত লক্ষ লক্ষ লোক রয়েছে যারা এসকিউএল লিখতে জানেন এবং আমি মঙ্গো সমষ্টি পাইপলাইন ফ্রেমওয়ার্কের ক্যোয়ারী কীভাবে লিখতে জানে এমন কয়েক মিলিয়ন মানুষকে উদ্যোগী করব না। এবং এটি এটি একটি স্ট্যান্ডার্ড ভাষা যা সত্যই বিভিন্ন ধরণের প্ল্যাটফর্মের একীকরণের জন্য ব্যবহৃত হয়। সুতরাং এটি যা বলছে, আমরা খুব কমই এর বাইরে যেতে বললাম কারণ এটি বেশিরভাগ বিশ্লেষকই ব্যবহার করেন এমন ইন্টারফেস এবং এটি এমন একটি জায়গা যেখানে আমরা মনোনিবেশ করেছি, বিশেষত রচনায়, আমরা এসকিউএল লেখার দিকে মনোনিবেশ করেছি।

আমি বলব ডেটা সায়েন্সই সেই জায়গা যেখানে তারা সবচেয়ে বেশি উদ্যোগ নেয় এবং তাই আমরা পিগ বা এসএএস ব্যবহার সম্পর্কে মাঝে মাঝে প্রশ্ন পাই। এগুলি এমন জিনিস যা আমরা অবশ্যই রচনাতে হ্যান্ডেল করি না এবং আমরা ক্যাটালগে ক্যাপচার করতে চাই। আর আমি আর আর পাইথনকেও দেখছি। আমাদের বেশ কয়েকটি উপায় রয়েছে যে আমরা ইন্টারফেস তৈরি করেছি যা আপনি আর এবং পাইথন স্ক্রিপ্টগুলির অভ্যন্তরে অ্যালেনশনে লিখিত প্রশ্নগুলি ব্যবহার করতে পারেন, তাই যখন আপনি প্রায়শই কোনও ডেটা বিজ্ঞানী হন এবং আপনি কোনও স্ক্রিপ্টিং ভাষায় কাজ করছেন, আপনার উত্স তথ্য একটি সম্পর্কিত ডেটাবেস হয়। আপনি একটি এসকিউএল ক্যোয়ারী দিয়ে শুরু করুন এবং তারপরে আপনি এটি আরও প্রক্রিয়া করুন এবং আর এবং পাইথনের অভ্যন্তরে গ্রাফ তৈরি করুন। এবং আমরা এমন প্যাকেজ তৈরি করেছি যা আপনি সেই স্ক্রিপ্টগুলিতে আমদানি করতে পারেন যা এলেশন থেকে কোয়েরি বা ক্যোয়ারির ফলাফলগুলি টানছে যাতে আপনার ধরণের মিশ্রিত কর্মপ্রবাহ থাকতে পারে।

রেবেকা জোজভিয়াক: ঠিক আছে, দুর্দান্ত। আমি জানি আমরা এই মুহুর্তের সামান্য কিছুটা পেরিয়ে এসেছি, আমি কেবল আরও একটি বা দুটি প্রশ্ন জিজ্ঞাসা করব। আমি জানি যে আপনি যে সমস্ত ভিন্ন সিস্টেমে সংযোগ করতে পারবেন সে সম্পর্কে আপনি কথা বলেছেন, তবে বহিরাগতভাবে হোস্ট করা ডেটা এবং অভ্যন্তরীণভাবে হোস্ট করা ডেটা হিসাবে, কী একসাথে আপনার একক দৃশ্যে, আপনার একটি প্ল্যাটফর্মে অনুসন্ধান করা যেতে পারে?

ডেভিড ক্রফোর্ড: অবশ্যই এটি করার কয়েকটি উপায় রয়েছে। আমি বোঝাতে চাইছি, বাহ্যিকভাবে হোস্ট করা হয়েছে, আমি কল্পনা করব, আমি এর অর্থ কী হতে পারে তার সম্পর্কে চিন্তা করার চেষ্টা করছি। এর অর্থ একটি ডেটাবেস হতে পারে যে কেউ আপনার জন্য এডাব্লুএসে হোস্ট করছে। এটি ডেটা.gov থেকে কোনও পাবলিক ডেটা উত্স বলতে পারে। আমরা ডাটাবেসের সাথে সরাসরি সংযোগ করি অন্য একটি অ্যাপ্লিকেশনটির মতো, ডেটাবেস অ্যাকাউন্ট দিয়ে এবং লগ ইন করে আমরা মেটাডেটাটি বের করি। সুতরাং যদি আমাদের একটি অ্যাকাউন্ট থাকে এবং আমাদের একটি নেটওয়ার্ক পোর্ট খোলা থাকে, আমরা এটি পেতে পারি। এবং তারপরে যখন আমাদের কাছে এই জিনিসগুলি নেই, তখন আমাদের কাছে একটি ভার্চুয়াল ডেটা উত্স বলা হয়, যা আপনাকে প্রয়োজনীয়ভাবে ডকুমেন্টেশনগুলিকে ধাক্কা দিতে দেয়, স্বয়ংক্রিয়ভাবে, আপনার নিজের সংযোজক লিখে বা সিএসভি আপলোডের মতো করে এটিকে পূরণ করে, আপনার অভ্যন্তরীণ ডেটা পাশাপাশি ডেটা ডকুমেন্ট করতে। এটি সমস্ত অনুসন্ধান ইঞ্জিনে স্থাপন করা হয়। এটি নিবন্ধ এবং অন্যান্য ডকুমেন্টেশন এবং সিস্টেমের মধ্যে কথোপকথনের অভ্যন্তরে উল্লেখযোগ্য হয়ে ওঠে। সুতরাং আমরা যখন কোনও সিস্টেমের সাথে সরাসরি সংযোগ করতে পারি না তখন আমরা সেইভাবে পরিচালনা করি।

রেবেকা জোজভিয়াক: ঠিক আছে, তা বোধগম্য হয়। আমি আপনাকে আরও একটি প্রশ্ন করব। একজন অংশগ্রহণকারী হলেন জিজ্ঞাসা, "উত্স ডেটা সংশোধন করা হয়, ইত্যাদি হিসাবে উত্স ডেটা আপডেট হওয়ার সাথে সাথে কোনও ডেটা ক্যাটালগের বিষয়বস্তু কীভাবে বৈধ, যাচাই বা পরিচালনা করা উচিত?"

ডেভিড ক্রফোর্ড: হ্যাঁ, এটি একটি প্রশ্ন যা আমরা অনেক পাই, এবং আমি মনে করি যে আমরা একটি জিনিস - আমাদের দর্শনের মধ্যে একটি, যেমন আমি বলেছিলাম, আমরা বিশ্বাস করি না যে ব্যবহারকারীরা দূষিত। আমরা ধরে নিই যে তারা সেরা জ্ঞানের অবদান রাখার চেষ্টা করছে। তারা আসবে না এবং উদ্দেশ্যমূলকভাবে তথ্য সম্পর্কে লোককে বিভ্রান্ত করবে। যদি এটি আপনার সংস্থার সমস্যা হয় তবে অ্যালেনশনটি আপনার পক্ষে সঠিক সরঞ্জাম নয়। তবে আপনি যদি ব্যবহারকারীদের ভাল উদ্দেশ্য গ্রহণ করেন, তবে আমরা এটিকে এমন কিছু হিসাবে চিন্তা করি যেখানে আপডেটগুলি আসে এবং তারপরে সাধারণত আমরা যা করি তা হ'ল আমরা প্রতিটি ডেটা অবজেক্ট বা ডেটার প্রতিটি বিভাগের দায়িত্বে একজন স্টুয়ার্ডকে রেখেছি। এবং মেটাডেটাতে পরিবর্তনগুলি করা হলে আমরা সেই স্টিয়ারদেরকে অবহিত করতে পারি এবং তারা সেভাবে এটি পরিচালনা করতে পারে। তারা আপডেটগুলি দেখতে পায়, সেগুলি তাদের বৈধতা দেয়। যদি তারা ঠিক না থাকে তবে তারা ফিরে যেতে পারে এবং তাদের সংশোধন করতে এবং অবহিত করতে পারে এবং আশা করা যায় যে এমন তথ্য ব্যবহারকারীদের কাছে পৌঁছাতে পারে এবং যারা তথ্যটি অবদান রাখে এবং তাদের শিখতে সহায়তা করে।

সুতরাং এটি প্রাথমিকভাবে এটি করা সম্পর্কে আমরা ভাবি। স্টিওয়ারদের দ্বারা জনতা এবং পরিচালনা দ্বারা এই ধরণের পরামর্শ, তাই আমাদের চারপাশে কিছু ক্ষমতা রয়েছে।

রেবেকা জোজভিয়াক: ঠিক আছে, ভাল এবং যদি আপনি কেবল লোকজনকে কীভাবে অ্যালেক্সের মাধ্যমে সর্বোত্তমভাবে শুরু করতে পারেন এবং আরও তথ্যের জন্য তারা বিশেষত কোথায় যেতে পারেন তা জানাতে পারতেন। আমি জানি আপনি এটি একটি বিট শেয়ার করেছেন। এটা কি সেরা জায়গা?

ডেভিড ক্রফোর্ড: অ্যালেনশন.com / লেয়ারমেনম আমার মনে হয় এক দুর্দান্ত উপায়। একটি ডেমোতে সাইন আপ করতে অ্যালেক্স ডটকম সাইটে প্রচুর দুর্দান্ত সংস্থান, গ্রাহক শ্বেতপত্র এবং আমাদের সমাধান সম্পর্কিত সংবাদ রয়েছে। সুতরাং আমি মনে করি এটি শুরু করার জন্য দুর্দান্ত জায়গা। আপনি ইমেল করতে পারেন।

রেবেকা জোজভিয়াক: ঠিক আছে, দুর্দান্ত। এবং আমি জানি, উপস্থিত, আমি আজ সমস্ত প্রশ্নের উত্তর না পেয়েও দুঃখিত, তবে তা না হলে সেগুলি ডেভিড বা তার বিক্রয় দল বা অ্যালেশনের কারও কাছে পাঠানো হবে, যাতে তারা অবশ্যই আপনার প্রশ্নের উত্তর এবং বুঝতে সহায়তা করতে পারে অ্যালেক্স কী করে বা তারা সবচেয়ে ভাল করে।

এবং এটি দিয়ে, ভাবেন, আমি এগিয়ে যাব এবং আমাদের সাইন আপ করব। আপনি সর্বদা ইনসাইডঅ্যানালাইসিস ডটকম এ সংরক্ষণাগারগুলি সন্ধান করতে পারেন। আপনি এটি টেকোপিডিয়া ডটকম এও খুঁজে পেতে পারেন। তারা কিছুটা দ্রুত আপডেট হওয়ার ঝোঁক রাখে তাই অবশ্যই এটি পরীক্ষা করে দেখুন। এবং ডেভিড ক্র্যাফোর্ড, ডেজ ব্লাঞ্চফিল্ড এবং রবিন বুড়কে আজ অনেক ধন্যবাদ। এটি একটি দুর্দান্ত ওয়েবকাস্ট হয়েছে। এবং এই সঙ্গে, আমি আপনাকে বিদায় জানাব। ধন্যবাদ, লোকেরা বাই বাই

ডেভিড ক্রফোর্ড: আপনাকে ধন্যবাদ।