অ্যাপাচি মাতাল এবং শূকর একটি সংক্ষিপ্ত পরিচিতি

অ্যাপাচি হাইভ একটি ফ্রেমওয়ার্ক যা হ্যাডোপের ডেটাতে অ্যাড-হক অনুসন্ধানগুলি করার জন্য হাদুপের শীর্ষে বসে। Hive HiveQL সমর্থন করে যা এসকিউএল এর অনুরূপ তবে এসকিউএল এর সম্পূর্ণ নির্মাণকে সমর্থন করে না।

এইচআইভি একটি জাভা ম্যাপ্রেডস প্রোগ্রামে হিভকিউএল কোয়েরিটি আবরণ করে এবং এটি হ্যাডোপ ক্লাস্টারে জমা দেয়। HiveQL এবং জাভা ম্যাপ্রেইডুস ব্যবহার করে একই ফলাফল অর্জন করা যেতে পারে তবে জাভা ম্যাপ্রেডস ব্যবহার করে হিভকিউএলএর তুলনায় অনেকগুলি কোড লেখা / ডিবাগ করতে হবে required সুতরাং, HiveQL বিকাশকারী উত্পাদনশীলতা বৃদ্ধি করে।

সংক্ষিপ্তসার হিসাবে, Hive, HiveQL ভাষার মাধ্যমে, জাভা ম্যাপ্রেডস প্রোগ্রামিংয়ের উপর একটি উচ্চ স্তরের বিমূর্ততা সরবরাহ করে। অন্য যে কোনও উচ্চ স্তরের বিমূর্ততার মতো, জাভা ম্যাপ্রেডিউসের তুলনায় হিভকিউএল ব্যবহার করার ক্ষেত্রে ওভারহেডের কিছুটা পারফরম্যান্স রয়েছে, তবে হিভ সম্প্রদায় বেশিরভাগ ব্যবহৃত ব্যবস্থাগুলির জন্য এই ফাঁকটি সঙ্কুচিত করতে কাজ করছে।

একই লাইন বরাবর, পিগ মানচিত্রের উপর একটি উচ্চ স্তরের বিমূর্ততা সরবরাহ করে। পিগ পিগল্যাটিন কনস্ট্রাক্টসকে সমর্থন করে, যা জাভা ম্যাপ্রেডস প্রোগ্রামে রূপান্তরিত হয় এবং তারপরে হডোপ ক্লাস্টারে জমা দেওয়া হয়।

HiveQL হ'ল এসকিউএল এর মতো ঘোষিত ভাষা, পিগল্যাটিন একটি ডেটা প্রবাহের ভাষা। একটি পিগল্যাটিন কনস্ট্রাক্টের আউটপুট অন্য পিগল্যাটিন কনস্ট্রাক্টের ইনপুট হিসাবে প্রেরণ করা যেতে পারে।

কিছুক্ষণ আগে, ক্লৌডেরা একটি সাধারণ হ্যাডোপ ক্লাস্টারে ওয়ার্কলোড চরিত্র সম্পর্কে পরিসংখ্যান প্রকাশ করেছিল এবং এটি সহজেই লক্ষ করা যায় যে পিড এবং মাইভ চাকরিগুলি হ্যাডোপ ক্লাস্টারে কাজের একটি ভাল অংশ তৈরি করে। উচ্চ বিকাশকারী উত্পাদনশীলতার কারণে, অনেক সংস্থাগুলি পিগ এবং হাইভের মতো উচ্চ স্তরের বিমূর্তি পছন্দ করে। সুতরাং, আমরা বাজি রাখতে পারি যে ম্যাপ্রেডুসের বিকাশের তুলনায় হিভ এবং পিগের চারপাশে প্রচুর কাজের সূচনা হবে।

যদিও প্রোগ্রামিং পিগ বইটি ২০১১ সালের অক্টোবরে প্রকাশিত হয়েছিল, তবে প্রোগ্রামিং হিভ বইটি সম্প্রতি সম্প্রতি প্রকাশিত হয়েছিল, অক্টোবরে ২০১২. যাদের আরডিবিএমএস নিয়ে কাজ করার অভিজ্ঞতা রয়েছে তাদের জন্য পিগের সাথে শুরু করার চেয়ে হাইভের সাথে শুরু করা ভাল বিকল্প হবে option এছাড়াও লক্ষ করুন যে পিগল্যাটিন ভাষা শুরু করা খুব কঠিন নয়।

অন্তর্নিহিত হ্যাডোপ ক্লাস্টারের জন্য, জাভা ম্যাপ্রেডস কাজ জমা দেওয়া হোক বা মাইপ্রেডুসের কাজ হাইভ এবং পিগের মাধ্যমে জমা দেওয়া হোক না কেন এটি স্বচ্ছ। মানচিত্রের চাকরীর ব্যাচ ওরিয়েন্টেড প্রকৃতির কারণে, হাইভ এবং পিগের মাধ্যমে জমা দেওয়া কাজগুলিও প্রকৃতির সাথে ব্যাচমুখী।

রিয়েল-টাইম প্রতিক্রিয়া প্রয়োজনীয়তার জন্য, পূর্ববর্তী উল্লিখিত ব্যাচ ভিত্তিক মানচিত্রের কাজগুলির প্রকৃতির কারণে মধুচক্র এবং পিগ প্রয়োজনীয়তাগুলি পূরণ করে না। ক্লোডেরার ইমপালার বিকাশ ঘটে যা হডোপের শীর্ষে ইন্টারেক্টিভ অ্যাড-হক প্রশ্নের জন্য ড্রিমেল (গুগল থেকে একটি প্রকাশনা) এর উপর ভিত্তি করে। ইম্পালা এসকিউএল-এর মতো প্রশ্নের সমর্থন করে এবং হিভকিউএল এর সাথে সামঞ্জস্যপূর্ণ। সুতরাং, যে কোনও অ্যাপ্লিকেশন হিভের উপরে নির্মিত তা ইমপালার সাথে ন্যূনতম পরিবর্তনগুলির সাথে কাজ করা উচিত। হাইভ এবং ইম্পালার মধ্যে প্রধান পার্থক্য হায় যে এইচআইকিউএল জাভা ম্যাপ্রেডস জবগুলিতে রূপান্তরিত হয়েছে, ইমপাালা এসকিউএল কোয়েরিটিকে একটি জাভা ম্যাপ্রেডস চাকরিতে রূপান্তরিত করে না।

কোনও বিশেষ প্রয়োজনের জন্য আপনার কি পিগ বা হাইভের সাথে যাওয়া উচিত? এটি অন্য ব্লগের জন্য একটি বিষয়।

প্রবীণ শ্রীপতি এর অনুমতি নিয়ে পুনরায় প্রকাশিত। মূল নিবন্ধটি এখানে পাওয়া যাবে: http://www.thecloudavenue.com/2012/12/intr پيداوار-to-apache-hive-and-pig.html