প্রশ্ন:
ইঞ্জিনিয়াররা কীভাবে মেশিন লার্নিংয়ে সম্ভাব্য ওভারফিটিংয়ের জন্য প্রশিক্ষণ সেট এবং পরীক্ষার সেটগুলি মূল্যায়ন করতে পারেন?
উত্তর:এটি কীভাবে করা হয় তা বোঝার জন্য, একটি সাধারণ মেশিন লার্নিং প্রকল্পে বিভিন্ন ডেটা সেটের ভূমিকা সম্পর্কে প্রাথমিক উপলব্ধি থাকা দরকার। প্রযুক্তিটিকে রেফারেন্সের একটি ফ্রেম দেওয়ার জন্য প্রশিক্ষণ সেট সেট করা হয়েছে - এমন একটি ডেটা বেসলাইন যা প্রোগ্রামটি ভবিষ্যদ্বাণীপূর্ণ এবং সম্ভাব্য সিদ্ধান্ত নিতে ব্যবহার করে। পরীক্ষার সেটটি যেখানে আপনি ডেটা দিয়ে মেশিনটি পরীক্ষা করেন।
ওভারফিটিং মেশিন লার্নিংয়ের একটি সিনড্রোম যেখানে মডেলটি ডেটা বা উদ্দেশ্যকে পুরোপুরি ফিট করে না।
| ফ্রি ডাউনলোড: মেশিন লার্নিং এবং কেন এটি গুরুত্বপূর্ণ |
মেশিন লার্নিংয়ের অন্যতম প্রধান আদেশ হ'ল প্রশিক্ষণ ডেটা এবং পরীক্ষার ডেটা পৃথক ডেটা সেট হওয়া উচিত। মেশিন লার্নিং প্রোগ্রামটি পরীক্ষা করার জন্য আপনি প্রশিক্ষণের জন্য যে একই সেটটি ব্যবহার করেছিলেন সেটি ব্যবহার করার ক্ষেত্রে কমপক্ষে অনেকগুলি অ্যাপ্লিকেশনগুলিতে এই সম্পর্কে যথেষ্ট বিস্তৃত sensকমত্য রয়েছে।
যখন একটি মেশিন লার্নিং প্রোগ্রাম একটি প্রশিক্ষণ সেট ব্যবহার করে, যা মূলত ইনপুটগুলির সেট হিসাবে পরিচিত হতে পারে, তখন ভবিষ্যদ্বাণীমূলক ফলাফলগুলি সম্পর্কে সিদ্ধান্ত নেওয়ার জন্য প্রশিক্ষণ সেটটি কার্যকর করে। এটি সম্পর্কে ভাবার একটি খুব প্রাথমিক উপায় হ'ল প্রশিক্ষণ সেটটি বুদ্ধিদীপ্ত কম্পিউটিং প্রক্রিয়ার জন্য "খাদ্য"।
এখন যখন একই সেটটি পরীক্ষার জন্য ব্যবহৃত হয়, মেশিনটি প্রায়শই দুর্দান্ত ফলাফলগুলি ফিরিয়ে দিতে পারে। কারণ এটি এর আগে that ডেটাটি ইতিমধ্যে দেখেছিল। তবে অনেক ক্ষেত্রে মেশিন লার্নিংয়ের পুরো লক্ষ্যটি এমন ডেটা সম্পর্কে ফলাফল তৈরি করা যা আগে দেখা যায় নি। সাধারণ উদ্দেশ্যমূলক মেশিন লার্নিং প্রোগ্রামগুলি ডেটাগুলির বিভিন্ন সেটগুলিতে পরিচালনা করার জন্য তৈরি করা হয়। অন্য কথায়, মেশিন লার্নিংয়ের মূলনীতিটি আবিষ্কার এবং আপনি সাধারণত পরীক্ষার উদ্দেশ্যে প্রাথমিক প্রশিক্ষণ সেট ব্যবহার করে তেমন কিছু পান না।
সম্ভাব্য ওভারফিটিংয়ের জন্য প্রশিক্ষণ সেট এবং পরীক্ষার সেটগুলি মূল্যায়নের ক্ষেত্রে ইঞ্জিনিয়াররা ফলাফলগুলি মূল্যায়ণ করতে পারে এবং বুঝতে পারে যে কোনও প্রোগ্রাম কেন এই দুটি সেটের তুলনামূলক ফলাফলের জন্য আলাদাভাবে করতে পারে বা কিছু ক্ষেত্রে কীভাবে মেশিনটি প্রশিক্ষণের ডেটা নিজেই খুব ভাল করতে পারে ।
২০১৪ খণ্ডে মেশিন লার্নিংয়ের এই সমস্যাগুলির কয়েকটি স্পষ্টভাবে বর্ণনা করার জন্য, মেশিন লার্নিং মাস্টারিতে জেসন ব্রাউনলি অতিমাত্রায় এইভাবে বর্ণনা করেছেন:
ব্রাউনলি লিখেছেন, "এমন একটি মডেল যা ট্রেনিং ডেটাসেটের অদৃশ্য পরীক্ষার ডেটাসেটের নির্ভুলতার চেয়ে তার নির্ভুলতার জন্য নির্বাচিত হয় তার অদৃশ্য পরীক্ষার ডেটাসেটের খুব কম যথাযথতা থাকতে পারে, " ব্রাউনলি লিখেছেন। "কারণটি হ'ল মডেলটি সাধারণীকরণ করা হয় নি training এটি প্রশিক্ষণ ডেটাসেটের কাঠামোর ( বিশেষত যুক্ত) যুক্ত করেছে This এটিকে ওভারফিটিং বলা হয় এবং এটি আপনার ভাবার চেয়ে বেশি কুখ্যাত" "
সাধারণ পরিভাষায়, আপনি বলতে পারেন যে প্রশিক্ষণের ডেটা সেটটিতে নিজেকে বিশেষীকরণ করার জন্য, প্রোগ্রামটি খুব কঠোর হয়ে উঠছে। পরীক্ষার সেটের জন্য প্রশিক্ষণ সেটটি ব্যবহার করে কেন মেশিন লার্নিং প্রোগ্রামটি সর্বোত্তমভাবে পরিবেশন করা হচ্ছে না তা দেখার আরেকটি রূপক উপায়। এই দুটি ভিন্ন সেট মূল্যায়নের কাছে যাওয়ারও একটি ভাল উপায়, কারণ ফলাফল কীভাবে প্রোগ্রামটি কাজ করছে সে সম্পর্কে ইঞ্জিনিয়ারদের অনেক কিছু দেখায়। আপনি উভয় মডেলের যথার্থতার মধ্যে একটি ছোট ব্যবধান চান। আপনি নিশ্চিত করতে চান যে কোনও নির্দিষ্ট ডেটা সেটটিতে সিস্টেমটি অতিরিক্ত পরিমাণে বা "নির্ভুলতাযুক্ত" নয়, তবে এটি আরও সাধারণ এবং কমান্ডের বিকাশ এবং বিকাশ করতে সক্ষম।
