تشخیص داده‎های پرت در اکسل

یکی از مراحل پروژه های داده کاوی و علم داده پیش پردازش داده ها می باشد. تشخیص داده‎های پرت در اکسل مهمترین بخش از پیش پردازش داده هاست.

وجود داده های پرت دلایل گوناگونی دارد. گاهی در وارد کردن داده‌ها اشتباهی صورت می گیرد و مقادیری بزرگتر و یا کوچکتر از حد معمول وارد می شوند که به آن‌ها داده‌های پرت (دورافتاده) گفته می‌شود.  نام دیگری داده های پرت Outlier است و به عمل جداسازی داده های پرت Outlier Detection گفته می شود. گاهی نیز در وارد کردن داده‌ها اشتباهی صورت نگرفته است و ایراد از داده‌های اصلی است مثلاً حقوق یک نفر خیلی کمتر و دورتر از میانگین حقوق های دریافتی کلیه پرسنل شرکت است.

فرض کنید بگویند میانگین ثروت افراد حاضر درمایکروسافت ۱۰۰میلیون دلار است. طبیعتا شخصی مانند بیل گیتس که ثروت او به اندازه چندین کشور است، میانگین را به بسیار بالاتر از میانگین واقعی تبدیل کرده‌است و یک متخصص داده‌کاوی باید بتواند این این مسئله را تشخیص دهد. در واقع ثروت بیل گیتس یک داده پرت یا همان Outlier در میان ثروت کارکنان و مدیران مایکروسافت است.

چرا داده های پرت باید حذف شوند؟

وجود داده های پرت باعث می شود تا ارتباط بین دو متغیر از بین برود. همچنین برای انتخاب روش های آماری و داده کاوی باید ابتدا نرمال بودن؛ همسان بودن و واریانس داد ها محاسبه شوند.

روش حذف داده‎های پرت در اکسل

روش های گوناگونی برای تشخیص داده‎های پرت در اکسل وجود دارد، ما در این آموزش با کمک محاسبه چارک اول و چارک سوم به داده های پرت می رسیم و با کمک Conditional Formatting آن ها را مشخص می کنیم.

با کمک فرمول Quartile می توانید با دادن ورودی آخر چارک مورد نظر یعنی چارک های اول و سوم را محاسبه کنید:

Outlier Detection Image1 min - تشخیص داده‎های پرت در اکسل

سپس آن ها را از هم کم کنید تا ۵۰% داده ها مشخص شود. در نهایت اختلاف چارک اول و سوم از حد وسط حد بالا و پایین داده ها را مشخص می کند. هرداده ای که از حد بالا و پایین خارج باشد داده پرت خواهد بود.

 

از این قسمت می توانید فایل اکسل آموزش فوق را دانلود کنید:

دانلود فایل اکسل

برچسب ها:




17a408a89ac284e4fc1eee3787fd81bb?s=300&d=mm&r=g - تشخیص داده‎های پرت در اکسل

پوریا بغدادی

من مباحث BI را در دانشگاه تهران آموخته ام. مجری و مشاور سیستم های هوش تجاری (BI) هستم. آموزش را برای علاقه شخصی پی میگیرم.

4
دیدگاه بگذارید

avatar
2 Comment threads
2 Thread replies
0 Followers
 
Most reacted comment
Hottest comment thread
3 Comment authors
سچاد دلاوریپوریا بغدادیمصطفی Recent comment authors
  عضویت  
جدید ها قدیمی ها بیشترین رای
به دوستتان خبر دهید.
مصطفی
مهمان
مصطفی

اقا ممنون جالب بود

سجاد دلاوری
مهمان
سجاد دلاوری

عالی بود چقدر مسلط و با حوصله و با کلامی شیوا توضیح دادید ممنونم