عنوان پایان نامه : وب کاوی در صنعت‎

قالب بندی : Word

شرح مختصر : با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس‌های وب می پردازد. در واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند. طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند.

فهرست :

مقدمه

فصل دوم: داده کاوی

مقدمه ای بر داده کاوی

چه چیزی سبب پیدایش داده کاوی شده است؟

مراحل کشف دانش

جایگاه داده کاوی در میان علوم مختلف

داده کاوی چه کارهایی نمی تواند انجام دهد؟

داده کاوی و انبار داده ها

داده کاوی و OLAP

کاربرد یادگیری ماشین و آمار در داده کاوی

توصیف داده ها در داده کاوی

خلاصه سازی و به تصویر در آوردن داده ها

خوشه بندی

تحلیل لینک

مدل های پیش بینی داده ها

دسته بندی

رگرسیون

سری های زمانی

مدل ها و الگوریتم های داده کاوی

شبکه های عصبی

درخت تصمیم

Multivariate Adaptive Regression Splines(MARS)

Rule induction

Knearest neibour and memorybased reansoning(MBR)

رگرسیون منطقی

تحلیل تفکیکی

مدل افزودنی کلی (GAM)

Boosting

سلسله مراتب انتخابها

داده کاوی و مدیریت بهینه وب سایت ها

داده‌کاوی و مدیریت دانش

فصل سوم: وب کاوی

تعریف وب کاوی

مراحل وب کاوی

وب کاوی و زمینه های تحقیقاتی مرتبط

وب کاوی و داده کاوی

وب کاوی و بازیابی اطلاعات

وب کاوی و استخراج اطلاعات

وب کاوی و یادگیری ماشین

انواع وب کاوی

چالش های وب کاوی

مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان

محتوا کاوی وب

فصل چهارم: وب کاوی در صنعت

انواع وب کاوی در صنعت

وب کاوی در صنعت نفت، گاز و پتروشیمی

مهندسی مخازن/ اکتشاف

مهندسی بهره برداری

مهندسی حفاری

بخشهای مدیریتی

کاربرد های دانش داده کاوی در صنعت بیمه

کاربردهای دانش داده کاوی در مدیریت شهری

کاربردهای داده کاوی در صنعت بانکداری

بخش بندی مشتریان

پژوهش های کاربردی

نتیجه گیری

منابع و ماخذ فارسی

مراجع و ماخذ لاتین و سایتهای اینترنتی

 تا به امروز نرم افزارهاي تجاري و آموزشي فراواني براي داده كاوي در حوزه هاي مختلف داده ها به دنياي علم و فناوري عرضه شده اند. هريك از آنها با توجه به نوع اصلي داده هايي كه مورد كاوش قرار ميدهند، روي الگوريتمهاي خاصي متمركز شده اند. مقايسه دقيق و علمي اين ابزارها بايد از جنبه هاي متفاوت و متعددي مانند تنوع انواع و فرمت داده هاي ورودي، حجم ممكن براي پردازش داده ها، الگـوريتمهای پياده سـازي شده، روشهاي ارزيابي نتايج، روشهاي مصـور سـازي، روشهاي پيش پردازش داده ها، واسطهاي كاربر پسند، پلت‌فرمهاي سازگار براي اجرا،قيمت و در دسترس بودن نرم افزار صورت گيرد. از آن ميان، نرم افزار Weka با داشتن امكانات بسيار گسترده،امكان مقايسه خروجي روشهاي مختلف با هم، راهنماي خوب، واسط گرافيگي كارا، سازگاري با ساير برنامه هاي ويندوزي، و از همه مهمتر وجود كتابي بسيار جامع و مرتبط با آن [Data Mining, witten et Al. 2005 ] ، معرفي ميشود.

1- معرفی نرم افزار Weka

ميزكارWeka ، مجموع‌هاي از الگوريتمهاي روز يادگيري ماشيني و ابزارهاي پيش پردازش داده‌ها ميباشد. اين نرم‌افزار به گونه‌اي طراحي شده است كه ميتوان به سرعت، روشهاي موجود را به صورت انعطافپذيري روي مجموعه‌هاي جديد داده، آزمايش نمود. اين نرم‌افزار، پشتيباني‌هاي ارزشمندي را براي كل فرآيند داده كاوي هاي تجربي فراهم ميكند. اين پشتيباني‌ها، آماده سازي داده‌هاي ورودي، ارزيابي آماري چارچوبهاي يادگيري و نمايش گرافيكي داده‌هاي ورودي و نتايج يادگيري را در بر ميگيرند. همچنين، هماهنگ با دامنه وسيع الگوريتمهاي يادگيري، اين نرم‌افزار شامل ابزارهاي متنوع پيش پردازش داده‌هاست. اين جعبه ابزار متنوع و جامع، از طريق يك واسط متداول در دسترس است، به نحوي كه كاربر ميتواند روشهاي متفاوت را در آن با يكديگر مقايسه كند و روشهايي را كه براي مسايل مدنظر مناسبتر هستند، تشخيص دهد.

اين سيستم به زبان جاوا نوشته شده و بر اساس ليسانس عمومي و فراگير GNU انتشار يافته است.Weka تقريباً روي هر پلت فرمي اجرا ميشود و نيز تحت سيستم عاملهاي لينوكس، ويندوز، و مكينتاش، و حتي روي يك منشي ديجيتالي شخصي، آزمايش شده است.

اين نرم افزار، يك واسط همگون براي بسياري از الگوريتمهاي يادگيري متفاوت، فراهم كرده است كه از طريق آن روشهاي پيش پردازش، پس از پردازش و ارزيابي نتايج طرح هاي يادگيري روي همه مجموعه هاي داده موجود، قابل اعمال است.

نرم افزار Weka ، پياده سازي الگوريتمهاي مختلف يادگيري را فراهم ميكند و به آساني ميتوان آنها را به مجموعه هاي داده خود اعمال كرد.

  همچنين، اين نرم افزار شامل مجموعه متنوعي از ابزارهاي تبديل مجموعه‌هاي داده ها، همانند الگوريتمهاي گسسته سازي ميباشد. در اين محيط ميتوان يك مجموعه داده را پيش پردازش كرد، آن را به يك طرح يادگيري وارد نمود، و دسته‌بندي حاصله و كارآيي‌اش را مورد تحليل قرار داد.( همه اين كارها، بدون نياز به نوشتن هيچ قطعه برنامه‌اي ميسر است.)

  اين محيط، شامل روشهايي براي همه مسايل استاندارد داده كاوي مانند رگرسيون، رده‌بندي، خوشه‌بندي، كاوش قواعد انجمني و انتخاب ويژگي ميباشد. با در نظر گرفتن اينكه، داده‌ها بخش مكمل كار هستند، بسياري از ابزارهاي پيش پردازش داده‌ها و مصورسازي آنها فراهم گشته است. همه الگوريتم ها، وروديهاي خود را به صورت يك جدول رابطهاي به فرمت ARFF دريافت ميكنند. اين فرمت داده‌ها، ميتواند از يك فايل خوانده شده يا به وسيله يك درخواست از پايگاه دادهاي توليد گردد.

يكي از راههاي به كارگيري Weka ، اعمال يك روش يادگيري به يك مجموعه داده و تحليل خروجي آن براي شناخت چيزهاي بيشتري راجع به آن اطلاعات ميباشد. راه ديگر استفاده از مدل يادگيري شده براي توليد پيشبيني‌هايي در مورد نمونه‌هاي جديد است. سومين راه، اعمال يادگيرنده‌هاي مختلف و مقايسه كارآيي آنها به منظور انتخاب يكي از آنها براي تخمين ميباشد. روشهاي يادگيري Classifier ناميده ميشوند و در واسط تعاملي Weka ، ميتوان هر يك از آنها را از منو انتخاب نمود. بسياري از classifier ها پارامترهاي قابل تنظيم دارند كه ميتوان از طريق صفحه ويژگي‌ها يا object editor به آنها دسترسي داشت. يك واحد ارزيابي مشترك، براي اندازه‌گيري كارآيي همه classifier به كار ميرود.

پياده سازيهاي چارچوبهاي يادگيري واقعي، منابع بسيار ارزشمندي هستند كه Weka فراهم مي كند. ابزارهايي كه براي پيش پردازش داده‌ها استفاده ميشوند Filter ناميده ميشوند. همانند classifier ها، ميتوان filter ها را از منوي مربوطه انتخاب كرده و آنها را با نيازمنديهاي خود، سازگار نمود. در ادامه، به روش به كارگيري فيلترها اشاره ميشود.

  علاوه بر موارد فوق، Weka شامل پياده سازي الگوريتمهايي براي يادگيري قواعد انجمني، خوشه‌بندي داده‌ها در جايي كه هيچ دست‌هاي تعريف نشده است، و انتخاب ويژگيهاي مرتبط در داده‌ها ميباشد.

تعداد صفحات :80

فرمت فایل : Word

 تا به امروز نرم افزارهاي تجاري و آموزشي فراواني براي داده كاوي در حوزه هاي مختلف داده ها به دنياي علم و فناوري عرضه شده اند. هريك از آنها با توجه به نوع اصلي داده هايي كه مورد كاوش قرار ميدهند، روي الگوريتمهاي خاصي متمركز شده اند. مقايسه دقيق و علمي اين ابزارها بايد از جنبه هاي متفاوت و متعددي مانند تنوع انواع و فرمت داده هاي ورودي، حجم ممكن براي پردازش داده ها، الگـوريتمهای پياده سـازي شده، روشهاي ارزيابي نتايج، روشهاي مصـور سـازي، روشهاي پيش پردازش داده ها، واسطهاي كاربر پسند، پلت‌فرمهاي سازگار براي اجرا،قيمت و در دسترس بودن نرم افزار صورت گيرد. از آن ميان، نرم افزار Weka با داشتن امكانات بسيار گسترده،امكان مقايسه خروجي روشهاي مختلف با هم، راهنماي خوب، واسط گرافيگي كارا، سازگاري با ساير برنامه هاي ويندوزي، و از همه مهمتر وجود كتابي بسيار جامع و مرتبط با آن [Data Mining, witten et Al. 2005 ] ، معرفي ميشود.

1- معرفی نرم افزار Weka

ميزكارWeka ، مجموع‌هاي از الگوريتمهاي روز يادگيري ماشيني و ابزارهاي پيش پردازش داده‌ها ميباشد. اين نرم‌افزار به گونه‌اي طراحي شده است كه ميتوان به سرعت، روشهاي موجود را به صورت انعطافپذيري روي مجموعه‌هاي جديد داده، آزمايش نمود. اين نرم‌افزار، پشتيباني‌هاي ارزشمندي را براي كل فرآيند داده كاوي هاي تجربي فراهم ميكند. اين پشتيباني‌ها، آماده سازي داده‌هاي ورودي، ارزيابي آماري چارچوبهاي يادگيري و نمايش گرافيكي داده‌هاي ورودي و نتايج يادگيري را در بر ميگيرند. همچنين، هماهنگ با دامنه وسيع الگوريتمهاي يادگيري، اين نرم‌افزار شامل ابزارهاي متنوع پيش پردازش داده‌هاست. اين جعبه ابزار متنوع و جامع، از طريق يك واسط متداول در دسترس است، به نحوي كه كاربر ميتواند روشهاي متفاوت را در آن با يكديگر مقايسه كند و روشهايي را كه براي مسايل مدنظر مناسبتر هستند، تشخيص دهد.

 تا به امروز نرم افزارهاي تجاري و آموزشي فراواني براي داده كاوي در حوزه هاي مختلف داده ها به دنياي علم و فناوري عرضه شده اند. هريك از آنها با توجه به نوع اصلي داده هايي كه مورد كاوش قرار ميدهند، روي الگوريتمهاي خاصي متمركز شده اند. مقايسه دقيق و علمي اين ابزارها بايد از جنبه هاي متفاوت و متعددي مانند تنوع انواع و فرمت داده هاي ورودي، حجم ممكن براي پردازش داده ها، الگـوريتمهای پياده سـازي شده، روشهاي ارزيابي نتايج، روشهاي مصـور سـازي، روشهاي پيش پردازش داده ها، واسطهاي كاربر پسند، پلت‌فرمهاي سازگار براي اجرا،قيمت و در دسترس بودن نرم افزار صورت گيرد. از آن ميان، نرم افزار Weka با داشتن امكانات بسيار گسترده،امكان مقايسه خروجي روشهاي مختلف با هم، راهنماي خوب، واسط گرافيگي كارا، سازگاري با ساير برنامه هاي ويندوزي، و از همه مهمتر وجود كتابي بسيار جامع و مرتبط با آن [Data Mining, witten et Al. 2005 ] ، معرفي ميشود.

1- معرفی نرم افزار Weka

ميزكارWeka ، مجموع‌هاي از الگوريتمهاي روز يادگيري ماشيني و ابزارهاي پيش پردازش داده‌ها ميباشد. اين نرم‌افزار به گونه‌اي طراحي شده است كه ميتوان به سرعت، روشهاي موجود را به صورت انعطافپذيري روي مجموعه‌هاي جديد داده، آزمايش نمود. اين نرم‌افزار، پشتيباني‌هاي ارزشمندي را براي كل فرآيند داده كاوي هاي تجربي فراهم ميكند. اين پشتيباني‌ها، آماده سازي داده‌هاي ورودي، ارزيابي آماري چارچوبهاي يادگيري و نمايش گرافيكي داده‌هاي ورودي و نتايج يادگيري را در بر ميگيرند. همچنين، هماهنگ با دامنه وسيع الگوريتمهاي يادگيري، اين نرم‌افزار شامل ابزارهاي متنوع پيش پردازش داده‌هاست. اين جعبه ابزار متنوع و جامع، از طريق يك واسط متداول در دسترس است، به نحوي كه كاربر ميتواند روشهاي متفاوت را در آن با يكديگر مقايسه كند و روشهايي را كه براي مسايل مدنظر مناسبتر هستند، تشخيص دهد.

اين سيستم به زبان جاوا نوشته شده و بر اساس ليسانس عمومي و فراگير GNU انتشار يافته است.Weka تقريباً روي هر پلت فرمي اجرا ميشود و نيز تحت سيستم عاملهاي لينوكس، ويندوز، و مكينتاش، و حتي روي يك منشي ديجيتالي شخصي، آزمايش شده است.

اين نرم افزار، يك واسط همگون براي بسياري از الگوريتمهاي يادگيري متفاوت، فراهم كرده است كه از طريق آن روشهاي پيش پردازش، پس از پردازش و ارزيابي نتايج طرح هاي يادگيري روي همه مجموعه هاي داده موجود، قابل اعمال است.

نرم افزار Weka ، پياده سازي الگوريتمهاي مختلف يادگيري را فراهم ميكند و به آساني ميتوان آنها را به مجموعه هاي داده خود اعمال كرد.

  همچنين، اين نرم افزار شامل مجموعه متنوعي از ابزارهاي تبديل مجموعه‌هاي داده ها، همانند الگوريتمهاي گسسته سازي ميباشد. در اين محيط ميتوان يك مجموعه داده را پيش پردازش كرد، آن را به يك طرح يادگيري وارد نمود، و دسته‌بندي حاصله و كارآيي‌اش را مورد تحليل قرار داد.( همه اين كارها، بدون نياز به نوشتن هيچ قطعه برنامه‌اي ميسر است.)

  اين محيط، شامل روشهايي براي همه مسايل استاندارد داده كاوي مانند رگرسيون، رده‌بندي، خوشه‌بندي، كاوش قواعد انجمني و انتخاب ويژگي ميباشد. با در نظر گرفتن اينكه، داده‌ها بخش مكمل كار هستند، بسياري از ابزارهاي پيش پردازش داده‌ها و مصورسازي آنها فراهم گشته است. همه الگوريتم ها، وروديهاي خود را به صورت يك جدول رابطهاي به فرمت ARFF دريافت ميكنند. اين فرمت داده‌ها، ميتواند از يك فايل خوانده شده يا به وسيله يك درخواست از پايگاه دادهاي توليد گردد.

يكي از راههاي به كارگيري Weka ، اعمال يك روش يادگيري به يك مجموعه داده و تحليل خروجي آن براي شناخت چيزهاي بيشتري راجع به آن اطلاعات ميباشد. راه ديگر استفاده از مدل يادگيري شده براي توليد پيشبيني‌هايي در مورد نمونه‌هاي جديد است. سومين راه، اعمال يادگيرنده‌هاي مختلف و مقايسه كارآيي آنها به منظور انتخاب يكي از آنها براي تخمين ميباشد. روشهاي يادگيري Classifier ناميده ميشوند و در واسط تعاملي Weka ، ميتوان هر يك از آنها را از منو انتخاب نمود. بسياري از classifier ها پارامترهاي قابل تنظيم دارند كه ميتوان از طريق صفحه ويژگي‌ها يا object editor به آنها دسترسي داشت. يك واحد ارزيابي مشترك، براي اندازه‌گيري كارآيي همه classifier به كار ميرود.

پياده سازيهاي چارچوبهاي يادگيري واقعي، منابع بسيار ارزشمندي هستند كه Weka فراهم مي كند. ابزارهايي كه براي پيش پردازش داده‌ها استفاده ميشوند Filter ناميده ميشوند. همانند classifier ها، ميتوان filter ها را از منوي مربوطه انتخاب كرده و آنها را با نيازمنديهاي خود، سازگار نمود. در ادامه، به روش به كارگيري فيلترها اشاره ميشود.

  علاوه بر موارد فوق، Weka شامل پياده سازي الگوريتمهايي براي يادگيري قواعد انجمني، خوشه‌بندي داده‌ها در جايي كه هيچ دست‌هاي تعريف نشده است، و انتخاب ويژگيهاي مرتبط در داده‌ها ميباشد.

تعداد صفحات :80

فرمت فایل : Word