فهرست مطالب

 فصل اول: معرفی نامه

1-1-  معرفی فصل دوم پایان نامه………………………………………………………………………………. 2

1-2- معرفی فصل سوم پایان نامه……………………………………………………………………………… 7

 فصل دوم:روش های متفاوت تقسیم بندی صفحات وب

2-1- تقسيم بندي صفحات وب بطور مختصر…………………………………………………………………. 9

2-1-1-1- روش خلاصه سازي تعديل شده Luhn……………………………………………………… 10

2-1-1-2 – روش تحليل معنايي نهفته (LSA)…………………………………………………………….. 12

2-1-1-3- شناسايي  مضمون  بدنه  اصلي  توسط  تجزيه  و تحليل لايه‌اي……………………………. 13

2-1-1-4- خلاصه سازي نظارت شده……………………………………………………………………….. 15

2-1-1-5- يك دسته بندي كلي از خلاصه سازي…………………………………………………………. 17

2-1-2- آزمايشات……………………………………………………………………………………………….. 18

2-1-2-1- مجموعه ی داده…………………………………………………………………………………….. 18

2-1-2-2- دسته كننده ها………………………………………………………………………………………. 19

2-1-2-3- مقياس ارزيابي………………………………………………………………………………………. 21

2-1-2-4- نتايج و تحليل هاي تجربي……………………………………………………………………….. 22

2-1-2-5 مورد پژوهش…………………………………………………………………………………………. 29

2-1-3- نتیجه گیری  و عملکرد آینده……………………………………………………………………….. 31

2-2- تقسیم بندی صفحات وب با استفاده از الگوریتم  اجتماع مورچه ها…………………………….. 32

2-2-1- پیش پردازش  متنی وابسته   به زبان شناسی  و استخراج وب………………………………….. 32

2-2-2- الگوريتم Ant- Miner…………………………………………………………………………….. 36

2-2-3- نتايج محاسباتي………………………………………………………………………………………… 39

2-2-3-1- تنظيم بصورت عملي………………………………………………………………………………. 39

2-2-3-2- نتايج تأثير تكنيك های پيش پردازش متنی وابسته به زبان شناسی………………………… 40

2-2-4- بحث و تحقيقات آينده……………………………………………………………………………….. 43

2-3- تقسيم بندي صفحات وب براساس ساختار پوشه‌اي………………………………………………… 44

2-3-1 الگوريتم هاي تقسيم بندي صفحات وب……………………………………………………………. 45

2-3-2- روش مبتني بر ساختار………………………………………………………………………………… 47

2-3-3- يك كاربرد خاص…………………………………………………………………………………….. 47

2-3-3-1- استخراج مهمترين خصوصيات………………………………………………………………….. 48

2-3-3-2- عمل دسته بندي…………………………………………………………………………………….. 50

2-3-4 نتايج……………………………………………………………………………………………………….. 51

2-3-5- نتيجه گيري و عملكرد آينده………………………………………………………………………… 53

فصل سوم : جستجوي وب با استفاده از طبقه بندي خودكار

3-1- معماري …………………………………………………………………………………………………….. 57

3-1-1- دسته كننده‌ي خودكار ……………………………………………………………………………….. 57

3-1-2-واسط جستجو…………………………………………………………………………………………… 58

3-2- آزمایش معتبر سازي……………………………………………………………………………………… 59

3-2-2- برپایی آزمایش ……………………………………………………………………………………….. 60

3-2-2- نتایج تجربي……………………………………………………………………………………………. 61

3-3- فهرست لغات هر دسته…………………………………………………………………………………… 64

3-3-1- تشخیص هرزنامۀ¹ وب……………………………………………………………………………….. 66

3-3-2- تأثیرات تبعیضات……………………………………………………………………………………… 67

3-4- عملکردهای بعدی ……………………………………………………………………………………….. 68