ベンチャ`悶Y垢型4
C亠僥とディ`プラ`ニングによる徭隼冱ZI尖システム
テキストマイニング、TFIDF、NLTK、C亠僥、ディ`プラ`ニングの光返隈、Word Embeddingの返隈などを僥ぶ。その瘁、この峰を旋喘して、猟蛍(ウェブ猟、Twitterなどソ`シャルメディアのデ`タ)システムのBと來嬬個措のプロジェクトをg仏する。シラバス

2021定5埖

5埖10晩
娩I坪否TFIDFを喘いて猟嫗蛍に駅勣な蒙翮燭鬩@誼する。Cosine貌業により猟嫗揖平の貌業を麻する。Web貧のテキストをЪし、TFIDFを喘いて貌業麻をする。

/files/FacotryReport-2021-May%20%281%29.jpg

5埖17晩
娩I坪否彩纈Y垢型では噸粁の娩Iでは悶Yできないような坪否なので麿の娩Iに曳べて中易いです。まだ娩IはC亠僥やディ`プラ`ニングの乾り殻業ですが、これから僥ぶことはSしみです。

/files/FacotryReport-2021-May%20%282%29.jpg

5埖24晩
娩I坪否gHにwebスクレイピングして、それらのテキストを嘖~?侘否~?兆~に蛍け、それぞれの猟のコサインシミラリティを箔めたりしました。それによって、それらの猟のベクトル圭鬚霊貌來が岑れたりして、とても中易いです。

/files/FacotryReport-2021-May%20%283%29.jpg

2021定6埖

6埖14晩
試咤砂颪泙廃Г鵑世海箸鯤垢い弔帖徭蛍で深えながらプログラムのg廾を佩なっています。g廾を宥して、Web スクレイピング、テキストI尖、C亠僥についての尖盾を侮めることができます。

kobo4_6_1.png

6埖21晩
湖襭宰修蓮▲妊`プラ`ニングにd龍があり、書指の娩Iに歌紗しました。暴は書瘁冩梢として、ディ`プラ`ニングを聞っていきたいと深えているので、それに鬚韻討了A議な尖式びg廾圭隈を尖盾することができました。

kobo4_6_2.png.jpg

6埖28晩
湖襭宰修徭隼冱ZI尖やC亠僥にd龍を隔っていたので、この娩Iに歌紗しました。娩I坪では易枠伏によるvxをくだけではなく、gHに返を咾し處するので、僥んだことが附につきやすいと湖じました。また、プログラミング冱Zを Java または Python からxべるので、徭蛍のよりTれた圭を聞って、處をスム `ズにMめることが竃栖ました。

kobo4_6_3.png.jpg

2021定10埖

10埖4晩
娩I坪否Course introduction : Introduction to data mining and text mining.

/assets_c/2021/12/kobo4_Oct-26221.html

2021定11埖

11埖1晩
娩I坪否Fundamentals of text mining 1 and introduction to the Term frequency-inverse document frequency (TF-IDF). This meant to provide the student the ability to understand the basics of documents representation with vectors.

/assets_c/2021/12/kobo4_Nov_1-26224.html

11埖8晩
娩I坪否Fundamentals of text mining 2 and introduction to cosine similarity. Class activity on contents of TFIDF. This aims to introduce a use of document vectorization step.

/assets_c/2021/12/kobo4_Nov_2-26225.html

11埖15晩
娩I坪否Class activity: Calculation of TFIDF and cosine similarity. This exercise involves text retrieval, mining, and processing before applying any calculation algorithms.

/assets_c/2021/12/kobo4_Nov_3-26226.html

11埖22晩
娩I坪否Tagging of natural language sentences using natural language toolkit NLTK. This library has comprehensive tools for text mining and provides high end skills to be used in the future.

/assets_c/2021/12/kobo4_Nov_4-26227.html

11埖25晩
娩I坪否Stanford natural language library POS tagging in Java.This exercise provides experience on natural language processing using libraries in Java

/assets_c/2021/12/kobo4_Nov_5-26228.html

11埖29晩
娩I坪否SVM example from Sklearn library Document classification using SVM and SVM light. This neural network model is a good introduction for students who want to apply machine learning on an NLP task such as classification.

/assets_c/2021/12/kobo4_Nov_6-26229.html

2021定12埖

12埖6晩
娩I坪否Evaluation and classification: This session aims to give to the student an intuitive understanding of how machine learning models performance is evaluated through a basic example of calculating Precision and Recall metrics

kobo4_12_1.jpg

12埖13晩
娩I坪否Start of the First Term project

kobo4_12_2.png.jpg

12埖20晩
娩I坪否Continue with the term project II: TFIDF calculation with filtering by Stanford NLP library in Java

kobo4_12_3.jpg

2022定1埖

1埖4晩
娩I坪否Third Term project:Data crowling and processing,Word embedding using TFIDF

kobo4_1_4.jpg

1埖17晩
娩I坪否Fourth Term Project:Document classification using SVM algorithm

kobo4_1_17.png

1埖24晩
娩I坪否5th Term project:Data augmention to improve the classification model accuracy

kobo4_1_24.png

1埖31晩
娩I坪否Final Evaluation:Filtering entities like nouns, adjectives and apply TFIDF

kobo4_1_31.png