knn.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "import nltk\n",
    "from nltk.corpus import wordnet as wn\n",
    "from nltk.corpus import genesis\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "from nltk.tokenize import word_tokenize\n",
    "from nltk.stem.porter import PorterStemmer\n",
    "from nltk.stem import SnowballStemmer\n",
    "from nltk.stem.lancaster import LancasterStemmer\n",
    "from nltk.corpus import stopwords\n",
    "from sklearn.metrics import roc_auc_score\n",
    "from TurkishStemmer import TurkishStemmer\n",
    "import string"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "[nltk_data] Downloading package genesis to /home/abs/nltk_data...\n",
      "[nltk_data]   Package genesis is already up-to-date!\n",
      "[nltk_data] Downloading package wordnet to /home/abs/nltk_data...\n",
      "[nltk_data]   Package wordnet is already up-to-date!\n",
      "[nltk_data] Downloading package punkt to /home/abs/nltk_data...\n",
      "[nltk_data]   Package punkt is already up-to-date!\n",
      "[nltk_data] Downloading package averaged_perceptron_tagger to\n",
      "[nltk_data]     /home/abs/nltk_data...\n",
      "[nltk_data]   Package averaged_perceptron_tagger is already up-to-\n",
      "[nltk_data]       date!\n"
     ]
    }
   ],
   "source": [
    "nltk.download('genesis')\n",
    "nltk.download('wordnet')\n",
    "nltk.download('punkt')\n",
    "nltk.download('averaged_perceptron_tagger')\n",
    "genesis_ic = wn.ic(genesis, False, 0.0)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Model Implementation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "class KNN_NLC_Classifer():\n",
    "    def __init__(self, k=3, distance_type = 'cosine'):\n",
    "        self.k = k\n",
    "        self.distance_type = distance_type\n",
    "\n",
    "    # This function is used for training\n",
    "    def fit(self, x_train, y_train):\n",
    "        self.x_train = x_train\n",
    "        self.y_train = y_train\n",
    "\n",
    "    # This function runs the K(1) nearest neighbour algorithm and\n",
    "    # returns the label with closest match. \n",
    "    def predict(self, x_test):\n",
    "        self.x_test = x_test\n",
    "        y_predict = []\n",
    "\n",
    "        for i in range(len(x_test)):\n",
    "            max_sim = 0\n",
    "            max_index = 0\n",
    "            for j in range(self.x_train.shape[0]):\n",
    "                temp = self.document_similarity(x_test[i], self.x_train[j])\n",
    "                if temp > max_sim:\n",
    "                    max_sim = temp\n",
    "                    max_index = j\n",
    "            y_predict.append(self.y_train[max_index])\n",
    "        return y_predict\n",
    "\n",
    "    def convert_tag(self, tag):\n",
    "        \"\"\"Convert the tag given by nltk.pos_tag to the tag used by wordnet.synsets\"\"\"\n",
    "        tag_dict = {'N': 'n', 'J': 'a', 'R': 'r', 'V': 'v'}\n",
    "        try:\n",
    "            return tag_dict[tag[0]]\n",
    "        except KeyError:\n",
    "            return None\n",
    "\n",
    "\n",
    "    def doc_to_synsets(self, doc):\n",
    "        \"\"\"\n",
    "            Returns a list of synsets in document.\n",
    "            Tokenizes and tags the words in the document doc.\n",
    "            Then finds the first synset for each word/tag combination.\n",
    "        If a synset is not found for that combination it is skipped.\n",
    "\n",
    "        Args:\n",
    "            doc: string to be converted\n",
    "\n",
    "        Returns:\n",
    "            list of synsets\n",
    "        \"\"\"\n",
    "        tokens = word_tokenize(doc+' ')\n",
    "        \n",
    "        l = []\n",
    "        tags = nltk.pos_tag([tokens[0] + ' ']) if len(tokens) == 1 else nltk.pos_tag(tokens)\n",
    "        \n",
    "        for token, tag in zip(tokens, tags):\n",
    "            syntag = self.convert_tag(tag[1])\n",
    "            syns = wn.synsets(token, syntag)\n",
    "            if (len(syns) > 0):\n",
    "                l.append(syns[0])\n",
    "        return l  \n",
    "\n",
    "    def similarity_score(self, s1, s2, distance_type = 'cosine'):\n",
    "          \"\"\"\n",
    "          Calculate the normalized similarity score of s1 onto s2\n",
    "          For each synset in s1, finds the synset in s2 with the largest similarity value.\n",
    "          Sum of all of the largest similarity values and normalize this value by dividing it by the\n",
    "          number of largest similarity values found.\n",
    "\n",
    "          Args:\n",
    "              s1, s2: list of synsets from doc_to_synsets\n",
    "\n",
    "          Returns:\n",
    "              normalized similarity score of s1 onto s2\n",
    "          \"\"\"\n",
    "          s1_largest_scores = []\n",
    "\n",
    "          for i, s1_synset in enumerate(s1, 0):\n",
    "              max_score = 0\n",
    "              for s2_synset in s2:\n",
    "                  if distance_type == 'path':\n",
    "                      score = s1_synset.path_similarity(s2_synset, simulate_root = False)\n",
    "                  elif distance_type == \"cosine\":\n",
    "                      score = s1_synset.cosine_similarity(s2_synset)\n",
    "                  else:\n",
    "                      score = s1_synset.wup_similarity(s2_synset)                  \n",
    "                  if score != None:\n",
    "                      if score > max_score:\n",
    "                          max_score = score\n",
    "              \n",
    "              if max_score != 0:\n",
    "                  s1_largest_scores.append(max_score)\n",
    "          \n",
    "          mean_score = np.mean(s1_largest_scores)\n",
    "                 \n",
    "          return mean_score  \n",
    "\n",
    "    def document_similarity(self,doc1, doc2):\n",
    "          \"\"\"Finds the symmetrical similarity between doc1 and doc2\"\"\"\n",
    "\n",
    "          synsets1 = self.doc_to_synsets(doc1)\n",
    "          synsets2 = self.doc_to_synsets(doc2)\n",
    "          \n",
    "          return (self.similarity_score(synsets1, synsets2) + self.similarity_score(synsets2, synsets1)) / 2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                                                 text answer output\n",
      "0   Joe Saul ile Ed arkalarında yağan kar ile eşik...     Y6      6\n",
      "1   Sert sürekli bir yel sanki mavi göklerden yağı...     Y6      6\n",
      "2   Yaklaşan fırtınada yüzünü acımasızca ısıran su...     Y6      6\n",
      "3   Kuzey Okyanusunun balina gemilerinden çıkmış İ...     Y1      1\n",
      "4   Üzerine cehennem ateşleri yağdırır gibi bağırı...     Y6      6\n",
      "5   Kare şeklinde dizilmiş kulübelerin tam merkezi...     Y1      1\n",
      "6   Bu düşünceyle kendinden geçerek ayak parmaklar...     Y6      6\n",
      "7   O zamanlar ateşte ufak et ve yağ parçalarını p...     Y1      1\n",
      "8   Sonra Kaptan Morgan geminin ön tarafında menzi...     Y6      6\n",
      "9   Halkın sevgisini satın almaya kalkıştığı halde...     Y6      6\n",
      "10  Bir çiçek kopararak havaya fırlattım taç yapra...     Y6      6\n",
      "11  Tanrı ölümsüz yağı verdi bize birimiz diğerimi...     Y2      2\n",
      "12            Bildiği bütün lânetleri yağdıracak size     Y6      6\n",
      "13  Tıpkı “Gel şu balıkyağını iç” der gibi söylüyo...     Y1      1\n",
      "14  Dolapta ne var ne yok hepsi iliklerine kadar y...     Y1      1\n",
      "15                               Kar yağacak diyorlar     Y6      6\n",
      "16  Saat on birde kar lapa lapa yağıyor gökyüzü hi...     Y6      6\n",
      "17                    Işığı yağan karı aydınlatıyordu     Y6      6\n",
      "18  Kar yağdı eridi yağdı gene eridi sonun da yağd...     Y6      6\n",
      "19  Hafif bir kar pirinç taneciklerini andırırcası...     Y6      6\n",
      "20  Askerler yürürken konuşuyorlar özledikleri şey...     Y1      1\n",
      "21  Böyle gecelerde çelik kuşlar gibi bombalar sür...     Y6      6\n",
      "22  Bir iki metre indikten sonra bu küçük şekiller...     Y6      6\n",
      "23          Küçücük şekiller tekrar aşağıya yağıyordu     Y6      6\n",
      "24                   Silah gökten yağmur gibi yağıyor     Y6      6\n",
      "25  Siz de biliyorsunuz ki bu deney olumlu sonuç v...     Y6      6\n",
      "26  Ağır ateşte altını üstüne getirerek pişireceks...     Y1      1\n",
      "27                 Yağmur yağınca insanlar mutlu oldu     Y6      6\n",
      "28  Büyük gün geldiğinde öğleden önce arabayı çıka...     Y2      2\n",
      "29  Thomas aletler için bir baraka yaptı saban dem...     Y2      2\n",
      "30  Yağmurun yağmasından ve bunu kaçırmaktan korkt...     Y6      6\n",
      "31  Avluya çıkıp ağaca fısıldadı “Birkaç güne kalm...     Y6      6\n",
      "32  Elizabeth ara sıra onun yüzüne bakıyor yağmuru...     Y6      6\n",
      "33                        “Güzel yağıyor” dedi Joseph     Y6      6\n",
      "34  Yağmur zaman zaman çiseleyerek zaman zaman da ...     Y6      6\n",
      "35  “Fiesta sırasında yağmur yağacak” dedi ve hem ...     Y6      6\n",
      "36  Bulut insanların yağmurun yağacağını görmesi v...     Y6      6\n",
      "37  Sürekli yağan yağmurlarla nehir coşkun akıyor ...     Y6      6\n",
      "38  Yağmur hâlâ sık sık yağıyor toprağı nemden sün...     Y6      6\n",
      "39  Sıcak yağmurlar yağdığında atlar ve inekler ar...     Y6      6\n",
      "40  Biliyorum geçen yıl yağmurlar erken bastırmışt...     Y6      6\n",
      "41                           Çok yağmur yağması gerek     Y6      6\n",
      "42  Ertesi sabah güneş doğmadan ahıra gidip iki at...     Y1      1\n",
      "43  Joseph atların tüyleri maden gibi parlayıncaya...     Y1      1\n",
      "44                        Yakında yağmur yağar Joseph     Y6      6\n",
      "45                                       Umarım yağar     Y6      6\n",
      "46                         Belki bu gece yağmur yağar     Y6      6\n",
      "47     Sen sık sık yağmur yağan bir yerden geliyorsun     Y6      6\n",
      "48                          Yağmur yağarsa hiç şaşmam     Y6      6\n",
      "49  Kavrulmuş defne ağaçları havaya baharatlı bir ...     Y1      1\n",
      "\n",
      "Dosyadaki Cümle Sayısı  (5210, 3)\n"
     ]
    }
   ],
   "source": [
    "FILENAME = \"data/grup1-2-3 veriseti.csv\"          \n",
    "\n",
    "dataset = pd.read_csv(FILENAME, header = None)\n",
    "\n",
    "dataset.rename(columns = {0:'text', 1:'answer'}, inplace = True)\n",
    "\n",
    "dataset['output'] = np.array(dataset[\"answer\"])\n",
    "for i in range(dataset.shape[0]):\n",
    "    label = dataset.loc[i,\"output\"]\n",
    "    if type(label) == float:\n",
    "        dataset.drop([i], axis=0)\n",
    "        continue\n",
    "    label = re.sub(\"Y\", \"\", label)\n",
    "    dataset.loc[i,\"output\"] = label\n",
    "    \n",
    "Num_Words = dataset.shape[0]\n",
    "\n",
    "print(dataset[:50])\n",
    "print(\"\\nDosyadaki Cümle Sayısı \", dataset.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>answer</th>\n",
       "      <th>output</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Joe Saul ile Ed arkalarında yağan kar ile eşik...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Sert sürekli bir yel sanki mavi göklerden yağı...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Yaklaşan fırtınada yüzünü acımasızca ısıran su...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Kuzey Okyanusunun balina gemilerinden çıkmış İ...</td>\n",
       "      <td>Y1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Üzerine cehennem ateşleri yağdırır gibi bağırı...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5205</th>\n",
       "      <td>İnsan öldüğünde ilk önce yağları toprağa karışır</td>\n",
       "      <td>Y3</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5206</th>\n",
       "      <td>Ölüden toprağa karışan yağ bir çok insana besi...</td>\n",
       "      <td>Y3</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5207</th>\n",
       "      <td>Yağlı bir iş bulmuş torpili içeriden ayarlamıştı</td>\n",
       "      <td>Y5</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5208</th>\n",
       "      <td>Üstümüzdeki gök olmasa göktaşları başımıza yağ...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5209</th>\n",
       "      <td>Buralara kışın öyle bir kar yağar ki insan boy...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5210 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   text answer output\n",
       "0     Joe Saul ile Ed arkalarında yağan kar ile eşik...     Y6      6\n",
       "1     Sert sürekli bir yel sanki mavi göklerden yağı...     Y6      6\n",
       "2     Yaklaşan fırtınada yüzünü acımasızca ısıran su...     Y6      6\n",
       "3     Kuzey Okyanusunun balina gemilerinden çıkmış İ...     Y1      1\n",
       "4     Üzerine cehennem ateşleri yağdırır gibi bağırı...     Y6      6\n",
       "...                                                 ...    ...    ...\n",
       "5205   İnsan öldüğünde ilk önce yağları toprağa karışır     Y3      3\n",
       "5206  Ölüden toprağa karışan yağ bir çok insana besi...     Y3      3\n",
       "5207   Yağlı bir iş bulmuş torpili içeriden ayarlamıştı     Y5      5\n",
       "5208  Üstümüzdeki gök olmasa göktaşları başımıza yağ...     Y6      6\n",
       "5209  Buralara kışın öyle bir kar yağar ki insan boy...     Y6      6\n",
       "\n",
       "[5210 rows x 3 columns]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Preprocessing"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Below is the sample of training text after removing the stop words\n",
      "0    joe saul ed arkalarında yağan kar eşikte durmu...\n",
      "1    sert sürekli bir yel mavi göklerden yağıyor vâ...\n",
      "2    yaklaşan fırtınada yüzünü acımasızca ısıran su...\n",
      "3    kuzey okyanusunun balina gemilerinden çıkmış i...\n",
      "4    üzerine cehennem ateşleri yağdırır bağırır bağ...\n",
      "5    kare şeklinde dizilmiş kulübelerin tam merkezi...\n",
      "6    düşünceyle kendinden geçerek ayak parmaklarını...\n",
      "7    zamanlar ateşte ufak et yağ parçalarını pişire...\n",
      "8    sonra kaptan morgan geminin ön tarafında menzi...\n",
      "9    halkın sevgisini satın almaya kalkıştığı halde...\n",
      "Name: text, dtype: object\n"
     ]
    }
   ],
   "source": [
    "s = set(stopwords.words('turkish'))\n",
    "ps = nltk.wordnet.WordNetLemmatizer()\n",
    "stemmer = TurkishStemmer()\n",
    "for i in range(dataset.shape[0]):\n",
    "    review = dataset.loc[i,'text']\n",
    "    for punc in string.punctuation:\n",
    "        review.replace(punc, \"\")\n",
    "    review = review.lower()\n",
    "    review = review.split()\n",
    "    review = [ps.lemmatize(word) for word in review if not word in s]\n",
    "    #review = [stemmer.stem(word) for word in review if not word in s]\n",
    "    review = ' '.join(review)\n",
    "    dataset.loc[i, 'text'] = review\n",
    "X_train = dataset['text']\n",
    "y_train = dataset['output']\n",
    "print(\"Below is the sample of training text after removing the stop words\")\n",
    "print(dataset['text'][:10])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>answer</th>\n",
       "      <th>output</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>joe saul ed arkalarında yağan kar eşikte durmu...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>sert sürekli bir yel mavi göklerden yağıyor vâ...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>yaklaşan fırtınada yüzünü acımasızca ısıran su...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>kuzey okyanusunun balina gemilerinden çıkmış i...</td>\n",
       "      <td>Y1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>üzerine cehennem ateşleri yağdırır bağırır bağ...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5205</th>\n",
       "      <td>i̇nsan öldüğünde ilk önce yağları toprağa karışır</td>\n",
       "      <td>Y3</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5206</th>\n",
       "      <td>ölüden toprağa karışan yağ bir insana besin ol...</td>\n",
       "      <td>Y3</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5207</th>\n",
       "      <td>yağlı bir iş bulmuş torpili içeriden ayarlamıştı</td>\n",
       "      <td>Y5</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5208</th>\n",
       "      <td>üstümüzdeki gök olmasa göktaşları başımıza yağ...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5209</th>\n",
       "      <td>buralara kışın öyle bir kar yağar insan boyunu...</td>\n",
       "      <td>Y6</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5210 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   text answer output\n",
       "0     joe saul ed arkalarında yağan kar eşikte durmu...     Y6      6\n",
       "1     sert sürekli bir yel mavi göklerden yağıyor vâ...     Y6      6\n",
       "2     yaklaşan fırtınada yüzünü acımasızca ısıran su...     Y6      6\n",
       "3     kuzey okyanusunun balina gemilerinden çıkmış i...     Y1      1\n",
       "4     üzerine cehennem ateşleri yağdırır bağırır bağ...     Y6      6\n",
       "...                                                 ...    ...    ...\n",
       "5205  i̇nsan öldüğünde ilk önce yağları toprağa karışır     Y3      3\n",
       "5206  ölüden toprağa karışan yağ bir insana besin ol...     Y3      3\n",
       "5207   yağlı bir iş bulmuş torpili içeriden ayarlamıştı     Y5      5\n",
       "5208  üstümüzdeki gök olmasa göktaşları başımıza yağ...     Y6      6\n",
       "5209  buralara kışın öyle bir kar yağar insan boyunu...     Y6      6\n",
       "\n",
       "[5210 rows x 3 columns]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "del dataset[\"answer\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>output</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>joe saul ed arkalarında yağan kar eşikte durmu...</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>sert sürekli bir yel mavi göklerden yağıyor vâ...</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>yaklaşan fırtınada yüzünü acımasızca ısıran su...</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>kuzey okyanusunun balina gemilerinden çıkmış i...</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>üzerine cehennem ateşleri yağdırır bağırır bağ...</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5205</th>\n",
       "      <td>i̇nsan öldüğünde ilk önce yağları toprağa karışır</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5206</th>\n",
       "      <td>ölüden toprağa karışan yağ bir insana besin ol...</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5207</th>\n",
       "      <td>yağlı bir iş bulmuş torpili içeriden ayarlamıştı</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5208</th>\n",
       "      <td>üstümüzdeki gök olmasa göktaşları başımıza yağ...</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5209</th>\n",
       "      <td>buralara kışın öyle bir kar yağar insan boyunu...</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5210 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   text output\n",
       "0     joe saul ed arkalarında yağan kar eşikte durmu...      6\n",
       "1     sert sürekli bir yel mavi göklerden yağıyor vâ...      6\n",
       "2     yaklaşan fırtınada yüzünü acımasızca ısıran su...      6\n",
       "3     kuzey okyanusunun balina gemilerinden çıkmış i...      1\n",
       "4     üzerine cehennem ateşleri yağdırır bağırır bağ...      6\n",
       "...                                                 ...    ...\n",
       "5205  i̇nsan öldüğünde ilk önce yağları toprağa karışır      3\n",
       "5206  ölüden toprağa karışan yağ bir insana besin ol...      3\n",
       "5207   yağlı bir iş bulmuş torpili içeriden ayarlamıştı      5\n",
       "5208  üstümüzdeki gök olmasa göktaşları başımıza yağ...      6\n",
       "5209  buralara kışın öyle bir kar yağar insan boyunu...      6\n",
       "\n",
       "[5210 rows x 2 columns]"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Build"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "classifier = KNN_NLC_Classifer(k=3, distance_type='cosine')\n",
    "classifier.fit(X_train, y_train)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "final_test_list = ['yağ içti', \"arabayı yağladı\",\"makine yağı yere döküldü\", \"gazyağı lambasını yaktı\", \"yağ ter içinde kaldı\", \"kılıcını yağladı\",\"Joe Saul ile Ed arkalarında yağan kar ile eşikte durmuş üstlerini başlarını silkiyorlardı\"]\n",
    "                 \n",
    "test_corpus = []\n",
    "for i in range(len(final_test_list)):\n",
    "    review = final_test_list[i]\n",
    "    for punc in string.punctuation:\n",
    "        review.replace(punc, \"\")\n",
    "    review = review.lower()\n",
    "    review = review.split()\n",
    "    #review = [stemmer.stem(word) for word in review if not word in s]\n",
    "    review = [stemmer.stem(word) for word in review if not word in s]\n",
    "    review = ' '.join(review)\n",
    "    test_corpus.append(review)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/abs/projects/data_mining/kara_classify/dm_venv/lib/python3.9/site-packages/numpy/core/fromnumeric.py:3474: RuntimeWarning: Mean of empty slice.\n",
      "  return _methods._mean(a, axis=axis, dtype=dtype,\n",
      "/home/abs/projects/data_mining/kara_classify/dm_venv/lib/python3.9/site-packages/numpy/core/_methods.py:189: RuntimeWarning: invalid value encountered in double_scalars\n",
      "  ret = ret.dtype.type(ret / rcount)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                                                text code\n",
      "0                                           yağ içti    6\n",
      "1                                    arabayı yağladı    6\n",
      "2                           makine yağı yere döküldü    2\n",
      "3                            gazyağı lambasını yaktı    6\n",
      "4                               yağ ter içinde kaldı    6\n",
      "5                                   kılıcını yağladı    6\n",
      "6  Joe Saul ile Ed arkalarında yağan kar ile eşik...    6\n"
     ]
    }
   ],
   "source": [
    "y_pred_final = classifier.predict(test_corpus)\n",
    "\n",
    "output_df = pd.DataFrame(data = {'text': final_test_list, 'code': y_pred_final})\n",
    "#output_df['answer'] = np.where(output_df['code']==1, 'Doğal yağ','Mineral yağ', \"Vücut yağı\", \"Kokulu yağ\", \"Mecaz\", \"Fiil\")\n",
    "print(output_df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['6', '6', '2', '6', '6', '6', '6']"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_pred_final"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "e4698063e3e1e0d2617052e15344a47763da88e36b8dae80c72a21248384b0ae"
  },
  "kernelspec": {
   "display_name": "Python 3.9.5 ('dm_venv': venv)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.5"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}