Assignment4_Gianluca_Notaro.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Imports"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import nltk\n",
    "import heapq\n",
    "import numpy as np\n",
    "from nltk.corpus import brown, stopwords\n",
    "from nltk.cluster.util import cosine_distance\n",
    "from operator import itemgetter \n",
    "import itertools\n",
    "\n",
    "stop_words = stopwords.words('german')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Rouge n\n",
    "\n",
    "Rouge steht für Recall-Oriented understudy for gisting Evaluation. Es wird gebraucht um automatisch erzeugte Zusammenfassungen zu evaluieren. Es funktioniert indem es die automatisch generierten Texten nimmt und sie gegen Referenzsummaries vergleicht. \n",
    "\n",
    "Machine Summary: the cat was found under the bed\n",
    "\n",
    "Referenz Summary: the cat was under the bed\n",
    "\n",
    "### Recall und Precision\n",
    "\n",
    "Recall in ROUGE sagt einfach gesagt aus wieviel von der Referenz Summary in der Machine Summary ist.  \n",
    "\n",
    "$$Recall_{} = {{Anzahl überlappende Wörter} \\over {Anzahl Wörter in Referenz Summary}}.$$\n",
    "\n",
    "Im obigen Fall würde das 1 geben. Das ist aber zu genau um wahr zu sein. Darum wird auch noch die Precision gerechnet. Die sagt aus, wieviel der Machine Summary relevant war, oder gebruacht wurde.\n",
    "\n",
    "$$Precision_{} = {{Anzahl überlappende Wörter} \\over {Anzahl Wörter in Machine Summary}}.$$\n",
    "\n",
    "\n",
    "Dies gibt nun 0.86 und sagt somit aus, dass 6 der 7 Wörter im Machine Summary relevant waren. \n",
    "\n",
    "\n",
    "Rouge 1 und Rouge 2 machen grundsätzlich das gleiche. Rouge 1 mit Unigram(bsp von oben) Rouge 2 mit bigrams. zb:\n",
    "\n",
    "Machine: \n",
    "\n",
    "the cat, \n",
    "cat was, \n",
    "was found, \n",
    "found under, \n",
    "under the, \n",
    "the bed\n",
    "\n",
    "Referenz:\n",
    "\n",
    "the cat, \n",
    "cat was, \n",
    "was under, \n",
    "under the, \n",
    "the bed\n",
    "\n",
    "\n",
    "Das ergibt dann folgende Scores: Recall = 0.8,  Precision = 0.67\n",
    "\n",
    "Wie man sieht ist es nun deutlich ungenauer geworden. \n",
    "\n",
    "Der Grund wieso man Rouge1 und Rouge2 verwenden sollte ist weil man so besser die Genauigkeit der Zusammenfassung berehcnen kann."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Erzeut ngram für Rouge n\n",
    "def get_n_gram(n,text):\n",
    "    n_gram = set()\n",
    "    max_index = len(text) - n\n",
    "    for i in range(max_index + 1):\n",
    "        n_gram.add(tuple(text[i:i + n]))\n",
    "    return n_gram"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Nimmt Sätze und splitet es in einzelne Wörter.\n",
    "def text_to_words(sentences):\n",
    "    return list(itertools.chain(*[_.split(\" \") for _ in sentences]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Erzeugt die ngrams  für mehrere Sätze\n",
    "def get_word_ngrams(n, sentences):\n",
    "    words = text_to_words(sentences)\n",
    "    return get_n_gram(n, words)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Bereitet die Daten vor und rechnet schliesslich die  Rouge n Metriken\n",
    "def rouge_n(evaluated_sentences, reference_sentences, n=2):\n",
    "\n",
    "    evaluated_ngrams = get_word_ngrams(n, evaluated_sentences)\n",
    "    reference_ngrams = get_word_ngrams(n, reference_sentences)\n",
    "    reference_count = len(reference_ngrams)\n",
    "    evaluated_count = len(evaluated_ngrams)\n",
    "\n",
    "    # Gets the overlapping ngrams between evaluated and reference\n",
    "    overlapping_ngrams = evaluated_ngrams.intersection(reference_ngrams)\n",
    "    overlapping_count = len(overlapping_ngrams)\n",
    "\n",
    "    return f_r_p_rouge_n(evaluated_count, reference_count, overlapping_count)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Rechnet Rouge Metriken\n",
    "def f_r_p_rouge_n(evaluated_count, reference_count, overlapping_count):\n",
    "    #Edge case handling. Falls einen Wert 0 ist. \n",
    "    if evaluated_count == 0:\n",
    "        precision = 0.0\n",
    "    else:\n",
    "        precision = overlapping_count / evaluated_count\n",
    "\n",
    "    if reference_count == 0:\n",
    "        recall = 0.0\n",
    "    else:\n",
    "        recall = overlapping_count / reference_count\n",
    "    #Falls precision + recall = 0 -> div_zero Error, darum +1e-8. Es verändert den F1 score minimal\n",
    "    f1_score = 2.0 * ((precision * recall) / (precision + recall + 1e-8))\n",
    "\n",
    "    return f1_score,precision,recall"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Textrank\n",
    "Der Textrank Algorithmus basiert auf der Pagerank Algorithmus der von Google verwendet wird um Webpages einen Ranking zu geben mit Hilfe der Suchanfrage. \n",
    "\n",
    "### Aus Wikiwand\n",
    "> PageRank works by counting the number and quality of links to a page to determine a rough estimate of how important the website is. The underlying assumption is that more important websites are likely to receive more links from other websites.\n",
    "\n",
    "> PageRank is a link analysis algorithm and it assigns a numerical weighting to each element of a hyperlinked set of documents, such as the World Wide Web, with the purpose of \"measuring\" its relative importance within the set. The algorithm may be applied to any collection of entities with reciprocal quotations and references. The numerical weight that it assigns to any given element E is referred to as the PageRank of E and denoted by PR(E).\n",
    "\n",
    "\n",
    "https://www.wikiwand.com/en/PageRank\n",
    "\n",
    "### Es verwendet folgendes\n",
    "* N Seiten mit Links\n",
    "* P = PageRank Vektor(P[i] ist Pagerank von i\n",
    "* A[i][j] ist die Wahrscheinlich von i nach j zu gehen (Wert ist 0-1)\n",
    "\n",
    "\n",
    "### Pagerank zu Textrak\n",
    "\n",
    "Die Frage lautet nun, wie kommt man von Pagerank auf Textrank?\n",
    "\n",
    "Man macht folgendes:\n",
    "* Wir nehman an, ein Satz ist das gleiche wie eine Page\n",
    "* Die Wahrscheinlichkeit von Satz A zu Satz B zu gehen ist wie die Ähnlichkeit der beiden Sätzen\n",
    "\n",
    "Dabei wurde folgendes festgestellt:\n",
    "* Man muss keinen Model trainieren, es  ist unsupervised\n",
    "* Der Algorithmus ist Sprachunabhängig, jedoch sollte man trotzdem Stopwords entfernen um eine bessere Accuracy zu erreichen\n",
    "\n",
    "Diese Bedingungen müssen stets erfüllt sein damit er Algorithmus richtig läuft:\n",
    "* 0 <= similarity(A, B) <= 1\n",
    "* similarity(A, A) = 1\n",
    "* similarity(A, B) =/= 1 falls A =/= B\n",
    "\n",
    "\n",
    "Um die Ähnlichkeit zwischen 2 Vektoren zu berechnen wird die cosine_distance Funktion von nltk verwendet."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Pagerank benutzt wahrscheinlichkeiten, welche Webseite als nächstes besucht wird. Da wir das hier nicht haben benutzen wir die Ähnlichkeit zwischen 2 Sätzen und verwenden diese als Ähnlichkeit\n",
    "def sentence_similarity(sent1, sent2, stopwords=None):\n",
    "    if stopwords is None:\n",
    "        stopwords = []\n",
    "    sent1 = [w.lower() for w in sent1]\n",
    "    sent2 = [w.lower() for w in sent2]\n",
    "    all_words = list(set(sent1 + sent2))\n",
    "    vector1 = [0] * len(all_words)\n",
    "    vector2 = [0] * len(all_words)\n",
    "    #Vektor Satz 1\n",
    "    for w in sent1:\n",
    "        if w in stopwords:\n",
    "            continue\n",
    "        vector1[all_words.index(w)] += 1\n",
    "    #Vektor Satz 2\n",
    "    for w in sent2:\n",
    "        if w in stopwords:\n",
    "            continue\n",
    "        vector2[all_words.index(w)] += 1\n",
    " \n",
    "    return 1 - cosine_distance(vector1, vector2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Nun bruacht man noch die PageRank Übergangsmatrix indem wir die SentenceSimilarity Matrix verwenden."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "def build_similarity_matrix(sentences, stopwords=None):\n",
    "    # Matrix initialisieren mit 0-Werten.\n",
    "    S = np.zeros((len(sentences), len(sentences)))\n",
    " \n",
    "    for idx1 in range(len(sentences)):\n",
    "        for idx2 in range(len(sentences)):\n",
    "            if idx1 == idx2:\n",
    "                continue\n",
    "            S[idx1][idx2] = sentence_similarity(sentences[idx1], sentences[idx2], stop_words)\n",
    "    # normalize the matrix row-wise\n",
    "    for idx in range(len(S)):\n",
    "        S[idx] /= S[idx].sum()\n",
    "    return S"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "def textrank(sentences, top_n=4, stopwords=None):#top 4 Sätze gewählt damit es im 100Worte bereich lieght +=15%\n",
    "    S = build_similarity_matrix(sentences, stop_words) \n",
    "    sentence_ranks = pagerank(S)\n",
    " \n",
    "    #Sätze nach Wert sortieren\n",
    "    ranked_sentence_indexes = [item[0] for item in sorted(enumerate(sentence_ranks), key=lambda item: -item[1])]\n",
    "    selected_sentences = sorted(ranked_sentence_indexes[:top_n])\n",
    "    summary = itemgetter(*selected_sentences)(sentences)\n",
    "    return summary"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "def pagerank(A, eps=0.0001, d=0.85):\n",
    "    # eps: Algorithmus stoppen wenn Die Differenz zwischen 2 Iterationen kleiner gleich eps ist.\n",
    "    # d: Dämpfungsfaktor mit Wahrscheinlich 1-d dass eine andere Seite zufällig gewählt wird. \n",
    "    P = np.ones(len(A)) / len(A)\n",
    "    while True:\n",
    "        new_P = np.ones(len(A)) * (1 - d) / len(A) + d * A.T.dot(P)\n",
    "        delta = abs(new_P - P).sum()\n",
    "        if delta <= eps:\n",
    "            return new_P\n",
    "        P = new_P"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "def summary(text):\n",
    "    total = []\n",
    "    for i in text:\n",
    "        summary  = []\n",
    "        for idx, sentence in enumerate(textrank(i, stopwords=stopwords.words('german'))):\n",
    "            summary.append(''.join(sentence))\n",
    "        total.append(summary)\n",
    "    return total"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Daten Einlesen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "sum_train = pd.read_csv('Summarization_train.csv', delimiter=',')\n",
    "extracted_text_train = []\n",
    "extracted_summary_train = []\n",
    "for i in range(len(sum_train)):\n",
    "    extracted_text_train.append(nltk.sent_tokenize(sum_train.values[i][0]))\n",
    "    extracted_summary_train.append(nltk.sent_tokenize(sum_train.values[i][1]))\n",
    "\n",
    "sum_test = pd.read_csv('Summarization_test.csv', delimiter=',')\n",
    "extracted_text_test = []\n",
    "for i in range(len(sum_test)):\n",
    "    extracted_text_test.append(nltk.sent_tokenize(sum_test.values[i][0]))\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Scores berechnen für die ersten 100 Sätzen, da es mit mehr bei mir MemoryError verursacht."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Rouge 1: F1:  0.16047178560124856  Precision :  0.12109520406045457  Recall:  0.27817343659422256\n",
      "Rouge 2: F1:  0.09190329251135099  Precision :  0.06920316924316924  Recall:  0.16075479619192326\n"
     ]
    }
   ],
   "source": [
    "a = summary(extracted_text_train[:100])\n",
    "f1 = []\n",
    "precision = []\n",
    "recall = []\n",
    "\n",
    "for i in range(len(a)):\n",
    "    f1cur,precisioncur,recallcur = rouge_n(a[i], extracted_summary_train[i],1)\n",
    "    f1.append(f1cur)\n",
    "    precision.append(precisioncur)\n",
    "    recall.append(recallcur)\n",
    "    \n",
    "print('Rouge 1: F1: ', np.mean(f1),' Precision : ',np.mean(precision),' Recall: ',np.mean(recall))\n",
    "\n",
    "for i in range(len(a)):\n",
    "    f1cur,precisioncur,recallcur = rouge_n(a[i], extracted_summary_train[i],2)\n",
    "    f1.append(f1cur)\n",
    "    precision.append(precisioncur)\n",
    "    recall.append(recallcur)\n",
    "    \n",
    "print('Rouge 2: F1: ', np.mean(f1),' Precision : ',np.mean(precision),' Recall: ',np.mean(recall))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Summary testen auf Train file"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Nachdem das Stimmenergebnis bei der rheinland-pfälzischen Landtagswahl 2016 nicht für eine Fortsetzung der Rot-Grünen Koalition ausgereicht hatte, eine schwarz-gelbe Koalition jedoch ebenfalls keine Mehrheit erzielen konnte und Malu Dreyer eine Grosse Koalition als \"Ultima Ratio\" befand, einigten sich SPD, FDP und Bündnis 90/Die Grünen auf die Bildung der ersten Ampelkoalition in Rheinland-Pfalz.', 'Auch in Schleswig-Holstein war zuvor eine aufgrund des zweiten Platzes der SPD weniger realistische, aber von den Grünen lange bevorzugte Ampelkoalition nach Sondierungen mit der FDP nicht zu Stande gekommen, so dass dort eine in Deutschland bis dahin noch seltener diskutierte Schwarze Ampel-Koalition unter Führung der CDU gebildet wurde.', 'Nach der Landtags- und Gemeinderatswahl in Wien 1996 wurde eine solche Variante rechnerisch möglich, allerdings wurde seitens der SPÖ eine stabile Zweierkoalition mit ÖVP bevorzugt.', 'Unter dem Begriff traffic light coalition wird in England eine Koalition unter Einschluss der Labour Party, den Liberal Democrats und der Green Party of England and Wales verstanden, die beispielsweise im City Council des englischen Verwaltungsbezirkes City of Lancaster die Mehrheitsfraktionen stellen.']\n",
      "\n",
      "['Mit \"Ampelkoalition\" wird in Deutschland üblicherweise eine regierende Koalition der Parteien SPD, FDP und Bündnis 90/Die Grünen bezeichnet, da die traditionellen Farben dieser Parteien den Farben einer Ampel entsprechen.', 'Auf Bundesebene ist eine solche Konstellation bislang nicht zustande gekommen, aber auf Landes- und Kommunalebene gibt es Beispiele für solche Koalitionen.', 'Als Ampelkoalition bezeichnet wurde die von 1990 bis 1994 in Brandenburg bestehende Regierungskoalition, obwohl die Grünen an der 5-%-Hürde gescheitert waren und stattdessen Bündnis 90 mitregierte.', 'Bündnis 90 fusionierte 1993 mit den Grünen zu Bündnis 90/Die Grünen, die Fraktionsmitglieder des Bündnis 90 traten der neuen Partei jedoch nicht alle bei.', 'Eine echte Ampelkoalition regierte von 1991 bis 1995 in Bremen.', 'Einige Versuche zur Bildung einer solchen Koalition scheiterten.', 'Nach der Wahl zum Abgeordnetenhaus von Berlin 2001 war dies der Fall.', 'Sondierungsgespräche in dieser Richtung nach der Landtagswahl in Nordrhein-Westfalen 2010 führten ebenso wenig zum Erfolg.', 'Ferner wurden Ampelkoalitionen in den letzten Jahren auf Bundes- und Landesebene von der FDP und insbesondere von Guido Westerwelle mit Verweis auf die unterschiedlichen Parteiprogramme von SPD und Grünen einerseits und der FDP andererseits wiederholt abgelehnt.', 'Nachdem das Stimmenergebnis bei der rheinland-pfälzischen Landtagswahl 2016 nicht für eine Fortsetzung der Rot-Grünen Koalition ausgereicht hatte, eine schwarz-gelbe Koalition jedoch ebenfalls keine Mehrheit erzielen konnte und Malu Dreyer eine Grosse Koalition als \"Ultima Ratio\" befand, einigten sich SPD, FDP und Bündnis 90/Die Grünen auf die Bildung der ersten Ampelkoalition in Rheinland-Pfalz.', 'Mit der Vereidigung des zweiten Kabinetts Dreyer trat diese Koalition am 18.', 'Mai 2016 ihr Amt an.', 'Eine analoge Konstellation nach der Niedersachsenwahl 2017 schied aufgrund der deutlichen Ablehnung der FDP aus, die SPD musste deswegen eine Grosse Koalition mit den intensiv bekämpften Rivalen der CDU bilden.', 'Auch in Schleswig-Holstein war zuvor eine aufgrund des zweiten Platzes der SPD weniger realistische, aber von den Grünen lange bevorzugte Ampelkoalition nach Sondierungen mit der FDP nicht zu Stande gekommen, so dass dort eine in Deutschland bis dahin noch seltener diskutierte Schwarze Ampel-Koalition unter Führung der CDU gebildet wurde.', 'Auf kommunaler Ebene gab es von Januar 2006 bis September 2006 in Bonn eine Ampelkoalition, von Juli 2006 bis Juni 2009 in der kreisfreien Stadt Darmstadt.', 'Nach den Kommunalwahlen 2009 arbeiteten Ampelkoalitionen in den nordrhein-westfälischen Grossstädten Bielefeld, Mönchengladbach und Remscheid, und nach den Kommunalwahlen in Nordrhein-Westfalen 2014 bildeten sich Bündnisse aus SPD, GRÜNE und FDP in der Landeshauptstadt Düsseldorf und in Oberhausen.', 'Nach den Kommunalwahlen in Rheinland-Pfalz 2009 fand sich in der rheinland-pfälzischen Landeshauptstadt Mainz ein Ampelbündnis, während in Trier die FDP die Ampelkoalition zwischenzeitlich verlassen hat.', 'Seit den Kommunalwahlen in Hessen 2011 bilden SPD, Bündnis90/Die Grünen und die FDP im Wetteraukreis ebenfalls eine Koalition.', 'In den Landschaftsversammlungen der höheren Kommunalverbände Rheinland und Westfalen-Lippe bildeten ebenfalls die Fraktionen von SPD, FDP und Grüne bis 2014 die Mehrheit, die so genannte \"Gestaltungsmehrheit\".', 'Als \"Afrika-Koalition\" wurde eine derartige Ampelkoalition von Fritz Goergen wegen der grün-gelb-roten Farben Afrikas erstmals in der Financial Times Deutschland im Juli 2006 bezeichnet.', 'Der grüne Politiker Jürgen Trittin schlug im September 2006 vor, stattdessen von einer Senegal-Koalition zu sprechen.', 'Die Nationalflagge des westafrikanischen Staates umfasst die Farben Grün, Gelb und Rot, wobei auf dem mittleren, gelben Streifen zudem ein grüner Stern abgebildet ist.', 'Eine Koalition aus CDU, FDP und Bündnis 90/Die Grünen wird gelegentlich als \"schwarze Ampel\" bezeichnet, häufiger jedoch als Jamaika-Koalition.', 'Eine solche Regierungskoalition wurde in der Geschichte Deutschlands oberhalb der Kommunalebene erstmals 2009 im Saarland umgesetzt, scheiterte jedoch nach zwei Jahren.', 'Seit 2017 gibt es sie in Schleswig-Holstein.', 'Im unmittelbaren Anschluss an die Bundestagswahl 2005 war sie in der Diskussion, nach der Bundestagswahl 2017 gab es Sondierungsgespräche zwischen CDU, FDP und Grünen, die jedoch von der FDP nach vier Wochen beendet wurden.', 'Nach der Landtagswahl 2012 regierten in Schleswig-Holstein SPD, Grüne und SSW in einer rot-grün-blauen Koalition, die unter dem – teilweise umstrittenen – Schlagwort Dänen-Ampel bekannt wurde.', 'Später wurde sie Küstenkoalition genannt.', 'Nach der Landtagswahl in Thüringen 2014 war eine schwarz-rot-grüne Koalitionsvariante im Gespräch und wurde nach der Landtagswahl in Sachsen-Anhalt 2016 erstmals auf Landesebene umgesetzt.', 'In Österreich wurde in den 1990er Jahren in Anlehnung an die Begriffsbildung in Deutschland unter \"Ampelkoalition\" eine Koalition aus SPÖ, Liberalem Forum und Grüne diskutiert, obwohl die Parteifarbe des \"Liberalen Forums\" damals nicht gelb, sondern hellblau war.', 'Nach der Landtags- und Gemeinderatswahl in Wien 1996 wurde eine solche Variante rechnerisch möglich, allerdings wurde seitens der SPÖ eine stabile Zweierkoalition mit ÖVP bevorzugt.', 'Dem Bedeutungsschwund des Liberalen Forums mit dem Ausscheiden aus dem Parlament nach den Nationalratswahlen 1999 folgte 2014 ein Aufgehen in der neuen liberalen Partei NEOS – Das Neue Österreich und Liberales Forum.', 'Deren Parteifarbe ist allerdings pink.', 'Eine Koalition aus SPÖ, Grünen und BZÖ ergäbe auch eine Ampel-Koalition, allerdings mit der Farbe Orange als dritter Farbe.', 'Nach und nach wurde eine solche Ampelkoalition als Möglichkeit gesehen, Schwarz-Rot zu verhindern und gleichzeitig eine Alternative zu Schwarz-Blau zu bieten.', 'Das BZÖ scheiterte aber bei der Nationalratswahl 2013 an der 4%-Hürde.', 'Das BZÖ ist weder im österreichischen Nationalrat noch im Europaparlament vertreten, lediglich 2 Abgeordnete habe Sitze in einem Landtag .', 'Als Ampelkoalition wird auch die von 2012 bis 2015 amtierende Innsbrucker Regierung aus der bürgerlich-liberalen Liste Für Innsbruck , den Grünen und der SPÖ verstanden.', 'Diese kam nach der Gemeinderatswahl 2012 zustande.', 'In Luxemburg wird eine Koalition aus Sozialdemokraten, Liberalen und Grünen als Gambia-Koalition bezeichnet, da die Parteifarbe der liberalen Demokratesch Partei blau und nicht gelb ist.', 'Rot, blau und grün sind die Nationalfarben Gambias.', 'Eine solche Koalition wurde nach der Kammerwahl 2013 unter Premierminister Xavier Bettel gebildet.', 'Damit gelang nach langer Zeit wieder eine Regierung unter Ausschluss der bislang dominierenden Christdemokraten, die bis auf eine vierjährige Unterbrechung in den 1970er-Jahren an allen Nachkriegsregierungen beteiligt waren und nach wie vor stärkste Partei sind.', 'Unter dem Begriff traffic light coalition wird in England eine Koalition unter Einschluss der Labour Party, den Liberal Democrats und der Green Party of England and Wales verstanden, die beispielsweise im City Council des englischen Verwaltungsbezirkes City of Lancaster die Mehrheitsfraktionen stellen.', 'Eine vergleichbare Koalition in Schottland zwischen Labour, Liberal Democrats und der Scottish Green Party wurde nach den Wahlen zum schottischen Parlament im Jahre 2003 diskutiert, kam aber nicht zustande.', 'In Belgien und den Niederlanden werden liberale Parteien mit der Farbe blau assoziiert.', 'Nach der Mischfarbe von rot und blau heissen Koalitionen aus Sozialdemokraten und Liberalen daher \"lila Regierung\" \"\".', 'Kommen die Grünen und/oder die linksliberalen Democraten 66 hinzu, ist von \"paars-groen\", \"paars-plus\" oder auch \"Regenbogen-Koalition\" die Rede.', 'Eine \"lila Regierung\" aus Arbeitspartei, VVD und D66 regierte in den Niederlanden von 1994 bis 2002 unter Wim Kok, wodurch erstmals seit 1945 keine Christdemokraten an der Regierung beteiligt waren.', 'Nach der Parlamentswahl 2010 wurde eine \"paars-plus\"-Koalition unter Einschluss der GroenLinks sondiert, kam aber nicht zustande.', 'In Belgien regierten von 1999 bis 2003 Liberale, Sozialisten und Grüne , auch dies war das erste Mal seit Ende des Zweiten Weltkriegs, dass die Christdemokraten in die Opposition verwiesen wurden.', 'Von 2003 bis 2007 folgte eine \"lila Regierung\" ohne die Grünen .']\n"
     ]
    }
   ],
   "source": [
    "print(a[5])\n",
    "print()\n",
    "print(extracted_text_train[5])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Summary testen auf Test file"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['August Wilhelm Iffland wurde in Hannover im Leibnizhaus als Sohn eines Registrators an der Königlichen Kriegskanzlei geboren.', 'Am dortigen Lyceum war er Mitschüler von Karl Philipp Moritz, der die Begegnung in seinem autobiographischen Roman \"Anton Reiser\" schilderte.', 'Iffland wurde von seinen angesehenen Eltern für das Studium der Theologie bestimmt, entwich aber 1777 heimlich nach Gotha, wo er Mitglied des Hoftheaters wurde und in Friedrich Wilhelm Gotter einen freundschaftlichen Ratgeber sowie in Conrad Ekhof, Heinrich Beck und Johann David Beil Vorbilder fand.', '1779 mit dem grössten Teil des in Gotha verabschiedeten Schauspielerpersonals von dem Kurfürsten Karl Theodor für die Mannheimer Bühne gewonnen, erwarb sich Iffland hier sowie durch Gastvorstellungen bald einen Namen.', 'Er entwickelte sich zum Charakterdarsteller, der die psychologisch-realistische Schauspielkunst in den Mittelpunkt seiner Arbeit stellte.', 'Einen Triumph erlebte er 1782 als Franz Moor in der Erstaufführung von Friedrich Schillers Stück \"Die Räuber\".', '\"Deutschland wird in diesem jungen Mann noch einen Meister finden\", würdigte Schiller dessen Leistung.', 'In Mannheim kam es zu einer engen Zusammenarbeit zwischen beiden.', '1786 lud Fürst Ludwig von Nassau-Saarbrücken Iffland in seine Saarbrücker Residenz ein.', 'Der chronisch verschuldete Schauspieler folgte der Einladung.', 'Er trat an dem Fürstenhof wiederholt auf und inszenierte einige Stücke.', 'Zusätzlich schrieb er für seinen Geldgeber Stücke wie \"Der Einsiedler\" und \"Luassan\".', 'Nach dem Einmarsch französischer Revolutionstruppen in Saarbrücken und der damit verbundenen Zerstörung des von Balthasar Wilhelm Stengel erbauten Komödienhauses beendete Iffland seine Tätigkeit an der Saar.', 'Iffland gastierte an allen bedeutenden Bühnen im deutschsprachigen Raum.', 'Im April 1796 hielt er sich auf Einladung Goethes in Weimar auf.', 'Karl August Böttiger beschrieb jede von Iffland gespielte Rolle während dieses Aufenthaltes in einer Monographie.', 'Es folgten in Weimar weitere Gastaufenthalte 1798, 1810 und 1812.', 'Bei seinem Aufenthalt 1796 schreibt Goethe folgendes Distichon in Ifflands Stammbuch: Goethe schätzte Iffland als Schauspieler ausserordentlich.', 'Iffland diente ihm als Vorbild bei der Formung des Weimarer Ensembles und seines Schauspielstils.', 'In dem Aufsatz \"Weimarer Hoftheater.', '1802\" schildert Goethe seine durch Ifflands Spiel gewonnene Erkenntnis: \"Die Erscheinung Ifflands auf unserm Theater löste endlich das Rätsel.', 'Die Weisheit, womit dieser vortreffliche Künstler seine Rollen von einander sondert, aus einer jeden ein Ganzes zu machen weiss und sich sowohl in’s Edle als in’s Gemeine, und immer Kunstmässig und schön, zu maskieren versteht, war zu eminent, als dass sie nicht hätte fruchtbar werden sollen\".', 'Im Spiel Ifflands erkannt Goethe, dass die Schauspielkunst eine autonome Kunst ist.', 'Die Kriegsereignisse veranlassten Iffland 1796, einem Ruf nach Berlin als Direktor des dortigen \"Nationaltheaters\" auf dem Gendarmenmarkt Folge zu leisten.', 'Iffland war auf Einladung des Königs Friedrich Wilhelm II.', 'im Oktober zu einem Gastspiel nach Berlin gekommen.', 'Am 27.', 'Oktober beginnt das Gastspiel in Potsdam, am 14.', 'November gibt er dem König seine Zusage und am 15.', 'Dezember erhält Iffland seine offizielle Berufung als Direktor.', '1801 und 1808 gastierte er jeweils für einige Wochen in Wien: In Wien lernte er an diesem Theater auch die Bühnenautorin und Schauspielerin Johanna Franul von Weissenthurn kennen, deren Werke in jener Zeit hochbeliebt waren und insgesamt über 900 Mal aufgeführt wurden.', 'Nur knapp verpasste er den Aufsehen erregenden tragisch-frühen Tod der Hofschauspielerin Betty Roose.', 'Auch in Privatzirkeln und Salons trat Iffland auf: Am 23.', 'Oktober 1808 war Iffland wieder in Berlin zu erleben: Die vielfachen Verdienste, die er sich bei der Verbesserung der Berliner Bühne erwarb, verschafften ihm 1811 den Rang eines \"Direktors der königlichen Schauspiele\".', 'Unter seiner Leitung entwickelte sich Berlin zu einer der führenden Theaterstädte Deutschlands.', 'Iffland starb am 22.', 'September 1814 in Berlin.', 'Sein Grab befindet sich auf dem Friedhof II der Gemeinde Jerusalems- und Neue Kirche in Kreuzberg.', 'Die Grabstätte mit einer schwarzen Granittafel in einer Ziegelsteinwand mit der Inschrift \"Iffland/starb 1814\" liegt im Feld SM.', 'Ifflands letzte Ruhestätte ist ein Ehrengrab des Landes Berlin.', 'Von Goethe erhielt Iffland die Satyr-Knöpfe als Auszeichnung für den bedeutendsten Schauspieler seiner Zeit.', '1790 wurde er vom Saarbrücker Magistrat zum ersten Ehrenbürger der damaligen Nassauischen Residenzstadt ernannt.', 'Nach Iffland wurde im sogenannten \"Schauspielerviertel\" in Hamburg-Hohenfelde die Ifflandstrasse benannt.', 'Weitere Ifflandstrassen gibt es in Berlin, Stuttgart, Mannheim, Hannover, Ludwigshafen, München und Gotha.', 'Nach ihm ist auch die Iffland-Quelle benannt, die sich im Seeberg nahe Gotha befindet.', 'Hier traf er sich mit Kollegen zum Erlernen ihrer Rollen.', 'Am 27.', 'März 2017 wurde an seinem ehemaligen Wohnort, Berlin-Mitte, Charlottenstrasse 33, eine Berliner Gedenktafel enthüllt.', 'Das bisher verschollen geglaubte umfangreiche Korrespondenzarchiv Ifflands, 6000 Schriftstücke in 34 Bänden, erschien in einer Ende 2013 angekündigten und kurz danach wieder zurückgezogenen Versteigerung in der Öffentlichkeit.', 'Es war aus dem Nachlass des Theaterdirektors im Archiv des Theaters ab 1929 in das neue Berliner Theatermuseum gelangt, von wo es dann nach dessen Zerfall 1944 schliesslich irgendwann in das Archiv der Deutschen Akademie der Künste gelangte.', 'Von dort verschwand es dann auf bisher nicht geklärte Weise.', '2012 wurden die Bände von Hugo Fetting an ein Wiener Antiquariat verkauft.', 'Wie er in den Besitz der Bände gelangt war, ist unklar.', 'André Schmitz , Berlins Kulturstaatssekretär , äusserte dazu, das Iffland-Archiv sei ein \"Kulturgut von nationalem Rang, das in Berlin bleiben muss\".', 'Das Land Berlin erstattete Anzeige.', 'Die Besitzverhältnisse seien noch nicht eindeutig geklärt.', 'Bei der Klärung des Sachverhalts wurde die deutsche Bundesregierung einbezogen.', 'Kulturstaatsministerin Monika Grütters sagte dazu: Der Iffland-Ring wird von seinem Träger testamentarisch an den seiner Meinung nach \"jeweils bedeutendsten und würdigsten Bühnenkünstler des deutschsprachigen Theaters auf Lebenszeit verliehen\".', 'Als Schauspieler zeichnete sich Iffland weniger durch Genialität als vielmehr durch eine kunstvoll bis ins kleinste berechnete Darstellung aus.', 'Am besten glückten ihm chargierte und komische sowie gemütvoll rührende Rollen, die der Sphäre des Familien- und bürgerlichen Lebens angehören.', 'Zu tragischen und heroischen Rollen war er schon durch sein Äusseres weniger befähigt.', 'Als Dramatiker ist er in der Sittenschilderung am bedeutendsten; seine Stücke zeigen weniger moralisierende Breite als vielmehr eine ausserordentliche Bühnen- und Menschenkenntnis und eine gemütlich-sittliche Tendenz.', 'Ältere Sekundärliteratur findet sich auf der .']\n",
      "\n",
      "['1779 mit dem grössten Teil des in Gotha verabschiedeten Schauspielerpersonals von dem Kurfürsten Karl Theodor für die Mannheimer Bühne gewonnen, erwarb sich Iffland hier sowie durch Gastvorstellungen bald einen Namen.', 'Nach dem Einmarsch französischer Revolutionstruppen in Saarbrücken und der damit verbundenen Zerstörung des von Balthasar Wilhelm Stengel erbauten Komödienhauses beendete Iffland seine Tätigkeit an der Saar.', 'Karl August Böttiger beschrieb jede von Iffland gespielte Rolle während dieses Aufenthaltes in einer Monographie.', 'Die Kriegsereignisse veranlassten Iffland 1796, einem Ruf nach Berlin als Direktor des dortigen \"Nationaltheaters\" auf dem Gendarmenmarkt Folge zu leisten.']\n"
     ]
    }
   ],
   "source": [
    "print(extracted_text_test[50])\n",
    "print()\n",
    "summary  = []\n",
    "for idx, sentence in enumerate(textrank(extracted_text_test[50], stopwords=stopwords.words('german'))):\n",
    "    summary.append(''.join(sentence))\n",
    "        \n",
    "print(summary)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}