Modified abbrevs 'hv.' and 'þm.'; added tests

Author: vthorsteinsson

src/tokenizer/Abbrev.conf

@@ -911,7 +911,7 @@ yfirl.* = "yfirleitt" ao
 # Lagaskammstafanir
 Alþ.* = "Alþingi" hk
 alþ.* = "Alþingi" hk
-alþm.* = "alþingismaður" kk
+alþm. = "alþingismaður" kk
 atkv.* = "atkvæði" hk
 atkvgr.* = "atkvæðagreiðsla"
 barnal.* = "barnalögin" hk
@@ -984,7 +984,7 @@ viðskn.* = "viðskiptanefnd" kvk
 viðskrh.* = "viðskiptaráðherra" kk
 viðskrn.* = "viðskiptaráðuneyti" hk
 vsl.* = "vátryggingasamningalögin" hk
-vþm.* = "varaþingmaður" kk
+vþm. = "varaþingmaður" kk
 ál.! = "ályktun" kvk
 úrsk.* = "úrskurður" kk
 útfl.* = "útflutningur" kk
@@ -994,7 +994,8 @@ vvl.* = "lög um verðbréfaviðskipti" hk
 þfl.* = "þingflokkur" kk
 þflform.* = "þingflokksformaður" kk
 þl.* = "þinglýsingalögin" hk
-þm.* = "þingmaður" kk		# Eða þolmynd
+þingm. = "þingmaður" kk
+þm. = "þingmaður" kk		# Eða þolmynd
 þskj.* = "þingskjal" hk
 
 nf.* = "nefnifall" hk

test/test_tokenizer.py

@@ -1146,6 +1146,19 @@ def test_abbrev():
         Tok(kind=TOK.PUNCTUATION, txt=".", val=(3, ".")),
         Tok(kind=TOK.S_END, txt=None, val=None),
     ]
+    tokens = list(t.tokenize("Ég ræddi við hv. þm. Halldóru Mogensen."))
+    assert tokens == [
+        Tok(kind=TOK.S_BEGIN, txt=None, val=(0, None)),
+        Tok(kind=TOK.WORD, txt="Ég", val=None),
+        Tok(kind=TOK.WORD, txt="ræddi", val=None),
+        Tok(kind=TOK.WORD, txt="við", val=None),
+        Tok(kind=TOK.WORD, txt="hv.", val=[('hæstvirtur', 0, 'lo', 'skst', 'hv.', '-'), ('háttvirtur', 0, 'lo', 'skst', 'hv.', '-')]),
+        Tok(kind=TOK.WORD, txt="þm.", val=[('þingmaður', 0, 'kk', 'skst', 'þm.', '-')]),
+        Tok(kind=TOK.WORD, txt="Halldóru", val=None),
+        Tok(kind=TOK.WORD, txt="Mogensen", val=None),
+        Tok(kind=TOK.PUNCTUATION, txt=".", val=(3, ".")),
+        Tok(kind=TOK.S_END, txt=None, val=None),
+    ]
     tokens = list(t.tokenize("Það var snemma dags. Fuglarnir sungu."))
     assert tokens == [
         Tok(kind=TOK.S_BEGIN, txt=None, val=(0, None)),