Cardinal Semiotic Class for Tamil ITN

nemo_text_processing/__init__.py

@@ -1,4 +1,4 @@
-# Copyright (c) 2021, NVIDIA CORPORATION.  All rights reserved.
+# Copyright (c) 2026, NVIDIA CORPORATION.  All rights reserved.
 #
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.

nemo_text_processing/inverse_text_normalization/__init__.py

@@ -1,4 +1,4 @@
-# Copyright (c) 2021, NVIDIA CORPORATION.  All rights reserved.
+# Copyright (c) 2026, NVIDIA CORPORATION.  All rights reserved.
 #
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.
@@ -11,5 +11,3 @@
 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 # See the License for the specific language governing permissions and
 # limitations under the License.
-
-from nemo_text_processing.inverse_text_normalization.inverse_normalize import InverseNormalizer

nemo_text_processing/inverse_text_normalization/inverse_normalize.py

@@ -1,4 +1,4 @@
-# Copyright (c) 2021, NVIDIA CORPORATION.  All rights reserved.
+# Copyright (c) 2026, NVIDIA CORPORATION.  All rights reserved.
 #
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.
@@ -146,12 +146,18 @@ def __init__(
             from nemo_text_processing.inverse_text_normalization.ko.verbalizers.verbalize_final import (
                 VerbalizeFinalFst,
             )
+        elif lang == 'ta':  # Tamil
+            from nemo_text_processing.inverse_text_normalization.ta.taggers.tokenize_and_classify import ClassifyFst
+            from nemo_text_processing.inverse_text_normalization.ta.verbalizers.verbalize_final import (
+                VerbalizeFinalFst,
+            )
         else:
             raise NotImplementedError(f"Language {lang} has not been supported yet.")
 
         self.tagger = ClassifyFst(
             cache_dir=cache_dir, whitelist=whitelist, overwrite_cache=overwrite_cache, input_case=input_case
         )
+
         self.verbalizer = VerbalizeFinalFst()
         self.parser = TokenParser()
         self.lang = lang
@@ -211,6 +217,7 @@ def parse_args():
             'mr',
             'ja',
             'ko',
+            'ta',
         ],
         default="en",
         type=str,

nemo_text_processing/inverse_text_normalization/run_evaluate.py

@@ -1,4 +1,4 @@
-# Copyright (c) 2024, NVIDIA CORPORATION.  All rights reserved.
+# Copyright (c) 2026, NVIDIA CORPORATION.  All rights reserved.
 #
 # Licensed under the Apache License, Version 2.0 (the "License");
 # you may not use this file except in compliance with the License.
@@ -43,9 +43,9 @@ def parse_args():
             "es_en",
             "fr",
             "hi",
-            "hi_en",
             "hy",
             "ko",
+            "ta",
             "mr",
             "pt",
             "ru",
@@ -78,9 +78,13 @@ def parse_args():
     if args.lang == 'en':
         from nemo_text_processing.inverse_text_normalization.en.clean_eval_data import filter_loaded_data
     file_path = args.input
-    inverse_normalizer = InverseNormalizer(lang=args.lang, input_case=args.input_case)
 
-    print("Loading training data: " + file_path)
+    inverse_normalizer = InverseNormalizer(
+        lang=args.lang,
+        input_case=args.input_case,
+        overwrite_cache=True,
+    )
+
     if args.output_case == "lower_cased":
         to_lower = True
     elif args.output_case == "cased":
@@ -96,9 +100,9 @@ def parse_args():
         sentences_un_normalized, sentences_normalized, _ = training_data_to_sentences(training_data)
         print("- Data: " + str(len(sentences_normalized)) + " sentences")
         sentences_prediction = inverse_normalizer.inverse_normalize_list(sentences_normalized)
-        with open('result.log', 'w') as ofp:
+        with open("result.log", "w", encoding="utf-8") as ofp:
             for inp, out in zip(sentences_un_normalized, sentences_prediction):
-                ofp.write(f'{inp==out}; {inp}\t{out}\n')
+                ofp.write(f"{inp == out}; {inp}\t{out}\n")
 
         print("- Denormalized. Evaluating...")
         sentences_accuracy = evaluate(
@@ -108,21 +112,31 @@ def parse_args():
 
     print("Token level evaluation...")
     tokens_per_type = training_data_to_tokens(training_data, category=args.category)
+
     token_accuracy = {}
+
     for token_type in tokens_per_type:
         print("- Token type: " + token_type)
         tokens_un_normalized, tokens_normalized = tokens_per_type[token_type]
         print("  - Data: " + str(len(tokens_normalized)) + " tokens")
+
         tokens_prediction = inverse_normalizer.inverse_normalize_list(tokens_normalized)
+
         print("  - Denormalized. Evaluating...")
-        token_accuracy[token_type] = evaluate(tokens_prediction, tokens_un_normalized, input=tokens_normalized)
+        token_accuracy[token_type] = evaluate(
+            tokens_prediction,
+            tokens_un_normalized,
+            input=tokens_normalized,
+        )
         print("  - Accuracy: " + str(token_accuracy[token_type]))
+
     token_count_per_type = {token_type: len(tokens_per_type[token_type][0]) for token_type in tokens_per_type}
+
     token_weighted_accuracy = [
         token_count_per_type[token_type] * accuracy for token_type, accuracy in token_accuracy.items()
     ]
-    print("- Accuracy: " + str(sum(token_weighted_accuracy) / sum(token_count_per_type.values())))
 
+    print("- Accuracy: " + str(sum(token_weighted_accuracy) / sum(token_count_per_type.values())))
     print(" - Total: " + str(sum(token_count_per_type.values())), '\n')
 
     for token_type in token_accuracy:

nemo_text_processing/inverse_text_normalization/ta/data/numbers/case_suffix.tsv

@@ -0,0 +1,23 @@
+ஒன்றின்	௧ இன்
+இரண்டின்	௨ இன்
+மூன்றின்	௩ இன்
+நான்கின்	௪ இன்
+ஐந்தின்	௫ இன்
+ஆறின்	௬ இன்
+ஏழின்	௭ இன்
+எட்டின்	௮ இன்
+ஒன்பதின்	௯ இன்
+ஒன்றில்	௧ இல்
+இரண்டில்	௨ இல்
+மூன்றில்	௩ இல்
+நான்கில்	௪ இல்
+ஐந்தில்	௫ இல்
+ஆறில்	௬ இல்
+ஏழில்	௭ இல்
+எட்டில்	௮ இல்
+ஒன்பதில்	௯ இல்
+பத்தின்	௧௦ இன்
+பத்தில்	௧௦ இல்
+பத்தொன்பதில்	௧௯ இல்
+நூற்றில்	௧௦௦ இல்
+நூற்றின்	௧௦௦ இன்

nemo_text_processing/inverse_text_normalization/ta/data/numbers/crores.tsv

@@ -0,0 +1,9 @@
+௧	ஒரு கோடி
+௨	இரண்டு கோடி
+௩	மூன்று கோடி
+௪	நான்கு கோடி
+௫	ஐந்து கோடி
+௬	ஆறு கோடி
+௭	ஏழு கோடி
+௮	எட்டு கோடி
+௯	ஒன்பது கோடி

nemo_text_processing/inverse_text_normalization/ta/data/numbers/crores_join.tsv

@@ -0,0 +1,9 @@
+௧	ஒரு கோடியே
+௨	இரண்டு கோடியே
+௩	மூன்று கோடியே
+௪	நான்கு கோடியே
+௫	ஐந்து கோடியே
+௬	ஆறு கோடியே
+௭	ஏழு கோடியே
+௮	எட்டு கோடியே
+௯	ஒன்பது கோடியே

nemo_text_processing/inverse_text_normalization/ta/data/numbers/digit.tsv

@@ -0,0 +1,10 @@
+௧	ஒன்று
+௧	ஒரு
+௨	இரண்டு
+௩	மூன்று
+௪	நான்கு
+௫	ஐந்து
+௬	ஆறு
+௭	ஏழு
+௮	எட்டு
+௯	ஒன்பது

nemo_text_processing/inverse_text_normalization/ta/data/numbers/hundreds.tsv

@@ -0,0 +1,11 @@
+௧	நூறு
+௨	இருநூறு
+௩	முன்னூறு
+௪	நானூறு
+௫	ஐநூறு
+௬	அறுநூறு
+௭	எழுநூறு
+௮	எண்ணூறு
+௮	எட்டுநூறு
+௯	தொள்ளுநூறு
+௯	தொள்ளாயிரம்

nemo_text_processing/inverse_text_normalization/ta/data/numbers/hundreds_join.tsv

@@ -0,0 +1,12 @@
+௧	நூற்று
+௨	இருநூற்று
+௩	முன்னூற்று
+௪	நானூற்று
+௫	ஐநூற்று
+௬	அறுநூற்று
+௭	எழுநூற்று
+௮	எண்ணூற்று
+௮	எட்டுநூற்று
+௯	தொள்ளூற்று
+௯	தொள்ளாயிரத்து
+௯	தொள்ளுநூற்று

nemo_text_processing/inverse_text_normalization/ta/data/numbers/lakhs.tsv

@@ -0,0 +1,18 @@
+௧	ஒரு இலட்சம்
+௨	இரண்டு இலட்சம்
+௩	மூன்று இலட்சம்
+௪	நான்கு இலட்சம்
+௫	ஐந்து இலட்சம்
+௬	ஆறு இலட்சம்
+௭	ஏழு இலட்சம்
+௮	எட்டு இலட்சம்
+௯	ஒன்பது இலட்சம்
+௧	ஒரு லட்சம்
+௨	இரண்டு லட்சம்
+௩	மூன்று லட்சம்
+௪	நான்கு லட்சம்
+௫	ஐந்து லட்சம்
+௬	ஆறு லட்சம்
+௭	ஏழு லட்சம்
+௮	எட்டு லட்சம்
+௯	ஒன்பது லட்சம்

nemo_text_processing/inverse_text_normalization/ta/data/numbers/lakhs_join.tsv

@@ -0,0 +1,18 @@
+௧	ஒரு இலட்சத்து
+௨	இரண்டு இலட்சத்து
+௩	மூன்று இலட்சத்து
+௪	நான்கு இலட்சத்து
+௫	ஐந்து இலட்சத்து
+௬	ஆறு இலட்சத்து
+௭	ஏழு இலட்சத்து
+௮	எட்டு இலட்சத்து
+௯	ஒன்பது இலட்சத்து
+௧	ஒரு லட்சத்து
+௨	இரண்டு லட்சத்து
+௩	மூன்று லட்சத்து
+௪	நான்கு லட்சத்து
+௫	ஐந்து லட்சத்து
+௬	ஆறு லட்சத்து
+௭	ஏழு லட்சத்து
+௮	எட்டு லட்சத்து
+௯	ஒன்பது லட்சத்து