add ag_news template, translated to pt

elk/promptsource/templates.py

@@ -24,7 +24,7 @@
 
 # These are users whose datasets should be included in the results returned by
 # filter_english_datasets (regardless of their metadata)
-INCLUDED_USERS = {"Zaid", "craffel", "lauritowal"}
+INCLUDED_USERS = {"Zaid", "craffel", "lauritowal", "christykoh"}
 
 
 def highlight(input):

elk/promptsource/templates/christykoh/ag_news_pt/templates.yaml

@@ -0,0 +1,215 @@
+dataset: ag_news_pt
+templates:
+ 24e44a81-a18a-42dd-a71c-5b31b2d2cb39: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: 24e44a81-a18a-42dd-a71c-5b31b2d2cb39
+ jinja: "Qual rótulo melhor descreve este artigo de notícias?\n{{text}} ||| \n{{answer_choices[label]\
+ \ }}"
+ metadata: !TemplateMetadata
+ choices_in_prompt: false
+ languages:
+ - pt
+ metrics:
+ - Accuracy
+ original_task: true
+ name: classify_question_first
+ reference: ''
+ 8fdc1056-1029-41a1-9c67-354fc2b8ceaf: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: 8fdc1056-1029-41a1-9c67-354fc2b8ceaf
+ jinja: "Isso é uma notícia sobre {{\"política mundial, esportes, negócios,\
+ \ ou ciência e tecnologia\"}}?\n{{text}} \n||| \n{{answer_choices[label] }}"
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics:
+ - Accuracy
+ original_task: true
+ name: classify_with_choices_question_first
+ reference: ''
+ 918267e0-af68-4117-892d-2dbe66a58ce9: !Template
+ answer_choices: Político ||| Atleta ||| Executivo de negócios ||| Cientista
+ id: 918267e0-af68-4117-892d-2dbe66a58ce9
+ jinja: 'Você recomendaria o seguinte artigo para um {{"político"}}, um {{"atleta"}},
+ um {{"executivo de negócios"}} ou um {{"cientista"}}?
+
+
+ {{ text }}
+
+ |||
+
+ {{answer_choices[label]}}'
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics:
+ - Accuracy
+ original_task: true
+ name: recommend
+ reference: ''
+ 9345df33-4f23-4944-a33c-eef94e626862: !Template
+ answer_choices: Notícias do mundo ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: 9345df33-4f23-4944-a33c-eef94e626862
+ jinja: "{{text}} \n\nQual das seguintes seções de um jornal seria esta\
+ \ artigo provavelmente aparece em? {{\"Notícias do mundo\"}}, {{\"Esportes\"}}, {{\"Negócios\"\
+ }} ou {{\"Ciência e Tecnologia\"}}? ||| \n{{answer_choices[label] }}"
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics:
+ - Accuracy
+ original_task: true
+ name: which_section_choices
+ reference: ''
+ 98534347-fff7-4c39-a795-4e69a44791f7: !Template
+ answer_choices: Notícias do mundo ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: 98534347-fff7-4c39-a795-4e69a44791f7
+ jinja: "{{text}} \n\nEm qual seção de um jornal este artigo provavelmente apareceria\
+ \ em? ||| \n{{answer_choices[label] }}"
+ metadata: !TemplateMetadata
+ choices_in_prompt: false
+ languages:
+ - pt
+ metrics:
+ - Accuracy
+ original_task: true
+ name: which_section
+ reference: ''
+ b1d49782-dfd9-41a5-87a6-8fceab9c2198: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: b1d49782-dfd9-41a5-87a6-8fceab9c2198
+ jinja: 'Considere o seguinte exemplo: '''''' {{text}} ''''''
+ Opção 1: {{answer_choices[label]}}.
+ Opção 2: {{answer_choices[1 - label]}}. Entre a opção 1 e a opção 2, o tópico deste exemplo é ||| {{answer_choices[label]}}'
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics: []
+ original_task: true
+ name: burns_1
+ reference: Burns et al
+ b2d49782-dfd9-41a5-87a6-8fceab9c2198: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: b2d49782-dfd9-41a5-87a6-8fceab9c2198
+ jinja: 'Consider the following example: '''''' {{text}} ''''''
+ Opção 1: {{answer_choices[label]}}.
+ Opção 2: {{answer_choices[1 - label]}}. Entre a opção 1 e a opção 2, qual é o tópico deste exemplo? ||| {{answer_choices[label]}}'
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics: []
+ original_task: true
+ name: burns_2
+ reference: Burns et al
+ b3d49782-dfd9-41a5-87a6-8fceab9c2198: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: b3d49782-dfd9-41a5-87a6-8fceab9c2198
+ jinja: 'Considere o seguinte exemplo: '''''' {{text}} ''''''
+ Qual é o tópico deste exemplo, opção 1: {{answer_choices[label]}},
+ ou opção 2: {{answer_choices[1 - label]}}? ||| {{answer_choices[label]}}'
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics: []
+ original_task: true
+ name: burns_3
+ reference: Burns et al
+ b4d49782-dfd9-41a5-87a6-8fceab9c2198: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: b4d49782-dfd9-41a5-87a6-8fceab9c2198
+ jinja: '{{text}}
+ Opção 1: {{answer_choices[label]}}. Opção 2: {{answer_choices[1 - label]}}. Entre a opção 1 e a opção 2, o tópico deste exemplo é ||| {{answer_choices[label]}}'
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics: []
+ original_task: true
+ name: burns_4
+ reference: Burns et al
+ b5d49782-dfd9-41a5-87a6-8fceab9c2198: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: b5d49782-dfd9-41a5-87a6-8fceab9c2198
+ jinja: '{{text}}
+ Opção 1: {{answer_choices[label]}}. Opção 2: {{answer_choices[1 - label]}}. Entre a opção 1 e a opção 2, qual é o tema deste exemplo? ||| {{answer_choices[label]}}'
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics: []
+ original_task: true
+ name: burns_5
+ reference: Burns et al
+ b6d49782-dfd9-41a5-87a6-8fceab9c2198: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: b6d49782-dfd9-41a5-87a6-8fceab9c2198
+ jinja: '{{text}}
+ Qual é o tópico deste exemplo, escolha 1: {{answer_choices[label]}}, ou escolha 2: {{answer_choices[1 - label]}}? ||| {{answer_choices[label]}}'
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics: []
+ original_task: true
+ name: burns_6
+ reference: Burns et al
+ b7d49782-dfd9-41a5-87a6-8fceab9c2198: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: b7d49782-dfd9-41a5-87a6-8fceab9c2198
+ jinja: '{{text}}
+ Qual rótulo melhor descreve este artigo de notícias, escolha 1: {{answer_choices[label]}}, ou escolha 2: {{answer_choices[1 - label]}}? ||| {{answer_choices[label]}}'
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics: []
+ original_task: true
+ name: burns_7
+ reference: Burns et al
+ b8d49782-dfd9-41a5-87a6-8fceab9c2198: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: b8d49782-dfd9-41a5-87a6-8fceab9c2198
+ jinja: '{{text}}
+ Em qual seção de um jornal esse artigo provavelmente apareceria, escolha 1: {{answer_choices[label]}}, ou escolha 2: {{answer_choices[1 - label]}}? ||| {{answer_choices[label]}}'
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics: []
+ original_task: true
+ name: burns_8
+ reference: Burns et al
+ b401b0ee-6ffe-4a91-8e15-77ee073cd858: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: b401b0ee-6ffe-4a91-8e15-77ee073cd858
+ jinja: "{{text}} \nIsto é uma notícia sobre {{\"política mundial, esportes,\
+ \ negócios ou ciência e tecnologia\"}}? ||| \n{{answer_choices[label] }}"
+ metadata: !TemplateMetadata
+ choices_in_prompt: true
+ languages:
+ - pt
+ metrics:
+ - Accuracy
+ original_task: true
+ name: classify_with_choices
+ reference: ''
+ cb355f33-7e8c-4455-a72b-48d315bd4f60: !Template
+ answer_choices: Política mundial ||| Esportes ||| Negócios ||| Ciência e Tecnologia
+ id: cb355f33-7e8c-4455-a72b-48d315bd4f60
+ jinja: "{{text}} \nQual rótulo melhor descreve esta notícia? ||| \n{{answer_choices[label]\
+ \ }}"
+ metadata: !TemplateMetadata
+ choices_in_prompt: false
+ languages:
+ - pt
+ metrics:
+ - Accuracy
+ original_task: true
+ name: classify
+ reference: ''