Problem using oaieval.py

[JimmyfaQwQ]

I run "oaieval gpt-3.5-turbo test-match" in terminal and got a error
The return is provided below:

Traceback (most recent call last):
  File "/workspace/.pyenv_mirror/user/3.8.16/bin/oaieval", line 5, in <module>
    from evals.cli.oaieval import main
  File "/workspace/evals/evals/__init__.py", line 1, in <module>
    from .api import check_sampled_text, completion_query, sample_freeform
  File "/workspace/evals/evals/api.py", line 9, in <module>
    from evals.base import ModelSpec
  File "/workspace/evals/evals/base.py", line 93, in <module>
    class ModelSpecs:
  File "/workspace/evals/evals/base.py", line 125, in ModelSpecs
    def names(self) -> dict[str, Sequence[str]]:
TypeError: 'type' object is not subscriptable

[JimmyfaQwQ]

Tried oaieval --help
Still not working, the return is as the same as above

[priyankkumar218]

Same issue for me as well

[SierotkaM]

Jak dostanę kogoś kto mi wyjaśni te ,,szlaczki" kieruję się wyborem przy takich rzeczach informatycznych słowami które zawierają jezyk naturalny naszego gatunku . I jeżeli coś źle zrobię lub niezbyt oczywistego to z góry przepraszam .jest kilka przydatnych (tak przeczuwam ) rzeczy które mogą mi się przydać ale musi ktoś mi pomóc zrozumieć albo tak żebym mógł wkleić gpt on mi wytłumaczy .jak coś muszę to mi na czerwono piszcie tylko normalnie.pozdrawiam i miłego dnia🖐️ czw., 16 mar 2023, 06:11 użytkownik Priyank Kumar ***@***.***> napisał:

…

Same issue for me as well [image: Screenshot 2023-03-16 at 10 39 44 AM] <https://user-images.githubusercontent.com/12366834/225520736-c7a378e5-4fc4-4aff-b12d-99824fd3f457.png> — Reply to this email directly, view it on GitHub <#218 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/A6PJHHQP5RWJG47FVHCWJB3W4KOG5ANCNFSM6AAAAAAV4V3NPM> . You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[rubbybbs]

Change python version to 3.9.16 helps in my case.

[JimmyfaQwQ]

Change python version to 3.9.16 helps in my case.

thx I'll try

[JimmyfaQwQ]

Change python version to 3.9.16 helps in my case.

It do help, the problem was solved, thanks.