Solution en ligne simple pour chatter avec Vigogne 2 ?

[ghost]

Bonjour,

D’abord, merci pour votre travail sur Vigogne 2 ! Sur mon Mac, que j'ai acheté pourtant cet automne, Vigogne-2-7B prend une dizaine de minutes pour répondre aux questions plus complexes. Quant à Vigogne-2-70B, il commence à taper sa réponse au bout d’une demi-heure seulement, et il avance si lentement que je n’attends même pas la fin : ça doit être une heure et quelques pour la réponse complète... Mais ça, c’est vrai aussi pour les autres modèles de cette taille. Je ne critique pas, j’explique juste ma situation personnelle.

Du coup, y a-t-il une solution en ligne simple pour chatter avec Vigogne 2 ? J’ai cherché, mais toutes celles que j’ai trouvées sont destinées aux dévs ou aux entreprises. Je n’ai rien trouvé pour le grand public. Une banale fenêtre de chat avec Vigogne-2-70B comme choix de modèle, ça me suffirait. Est-ce que ça existe ? Bien sûr, une solution payante, s’il faut. Visiblement, tout ça est très, très gourmand.

[mauceri]

Je l’utilise sur une fonction Modal de base, les temps de réponse sont vraiment décents et le prix est tout à fait abordable d’autant que 30€ sont offerts chaque mois.perroquet/modal/llama_cpp_cuda.py at main · mauceri/perroquetgithub.comChristian MauceriLe 10 nov. 2023 à 22:04, D-Vindy ***@***.***> a écrit : Bonjour, D’abord, merci pour votre travail sur Vigogne 2 ! Sur mon Mac, que j'ai acheté pourtant cet automne, Vigogne-2-7B prend une dizaine de minutes pour répondre aux questions plus complexes. Quant à Vigogne-2-70B, il commence à taper sa réponse au bout d’une demi-heure seulement, et il avance si lentement que je n’attends même pas la fin : ça doit être une heure et quelques pour la réponse complète... Mais ça, c’est vrai aussi pour les autres modèles de cette taille. Je ne critique pas, j’explique juste ma situation personnelle. Du coup, y a-t-il une solution en ligne simple pour chatter avec Vigogne 2 ? J’ai cherché, mais toutes celles que j’ai trouvées sont destinées aux dévs ou aux entreprises. Je n’ai rien trouvé pour le grand public. Une banale fenêtre de chat avec Vigogne-2-70B comme choix de modèle, ça me suffirait. Est-ce que ça existe ? Bien sûr, une solution payante, s’il faut. Visiblement, tout ça est très, très gourmand. —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[ghost]

Modal, je ne connaissais pas. Merci beaucoup pour ta suggestion ! Mais je viens de parcourir leur tutoriel sur comment héberger Llama-2-70b-chat-hf, et ce n’est pas aussi grand public que je l’espérais. Ça parle de "Dockerhub image" et il y a du code partout :

https://modal.com/docs/examples/text_generation_inference

C’est ce tutoriel que tu as suivi ?

S’il n’y a pas de solution plus simple, je vais peut-être m’y lancer. Mais rien que l’installation risque de me prendre plusieurs jours d’essai et erreur. Python c’est assez différent du Borland Turbo Pascal que j’ai étudié à l’école... :-)

[mauceri]

Utilisez ChatGPT, c’est ce que je fais, c’est très efficace, il écrit du code utilisable. Le fichier python que je vous ai fourni devrait vous fournir beaucoup d’indications. Sinon, oui, c’est une solution qui nécessite de mettre les mains dans le cambouis. Je n’ai pas utilisé de tutoriel, j’ai suivi la doc de Modal. Il me semble qu’un mac sans puce m2 est vraiment juste…En tout cas bon courage pour la suite.Christian MauceriLe 11 nov. 2023 à 21:21, D-Vindy ***@***.***> a écrit : Modal, je ne connaissais pas. Merci beaucoup pour ta suggestion ! Mais je viens de parcourir leur tutoriel sur comment héberger Llama-2-70b-chat-hf, et ce n’est pas aussi grand public que je l’espérais. Ça parle de "Dockerhub image" et il y a du code partout : https://modal.com/docs/examples/text_generation_inference Est-ce que c’est le tutoriel que tu as suivi ? S’il n’y a pas de solution plus simple, je vais peut-être m’y lancer. Mais rien que l’installation risque de me prendre plusieurs jours d’essai et erreur. Python c’est assez différent du Borland Turbo Pascal que j’ai étudié à l’école... :-) —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you commented.Message ID: ***@***.***>