Είτε πρόκειται για το Bard είτε για το νέο Bing, ο αγώνας για την εκθρόνιση του ChatGPT ως της πιο διαδεδομένης τεχνητής νοημοσύνης συνομιλίας στον κόσμο φαίνεται ατελείωτος. Σε αυτό το πλαίσιο γεννήθηκε [το νέο chatbot]. Ο Κλοντ, ένα μοντέλο από την Anthropic AI, μια εταιρεία που ιδρύθηκε από πρώην υπαλλήλους της OpenAI.
Πρόσφατα κυκλοφόρησαν την ανοιχτή beta έκδοση του Claude 2, μιας βελτιωμένης έκδοσης του αρχικού που ισχυρίζεται ότι έχει χαρακτηριστικά που δεν υπάρχουν στην δωρεάν έκδοση ChatGPT, και μάλιστα βελτιώνει την αρχική απόδοση του κορυφαίου μοντέλου της OpenAI, GPT-4. Ωστόσο, Μερικές φορές, η προσπάθεια να κάνουμε πάρα πολλά έχει ως αποτέλεσμα να κάνουμε λίγα, και αποφασίσαμε να δοκιμάσουμε το νέο Ανθρωποπικό μοντέλο. για να σας βοηθήσουμε να πάρετε την απόφαση να αντικαταστήσετε το ChatGPT με αυτό το νέο εργαλείο.
Αυτός είναι ο Claude 2. Το "ChatGPT Killer" που όλοι θέλουν να δοκιμάσουν
Πριν ξεκινήσουμε, πρέπει να ξεκαθαρίσουμε ότι Το Claude 2 είναι ένα μοντέλο που βρίσκεται αυτήν τη στιγμή σε ανοιχτή beta έκδοση.Με άλλα λόγια, αυτό που είναι διαθέσιμο αυτή τη στιγμή είναι μια πειραματική έκδοση, παρόμοια με αυτήν που έχουμε αυτήν τη στιγμή του Google Bard. Είναι σημαντικό να τονιστεί αυτό για να αποφευχθεί η υπερβολική αυστηρότητα κατά την ανάλυση αυτού του μοντέλου.
Αρχικά, τα 3 πιο ενδιαφέροντα χαρακτηριστικά του Claude 2 είναι η ικανότητά του να Κατανόηση εγγράφων κειμένου σε μορφή PDF, δυνατότητα εκτέλεσης αναζητήσεων στο διαδίκτυο και ενημέρωση βάσης δεδομένων στις αρχές του 2023κάτι που αποτελεί σημαντικό πλεονέκτημα σε σχέση με το ChatGPT, του οποίου η εκπαίδευση περιορίζεται σε δεδομένα του 2021.
Σας παρουσιάζουμε τον Claude 2! Το τελευταίο μας μοντέλο έχει βελτιωμένη απόδοση στην κωδικοποίηση, τα μαθηματικά και τη λογική. Μπορεί να παράγει μεγαλύτερες αποκρίσεις και είναι διαθέσιμο σε έναν νέο δημόσιο ιστότοπο beta στη διεύθυνση https://t.co/uLbS2JNczH στις ΗΠΑ και το ΗΒ. pic.twitter.com/jSkvbXnqLd
— Anthropic (@AnthropicAI) Ιούλιος 11, 2023
Επιπλέον, ισχυρίζεται επίσης ότι έχει βελτιώσει τις δεξιότητες κατανόησης κώδικα, επιτυγχάνοντας βαθμολογία 71,2% στο Codex HumanEval. Αυτό είναι σχετικό επειδή εταιρείες όπως η Sourcegraph χρησιμοποιούν τη συλλογιστική του Claude 2 για να τροφοδοτήσουν τον βοηθό τεχνητής νοημοσύνης τους, Cody. και να προσφέρει καλύτερες απαντήσεις στους χρήστες του.
Και δεν μπορούμε παρά να αναφέρουμε τις μαθηματικές του ικανότητες, Έλαβε βαθμολογία 88,0% χρησιμοποιώντας το σύνολο GSM8k, το οποίο περιέχει έναν τεράστιο αριθμό ασκήσεων και προβλημάτων μαθηματικών στοιχειώδους επιπέδου.
Ωστόσο, Μπορούμε να πούμε ότι το Claude 2 είναι ένα πραγματικό διαμάντι. Ή μήπως είναι πολύ νωρίς;
Η εμπειρία μας με το Claude 2
Όπως στο IPAP Είμαστε από τους ανθρώπους που τους αρέσει να ελέγχουν τα πράγματα από πρώτο χέρι αντί να πιστεύουν όλη τη διαφημιστική εκστρατεία που διαφημίζεται, γι' αυτό και αποφασίσαμε να δοκιμάσουμε τις δυνατότητες του Claude 2. Στο πλαίσιο αυτό, πραγματοποιήσαμε 3 δοκιμέςΜία άσκηση περιελάμβανε την ανάλυση και σύνοψη ενός εγγράφου PDF, μια άλλη περιελάμβανε την εκτέλεση αναζήτησης στο διαδίκτυο και, τέλος, του ζητήσαμε να γράψει ένα κείμενο βασισμένο σε πληροφορίες που είχαν κοινοποιηθεί προηγουμένως στο μοντέλο.
Τεστ 1: ανάλυση και σύνθεση εγγράφου PDF
Δώσαμε στον Κλοντ ένα PDF που περιείχε μια σύντομη ιστορία με τίτλο «Ο Άγιος» από το θρυλικό βιβλίο του Γκαμπριέλ Γκαρσία Μάρκες «Δώδεκα Ιστορίες Προσκυνητών». Το παράκλησή μας ήταν να αναλύσει την ιστορία και να μας δώσει μια περίληψη. Η απάντηση του Κλοντ δεν ήταν ικανοποιητική.αν και αναγνωρίζουμε ότι ήταν σε θέση να κατανοήσει το περιεχόμενο του βιβλίου.
Ωστόσο, παρέλειψε πολλά σημαντικά μέρη και στο τέλος παρήγαγε μια μάλλον κακή περίληψη της ιστορίας, αποτυγχάνοντας να αποτυπώσει την ουσία της και βασιζόμενος κυρίως σε πολύ αόριστες πτυχές της. δίνοντας μια γενική απάντηση γεμάτη με αυτό που η ίδια η Anthropic ορίζει ως «Ψευδαισθήσεις» (Οι πληροφορίες ήταν κατασκευασμένες απλώς για να δοθεί μια λίγο-πολύ συνεκτική απάντηση).
Τεστ 2: Εκτελέστε αναζήτηση στο διαδίκτυο
Αυτή ήταν μια αρκετά εύκολη δοκιμή, καθώς δεν απαιτούσε καμία αιτιολόγηση. Σας ζητήσαμε να δώσετε μια σύντομη περίληψη της μεταγραφικής δραστηριότητας της Μπαρτσελόνα στη LaLiga της Ισπανίας. Ωστόσο, Το αποτέλεσμα δεν ήταν τόσο καθαρό όσο περιμέναμε..
Ενώ πραγματοποίησε σωστά την αναζήτηση και κατονόμασε τις επίσημες μεταγραφές του συλλόγου των Μπλαουγκράνα (Ικάι Γκουντογκάν, Ινίγκο Μαρτίνεθ, Βίτορ Ρόκε και Οριόλ Ρομέου), είχε επίσης μια άλλη περίπτωση «παραισθήσεων», ισχυριζόμενος ότι η καταλανική ομάδα βρισκόταν σε συνομιλίες με την Μπάγερν Μονάχου για την υπογραφή του Τζόσουα Κίμιχ, κάτι που είναι εντελώς ψευδές. Ωστόσο, δεδομένου του όλου ντόρου που περιβάλλει τον ισπανικό αθλητικό τύπο, μπορούμε να κατανοήσουμε τη σύγχυση, επειδή μας συμβαίνει συνέχεια. Επομένως, θα επισημάνουμε αυτήν την εξέταση ως επιτυχή.
Τεστ 3: Γράψτε ένα κείμενο βασισμένο σε πληροφορίες που έχουν κοινοποιηθεί προηγουμένως
Αυτή ήταν μια άλλη σχετικά απλή δοκιμή. Πρέπει να παραδεχτούμε ότι η ποιότητα της γραφής του Κλοντ μας έχει εκπλήξει πολύ με έναν καλό τρόπο., βελτιώνοντας σημαντικά το έργο του ChatGPT, το οποίο μερικές φορές τείνει να εξωραΐζει υπερβολικά τα κείμενα και να τα γεμίζει με επαναλαμβανόμενες λέξεις παντού.
Το Claude 2 έχει εξαιρετική γραμματική και σημασιολογία. Ωστόσο, οι «παραισθήσεις» ήταν πάρα πολλές, με δεδομένα να επινοούνται δεξιά και αριστερά μόνο και μόνο για να παρέχουν μια απάντηση υψηλότερης ποιότητας.Το χειρότερο είναι ότι όταν του είπαμε ότι τον είχαμε πιάσει, μας απάντησε: «Λυπάμαι, συνήθως επινοώ πληροφορίες για να δώσω πιο ολοκληρωμένες απαντήσεις, πρέπει να καταλάβετε ότι είμαι μοντέλο σε φάση beta και μπορώ να κάνω αυτά τα λάθη».
Και έχει δίκιο, το Claude 2 βρίσκεται ακόμα σε πειραματική φάση, οπότε είναι φυσιολογικό να κάνει αυτά τα λάθη. Ωστόσο, Μπορούμε να πούμε ότι προς το παρόν είναι πολύ καλύτερο από αυτό που μπορούμε να βρούμε στην αμηχανία του Google Bard και του New Bing σήμερα.Επομένως, θα του δώσουμε 5/10, που είναι μέτριο, αλλά παρόλα αυτά ένας βαθμός που θα περάσει.
Αν σκοπεύετε να χρησιμοποιήσετε αυτήν την τεχνητή νοημοσύνη, Προσοχή στις «παραισθήσεις» τουςΔεδομένου ότι θα μπορούσαν να δημιουργήσουν περισσότερη δουλειά από ό,τι αναμένετε για να εντοπίσετε και να διορθώσετε, η συμβουλή μας είναι να περιμένετε μέχρι το έργο να φτάσει σε πιο προχωρημένο στάδιο προτού το υιοθετήσετε πλήρως.
