Auto-Essay-Grader

Posted on by Goltigar

Auto-Essay-Grader




----

Die e-rater®-Software für die automatische Bewertung von Schreibvorgängen ist die patentierte Fähigkeit von ETS zur automatisierten Auswertung von erklärenden, überzeugenden und zusammenfassenden Aufsätzen. Mehrere Bewertungsprogramme verwenden die Engine. Der Motor wird in Kombination mit menschlichen Prüfern verwendet, um die Schreibabschnitte der TOEFL iBT®- und GRE®-Tests zu bewerten.

Die E-Rater-Engine wird auch als einzige Punktzahl in Lernkontexten verwendet, z.

B. für den formativen Einsatz in einem Klassenzimmer mit dem Criterion® Online-Essay-Bewertungssystem von ETS. In der Criterion-Anwendung wird die Engine verwendet, um individualisiertes Feedback für Studenten zu generieren, das einen zunehmend wichtigen Bedarf an automatisierten Testauswertungen adressiert, der zuverlässig, gültig, schnell und flexibel ist.

Die E-Rater-Engine kann auch automatisch Antworten erkennen, die nicht zum Thema gehören oder anderweitig anomal sind und daher nicht bewertet werden sollten.

ETS hat eine aktive Forschungsagenda, die neue automatisierte Scoring-Funktionen für Genres des Schreibens jenseits traditioneller Essay-Genres erforscht und nun quellenbasierte und argumentative Schreibaufgaben, die in Assessments gefunden werden, sowie Laborberichte oder sozialwissenschaftliche Arbeiten umfasst.

Im Folgenden finden Sie einige aktuelle oder bedeutende Publikationen, die unsere Forscher verfasst haben und die die Forschung im Bereich der automatisierten Schreibevaluierung hervorheben.

  • Überwachte Metapher-Erkennung auf Wort-Ebene: Experimente zur Konkretheit und Neugewichtung von Beispielen
    B.

    Beigan-Klebanow, C. W. Leong & M. Flor
    Papier in Proceedings des Dritten Workshops über Metapher in NLP, pp. 11-20

    Die Autoren diskutieren ein überwachtes maschinelles Lernsystem, das alle Inhaltswörter in einem laufenden Text entweder als metaphorisch oder nicht metaphorisch klassifiziert.

    Erfahren Sie mehr über diese Publikation>

  • Automatische Bewertung von bildbasierten Erzählungen
    S. Somasundaran, C.-M. Lee, M. Chodorow und X. Wang
    Papier in Proceedings des zehnten Workshops über innovative Verwendung von NLP für den Aufbau von pädagogischen Anwendungen, S. 42-48

    Dieser Beitrag beschreibt eine Untersuchung von sprachlich motivierten Merkmalen zur automatischen Bewertung einer auf einem gesprochenen Bild basierenden Erzählaufgabe.

    Erfahren Sie mehr über diese Publikation>

  • Persuasive Essays mit Meinungen und ihren Zielen bewerten
    N. Farra, S. Somasundaran und J. Burstein
    Papier in Proceedings des zehnten Workshops über innovative Verwendung von NLP für den Aufbau von pädagogischen Anwendungen, S.

    64-74

    In dieser Arbeit untersuchen die Forscher, ob die Analyse von Meinungsäußerungen dazu beitragen kann, überzeugende Essays zu schreiben. Experimente mit Testteilnehmer-Essays zeigen, dass Essay-Scores, die unter Verwendung von Meinungsmerkmalen erzeugt wurden, tatsächlich mit menschlichen Scores korrelieren. Erfahren Sie mehr über diese Publikation>

  • Automatische Schreibbewertung: Ein wachsender Wissenskörper
    M.

    Shermis, J. Burstein, N. Elliot, S. Miel & P. ​​Foltz. In C. MacArthur, S. Graham und J. Fitzgerald (Hrsg.), Handbook of Writing Research, 2. Auflage, Guilford Press

    Die Autoren präsentieren eine automatisierte Schreibevaluierung in Bezug auf die Kategorien von Beweisen, die verwendet werden, um zu zeigen, dass diese Systeme beim Lehren und Bewerten von Schreiben nützlich sind. Erfahren Sie mehr über diese Publikation>

  • Automatisierte Textanalyse in Graduate School-Empfehlungen
    M.

    Heilman, F.J. Breyer, F. Williams, D.Klieger und M. Flor
    ETS Forschungsbericht Nr. RR-15-23

    Dieser Bericht untersucht die Bewertung der Stimmung in Empfehlungsschreiben. Die Forscher entwickelten und bewerteten einen Ansatz zur Analyse von Empfehlungen, bei dem (a) ermittelt wird, welche Sätze sich tatsächlich auf den Schüler beziehen; (b) Messung der Spezifität; (c) Messung der Stimmung; und (d) Vorhersagen von Empfehlungsbewertungen.

    Erfahren Sie mehr über diese Publikation>

  • Muster von Rechtschreibfehlern in L2 und L1 Deutsch: Ein Blick vom ETS Rechtschreibkorpus
    M. Flor, Y. Futagi, M. Lopez und M. Mulholland
    Bergen Sprachwissenschaft, Vol.

    6

    Dieses Papier präsentiert eine Studie von Rechtschreibfehlern, basierend auf annotierten Daten aus dem ETS-Rechtschreibkorpus. Forscher untersuchten Daten aus den TOEFL®- und GRE-Tests und stellten fest, dass die Rate der Rechtschreibfehler sank, da die Schreibkompetenz (Essay-Score) für Testteilnehmer in beiden Testprogrammen stieg. Erfahren Sie mehr über diese Publikation>

  • Inhalt Wichtigkeitsmodelle für das Scoring Schreiben von Quellen
    B.

    Beigan Klebanov, N. Madnani, N., J. Burstein und S. Somasundaran
    Vortrag im Tagungsband der 52. Jahrestagung der Gesellschaft für Computerlinguistik (Kurzbeiträge), S. 247-252

    Dieser Artikel beschreibt eine integrative Zusammenfassungsaufgabe, die bei der Bewertung von Englischkenntnissen für Nichtnationalsprecher verwendet wird, die sich an Hochschuleinrichtungen in den Vereinigten Staaten wenden.

    Die Forscher evaluieren eine Vielzahl von Inhaltsbewertungsmodellen, die dabei helfen, vorherzusagen, welche Teile des Quellmaterials der Testteilnehmer in eine erfolgreiche Reaktion einbeziehen muss. Erfahren Sie mehr über diese Publikation>

  • Verwenden des Schreibprozesses und der Produktfunktionen zum Bewerten der Schreibqualität und Ermitteln, wie sich diese Funktionen auf andere Leseaufgaben beziehen
    P.

    Deane
    ETS Forschungsbericht Nr. RR-14-03

    Dieser Bericht untersucht automatisierte Methoden zum Messen von Merkmalen des Schreibens von Schülern und zum Bestimmen ihrer Beziehung zur Schreibqualität und anderen Merkmalen der Lese- und Schreibfähigkeit, wie das Lesen von Testergebnissen.

    Das e-rater-automatisierte Essay-Scoring-System und das Keystroke-Logging stehen im Mittelpunkt. Erfahren Sie mehr über diese Publikation>

  • Vorhersage der Grammatikalität auf einer Ordinalskala
    M. Heilman, A. Cahill, N. Madnani, M.

    Lopez, M. Mulholland & J. Tetreault
    Vortrag in Tagungsband der 52. Jahrestagung der Gesellschaft für Computerlinguistik, (Kurzbeiträge), S. 174-180

    Dieser Aufsatz beschreibt ein System zur Vorhersage der Grammatikalität von Sätzen auf einer Ordinalskala.Ein solches System könnte in Bildungsanwendungen wie der Bewertung von Essays verwendet werden.

    Erfahren Sie mehr über diese Publikation>

  • Ein explizites Feedback-System für Präpositionierungsfehler basierend auf Wikipedia Revisionen
    N. Madnani und A. Cahill
    Aufsatz in den Proceedings des Neunten Workshops über die innovative Verwendung von NLP für den Aufbau pädagogischer Anwendungen, S.

    79-88

    In diesem Artikel beschreiben die Autoren ein neuartiges Tool, das sie entwickelt haben, um Sprachlernern automatisches explizites Feedback auf der Grundlage von Daten zu liefern, die aus Wikipedia-Revisionen gewonnen wurden.





    Sie demonstrieren, wie das Werkzeug für die Identifizierung von Präpositionsauswahlfehlern funktioniert. Erfahren Sie mehr über diese Publikation>

  • Schwierige Fälle: Von Daten zum Lernen und Zurück
    B. Beigan Klebanov & E.

    Beigman
    Vortrag im Tagungsband der 52. Jahrestagung der Gesellschaft für Computerlinguistik, (Kurzbeiträge), S. 390-396

    In diesem Artikel werden Fälle in annotierten Datasets behandelt, die schwer zuverlässig zu kommentieren sind. Mit einer semantischen Annotationsaufgabe liefern die Autoren den empirischen Nachweis, dass schwierige Fälle einerseits das überwachte maschinelle Lernen vereiteln und andererseits wertvolle Erkenntnisse über die Eigenschaften der für die Aufgabe gewählten Datendarstellung liefern können.

    Erfahren Sie mehr über diese Publikation>

  • Verschiedene Texte, gleiche Metaphern: Unigrams und darüber hinaus
    B. Beigan Klebanov, C. Leong, M. Heilman und M. Flor (2014)
    Aufsatz in Proceedings des zweiten Workshops über Metapher in NLP, S.

    11-17

    Dieses Papier beschreibt die Entwicklung eines überwachten Lernsystems, um alle Inhaltswörter in einem laufenden Text als entweder metaphorisch oder nicht verwendet zu klassifizieren. Erfahren Sie mehr über diese Publikation>

  • Lexikalische Verkettung für die Messung der Diskurskohärenz in Testteilnehmer-Aufsätzen
    S. Somasundaran, J. Burstein und M. Chodorow
    Auf der 25. Internationalen Konferenz für Computerlinguistik (COLING), Dublin, Irland, 23.-29.

    August 2014.
    Paper in Proceedings der COLING 2014, der 25. Internationalen Konferenz für Computerlinguistik: Technical Papers, S.

    950-961

    Die Forscher untersuchten eine Technik, die als lexikalische Verkettung bekannt ist, um die Kohärenzqualität von Diskursen in Testteilnehmer-Aufsätzen zu messen.

    In diesem Artikel beschreiben sie die Kontexte, in denen sie die beste Systemleistung erzielt haben. Erfahren Sie mehr über diese Publikation>

  • Anwenden von Argumentationsschemata für das Essay Scoring
    Y. Song, M. Heilman, B. Beigan Klebanov und P. Deane
    Aufsatz in Proceedings des ersten Workshops über Argumentation Mining, S.

    69-78

    In dieser Arbeit entwickeln die Autoren einen auf der Theorie von Argumentationsschemata basierenden Annotationsansatz, um die Struktur von Argumenten zu analysieren und ein NLP-System zur automatischen Vorhersage von kritischen Fragen in Aufsätzen zu implementieren.

    Erfahren Sie mehr über diese Publikation>

  • Handbuch der automatisierten Essay-Auswertung: Aktuelle Anwendungen und neue Richtungen
    M. D. Shermis und J. Burstein

    Dieses umfassende, interdisziplinäre Handbuch befasst sich mit den neuesten Methoden und Technologien, die bei Methoden und Technologien der automatisierten Essayevaluation (AEE) zum Einsatz kommen. New York: Routledge. Erfahren Sie mehr über diese Publikation>

  • Wortverknüpfungsprofile und ihre Verwendung für automatisierte Bewertung von Aufsätzen
    B.

    Beigan Klebanov & M. Flor
    Paper in Proceedings der 51. Jahrestagung der Association for Computerlinguistik (Band 1: Long Papers).





    pp. 1148-1158

    Die Autoren beschreiben eine neue Darstellung des Inhaltsvokabulars in einem Text, den sie als "Wortassoziationsprofil" bezeichnen. Das Papier präsentiert eine Studie über die Beziehung zwischen der Qualität der Schreib- und Wortvereinigungsprofile. Erfahren Sie mehr über diese Publikation>

  • Robuste Systeme zur Korrektur von Präpositionsfehlern mit Wikipedia Revisionen
    A.

    Cahill, N. Madnani, J. Tetreault und D. Napolitano
    In Proceedings of the Conference des North American Chapter der Association for Computerlinguists: Human Language Technologies, pp. 507-517, Atlanta, Ga.

    Dieser Artikel befasst sich mit der fehlenden Generalisierbarkeit von Präpositionierungsfehlerkorrektursystemen über verschiedene Testsätze hinweg.

    Die Autoren präsentieren dann ein großes neues annotiertes Korpus, das beim Training solcher Systeme verwendet werden soll, und illustrieren die Verwendung des Korpus in Trainingssystemen über drei getrennte Testsätze hinweg. Erfahren Sie mehr über diese Publikation>

  • Erkennen von fehlenden Bindestrichen im Lerntext
    A.

    Cahill, M. Chodorow, S. Wolff & N. Madnani
    In Proceedings des achten Workshops über die innovative Verwendung von NLP für den Aufbau von pädagogischen Anwendungen, S. 300-305, Atlanta, Ga.

    In diesem Artikel wird eine Methode zum automatischen Erkennen fehlender Bindestriche in englischem Text vorgestellt. Erfahren Sie mehr über diese Publikation>

  • Das e-rater® Automatisierte Essay Scoring System
    J.

    Burstein, J. Tetreault und N. Madnani. In M. D. Shermis & J. Burstein (Hrsg.), Handbook of Automated Essay Scoring: Aktuelle Anwendungen und zukünftige Richtungen. New York: Routledge.

    Dieses Handbuchkapitel enthält eine Beschreibung des E-Rater-automatisierten Aufsatz-Bewertungssystems und seines NLP-zentrierten Ansatzes sowie eine Diskussion der Systemanwendungen und Entwicklungsbemühungen für aktuelle und zukünftige Bildungseinstellungen.

    Erfahren Sie mehr über diese Publikation>

  • Eine schnelle und flexible Architektur für sehr große Word-N-Gramm-Datensätze
    M. Flor
    Natural Language Engineering, FirstView-Online-Publikation, S.





    1-33

    Dieser Artikel stellt eine vielseitige Architektur vor, die eine neuartige Architektur verwendet, eine verlustfreie Komprimierung bietet und sowohl die Geschwindigkeit als auch die Speicherauslastung optimiert. Erfahren Sie mehr über diese Publikation>

  • Korrigieren von Komma-Fehlern in Lerner-Aufsätzen und Wiederherstellen von Kommas in Newswire-Text
    R.

    Israel, J. Tetreault und M. Chodorow (2012)
    Tagungsband der Tagung der Nordamerikanischen Gesellschaft für Computerlinguistik 2012: Human Language Technologies (NAACL-HLT), S. 284-294
    Verein für Computerlinguistik

    Die Autoren stellen ein System zur Erkennung und Korrektur der Platzierung von Kommas in englischsprachigen Sätzen vor. Das System kann ebenfalls Kommas in gut gestalteten Sätzen wiederherstellen.

    Erfahren Sie mehr über diese Publikation>

  • Zum Verwenden des Kontexts für die automatische Korrektur von Fehlbuchstabierungen, die nicht in Word-Schreibfehlern enthalten sind
    M.





    Flor & Y. Futagi
    Proceedings des 7. Workshops zur innovativen Nutzung natürlicher Sprachverarbeitung für den Aufbau pädagogischer Anwendungen (BEA) S. 105-115

    Die Autoren diskutieren ein neues System zur Rechtschreibprüfung, bei dem Kontextinformationen zur automatischen Korrektur von Rechtschreibfehlern verwendet werden.

    Der Artikel beschreibt, wie das System mit einer großen Anzahl von TOEFL®- und GRE®-Aufsätzen verglichen wurde, die sowohl von Muttersprachlern als auch von Nichtnativen geschrieben wurden.

    Erfahren Sie mehr über diese Publikation>

  • Verwenden von Parse-Funktionen für die Präpositionsauswahl und Fehlererkennung
    J. Tetreault, J. Foster und M. Chodorow
    Proceedings der 2010 Association for Computerlinguistik (ACL 2010)
    Verein für Computerlinguistik

    In diesem Artikel wird der Effekt der Hinzufügung von Merkmalen zur Verbesserung der Erkennung von Präpositionsfehlern durch das Schreiben von Englisch als Zweitsprache untersucht.

    Erfahren Sie mehr über diese Publikation>

  • Fortschritt und neue Richtungen in der Technologie für automatisierte Auswertung
    J. Burstein und M. Chodorow
    Das Oxford Handbook of Applied Linguistics, 2. Auflage, S. 487-497
    Oxford Universitätspresse

    Diese ETS-verfasste Arbeit ist Teil eines 39-Kapitel-Bandes, der Themen in angewandter Linguistik mit dem Ziel umfasst, einen Überblick über das Gebiet zu geben, die vielen Verbindungen zwischen seinen Teildisziplinen aufzuzeigen und mögliche Richtungen seiner zukünftigen Entwicklung zu erforschen.

    Erfahren Sie mehr über diese Publikation>

  • Verwenden von auf Entitäten basierenden Funktionen zum Modellieren von Kohärenz in Schüleraufsätzen
    J.

    Burstein, J. Tetreault und S. Andrejew
    Menschliche Sprachtechnologien: Die Jahreskonferenz 2010 des Nordamerikanischen Kapitels der ACL, S. 681-684
    Verein für Computerlinguistik

    Dieser Aufsatz beschreibt eine Studie, in der Forscher einen Algorithmus zur Beobachtung von Computerlinguistiken als Entitäten - Substantive und Pronomen - mit Funktionen zur Verarbeitung natürlicher Sprache im Zusammenhang mit Grammatikfehlern und Wortverwendung kombinierten, um Anwendungen zur Bewertung von Kohärenzbeurteilungen zu erstellen Aufsätze.

    Erfahren Sie mehr über diese Publikation>

  • Aufmerksamkeit auf




    Top

    Leave a Reply