ORES

Uyarı:

The ORES infrastructure is being deprecated by the Machine Learning team, please check wikitech:ORES for more info.

ORES (/ɔɹz/) tr:Makine öğrenimi makine öğrenimi hizmet olarak sağlayan Puanlama Platformu ekibi tarafından sağlanan Wikimedia projeleri için bir web hizmeti ve API'sidir. Sistem, kritik viki çalışmasını otomatikleştirmeye yardımcı olmak için tasarlanmıştır. Örneğin, vandalizm algılama ve kaldırma. Şu anda, ORES'in ürettiği iki genel puan türü “düzenleme kalitesi” ve “madde kalitesi” bağlamındadır.

ORES bir arka uç hizmetidir ve puanları doğrudan kullanmanın bir yolunu sunmaz. ORES puanlarını kullanmak istiyorsanız, ORES puanlarını kullanan araçlar listemize göz atın. ORES henüz vikinizi desteklemiyorsa, destek isteme talimatlarına bakın.

ORES ile ilgili sorularınıza cevap mı arıyorsunuz? ORES SSS sayfasına kontrol edin.

Düzenleme kalitesi

ORES kalite akışını düzenlemesi. "İnternet"'ten Vikipedi'ye akan düzenlemelerin açıklayıcı bir diyagramı, ORES'ten önce yapılan düzenlemelerin "bilinmeyen" kalitesini ve "iyi", "incelenmeye ihtiyaç duyar", "zarar verici" etiketleme ORES kullanıma sunulduktan sonra mümkündür.

Wikimedia'nın açık projeleriyle ilgili en kritik endişelerden biri, potansiyel olarak zarar verici katkıların incelenmeleri ("düzenlemeler"). Ayrıca iyi niyetle katkıda bulunanları (kasıtsız olarak zarara neden olabilecek) belirleme ve onlara destek verme ihtiyacı da vardır. Bu modeller Special:RecentChanges beslemesi yoluyla filtreleme işini kolaylaştırmak için tasarlanmıştır. Düzenleme kalitesi tahmin modelleri için iki düzey destek sunuyoruz: temel ve gelişmiş.

Temel destek

En zararlı düzenlemelerin geri alma düzenlenmesi ve zarar vermeyen düzenlemelerin geri döndürülmemesi olacağını varsayarsak, düzenlemelerin geçmişini (ve geri döndürülen düzenlemelerin) bir viki. Bu modelin kurulumu kolaydır, ancak hasar ve vandalizm dışındaki nedenlerle birçok düzenlemenin geri döndürülmesi sorunundan muzdariptir. Buna yardımcı olmak için kötü kelimelere dayalı bir model oluşturuyoruz.

• geri alındı – bir düzenlemenin sonunda geri döndürülüp döndürülmeyeceğini tahmin eder

Gelişmiş destek

Varsayımlardan, editörlerden ORES'i hangi düzenlemelerin aslında zarar verici olduğunu ve hangi düzenlemelerin iyi niyet içine kaydedilmiş gibi göründüğünü öğretmesini isteyebiliriz. Bu, topluluktaki gönüllülerin ek çalışmalarını gerektirir, ancak bir düzenlemenin kalitesi konusunda daha doğru ve incelikli bir tahmin sağlar. Birçok araç yalnızca hedef viki için gelişmiş destek mevcut olduğunda çalışır.

• zarar – bir düzenlemenin hasara neden olup olmadığını tahmin eder
• iyi niyet – düzenlemenin iyi niyetle kaydedilip kaydedilmediğini tahmin eder

Madde kalitesi

İngilizce Vikipedi değerlendirme tablosu. İngilizce Vikipedi değerlendirme tablosunun bir ekran görüntüsü (Haziran 2024 tarihinden itibaren)

Vikipedi maddelerin kalitesi, Vikipedistler için temel bir sorundur. Spam, vandalizm ve saldırı maddelerin vikide kalmamasını sağlamak için yeni sayfalar incelenmeli ve derlenmelidir. İlk tedaviden sağ çıkan maddeler için, Vikipedistlerin bir kısmı makalelerin kalitesini düzenli olarak değerlendirir, ancak bu oldukça emek yoğundur ve değerlendirmeler genellikle güncel değildir.

Yeni madde değerlendirmesi

Ciddi sorunlu taslak maddeler ne kadar hızlı kaldırılırsa o kadar iyidir. Yeni sayfa kreasyonlarını iyileştirmek çok iş olabilir. Düzenlemelerde karşı-vandalizm sorunu gibi, makine tahminleri de küratörlerin önce en sorunlu yeni sayfalara odaklanmalarına yardımcı olabilir. Hizmetlilerin sayfaları sildiklerinde bıraktıkları yorumlara dayanarak (logging tablosuna bakın), hangi sayfaların hızlı bir şekilde silinmesi gerektiğini tahmin etmek için bir model eğitebiliriz. Türkçe Vikipedi'nin hızlı silme nedenlerinin bir listesi için tr:VP:HS sayfasına bakın. Türkçe modeli için G3 "vandalizm", G10 "saldırı" ve G11 "spam" kullandık.

• draftquality – maddenin hızlı bir şekilde silinmesi gerekip gerekmediğini tahmin eder (spam, vandalizm, saldırı veya iyi)

Mevcut madde değerlendirmesi

İlk tedaviden sağ çıkan maddeler için, bazı büyük Vikipedistler maddelerin kalitesini düzenli olarak İngilizce Vikipedi 1.0 değerlendirme derecelendirme ölçeğine ("madde kalitesi") karşılık gelen bir ölçek kullanarak değerlendirmektedir. Bu değerlendirmelere sahip olmak çok yararlıdır, çünkü ilerlememizi ölçmemize ve kaçırılmış fırsatları belirlememize yardımcı olur (örneğin, düşük kaliteli popüler maddeler). Bununla birlikte, bu değerlendirmeleri güncel tutmak zordur, bu nedenle kapsam tutarsızdır. articlequality makine öğrenimi modelinin kullanışlı olduğu yer burasıdır. İnsanların gerçekleştirdiği madde kalitesi değerlendirmelerini çoğaltmak için bir model eğiterek, her maddeyi ve her düzeltmeyi bir bilgisayarla otomatik olarak değerlendirebiliriz. Bu model, Vikiprojeler triyaj değerlendirme çalışmasına yardımcı olmak ve makale kalitesi iyileştirmelerine yol açan düzenleme dinamiklerini araştırmak için kullanılmıştır.

Madde kalitesi modeli, tahminlerini maddenin yapısal özelliklerine dayandırmaktadır. Ör. Kaç bölüm var? Bilgi kutusu var mı? Kaç kaynakça var? Kaynakça bir {{Cite xxx }} şablonu kullanıyor mu? Madde kalitesi modeli yazının kalitesini veya bir ton problemi olup olmadığını değerlendirmez (örneğin, itilen bir bakış açısı). Bununla birlikte, maddelerin yapısal özelliklerinin çoğu iyi yazma ve ton ile güçlü bir şekilde ilişkili gibi görünmektedir, bu nedenle modeller pratikte çok iyi çalışır.

• articlequality – * articlequality – bir maddenin veya taslağın (Vikipedi 1.0 benzeri) değerlendirme sınıfını tahmin eder

Konu yönlendirme

Konu Çapraz yürüyüş. Çapraz viki etiketleme sürecinin bir görselleştirmesi sunulmaktadır. Vikipedi'nin Vikiproje maddeleri topikal ilgi alanına göre etiketliyor. Vikiprojeler, konu etiketlerinin sınıflandırılması şeklinde düzenlenmiştir. Konu etiketleri, Vikiveri site bağlantıları aracılığıyla diğer vikilerdeki maddelere uygulanır.

ORES'in madde konusu modeli, Vikipedi'deki herhangi bir makaleye - hatta yeni madde taslaklarına - sezgisel bir yukarıdan aşağı sınıflandırma uygular. Bu konu yönlendirme, yeni maddeleri seçmek, çalışma listeleri oluşturmak, yeni Vikiproje oluşturmak ve kapsam boşluklarını analiz etmek için kullanışlıdır.

ORES konu modelleri, gerçek içeriğin en:word embedding kullanılarak eğitilir. Her dil için, dile özgü bir gömme öğrenilir ve yerel olarak uygulanır. Bu modelleme stratejisi maddenin konusuna bağlı olduğundan, konu tahminleri maddenin metninde bulunan konulara bağlı olarak diller arasında farklılık gösterebilir.

Yeni madde değerlendirmesi

Yeni madde yönlendirme. Bir diyagram, Vikipedi'deki yeni makalelerin akışını yönlendirme için kullanılan 'draftquality' ve 'articletopic' ORES modelleri ile eşleştirir.

Yeni makaleleri gözden geçirmenin en büyük zorluğu, noterlik, alaka düzeyi ve doğruluğu yargılamak için konuyu bilen birini bulmaktır. drafttopic modelimiz, yeni oluşturulan maddeleri, görünür topikal yapılarına dayanarak ilgili yorumculara yönlendirmek için tasarlanmıştır. Model, maddelerin ilk revizyonuna karşı eğitilir ve test edilir ve bu nedenle yeni makale taslaklarında kullanıma uygundur.

• drafttopic – yeni bir makale taslağının konusunu tahmin eder

Konu ilgi eşlemesi

Madde etiketleme örneği (Ann Bishop). Ann Bishop Vikiproje East Anglia, Kadın bilim adamları, Kadın tarihi ve Biyografi ile etiketlenmiştir. Taksonomi çevirisi ve tahminleri sunulmaktadır. Tahminlerin, sınıflandırma bağlantılarından daha alakalı konu bilgileri içerdiğini unutmayın.

Maddelerin konuyla ilgisi, Vikipedi'de iş organizasyonu için önemli bir kavramdır. Topikal çalışma grupları, içerik üretimini yönetmek ve Vikipedi'de devriye gezmek için ortak bir strateji haline geldi. Ancak, yüksek düzeyli bir hiyerarşi pek çok nedenden dolayı kullanılamıyor veya sorgulanamıyor. Sonuç olarak, bir konu etrafında organize olmak ya da bir çalışma listesi yapmak isteyen herkes, ilgili maddeleri tanımlamak için önemli manüel çalışmalar yapmak zorundadır. articletopic modelimizle bu sorgular otomatik olarak yapılabilir.

• articletopic – bir maddenin konusunu tahmin eder (daha fazla ayrıntı )

Destek masası

ORES destek tablosu mevcut viki ve modele göre ORES desteğinin durumunu bildirir. Vikinizi listede görmüyorsanız veya kullanmak istediğiniz model için destek görmüyorsanız destek isteğinde bulunabilirsiniz.

API kullanımı

ORES, düzeltmelerle ilgili puanlama bilgilerini dinamik olarak almak için bir Restful API hizmeti sunmaktadır. API'nın kullanımı hakkında daha fazla bilgi için https://ores.wikimedia.org sayfasına bakın.

Hizmeti çok sayıda revizyonla ilgili olarak sorguluyorsanız, aşağıda açıklandığı gibi belirli bir istek dahilinde 50'den fazla revizyonu gruplamamanız önerilir. En fazla 4 paralel istek kullanılması kabul edilebilir. Lütfen bu sınırları aşmayın, aksi takdirde ORES kararsız hale gelebilir. Daha da fazla sayıda sorgu için, ORES'i yerel olarak çalıştırabilirsiniz

Örnek sorgu: http://ores.wikimedia.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318

{ "enwiki": { "models": { "draftquality": { "version": "0.0.1" }, "wp10": { "version": "0.5.0" } }, "scores": { "34854345": { "draftquality": { "score": { "prediction": "OK", "probability": { "OK": 0.7013632376824356, "attack": 0.0033607229172158775, "spam": 0.2176404529599271, "vandalism": 0.07763558644042126 } } }, "wp10": { "score": { "prediction": "FA", "probability": { "B": 0.22222314275400137, "C": 0.028102719464462304, "FA": 0.7214649122864883, "GA": 0.008833476344463836, "Start": 0.017699431000825352, "Stub": 0.0016763181497590444 } } } }, "485104318": { "draftquality": { "score": { "prediction": "OK", "probability": { "OK": 0.9870402772858909, "attack": 0.0006854267347843173, "spam": 0.010405615745053554, "vandalism": 0.0018686802342713132 } } }, "wp10": { "score": { "prediction": "Stub", "probability": { "B": 0.02035853144725939, "C": 0.021257471714087376, "FA": 0.0018133076388221472, "GA": 0.003447287158958823, "Start": 0.1470443252839051, "Stub": 0.8060790767569672 } } } } } } }

Sonuç

Örnek sorgu: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

{ "wikidatawiki": { "models": { "damaging": { "version": "0.3.0" } }, "scores": { "421063984": { "damaging": { "score": { "prediction": false, "probability": { "false": 0.9947809563336424, "true": 0.005219043666357669 } } } } } } }
Sonuç

EventStream kullanımı

ORES puanları ayrıca https://stream.wikimedia.org/v2/stream/revision-score adresinde EventStream olarak sağlanır.

Yerel kullanımı

ORES'i yerel olarak çalıştırmak için ORES Python paketini şu şekilde kurabilirsiniz:

pip install ores # needs to be python3, incompatible with python2

O zaman bunu çalıştırabilmelisiniz:

echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org (kullanıcı aracısı dizeniz buraya gelir) enwiki damaging

Çıkışını görmelisiniz

017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin> 2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout> {"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789} {"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}

Sonuç