SKARBY MUZEUM — Aplikacja webowa oparta na automatycznej detekcji obrazu

Upalny koniec maja 2018 r。,华沙 黑客艺术 :黑客马拉松,电影节,音乐节:博物馆,历史博物馆和博物馆。 杰登周末,八月zespołów,四十岁,wołonionychspośródnadesłanych150zgłoszeń,一位热情的nich naszzespół—“ DS”:皮奥特·米格达(PiotrMigdał),亚历山大·鲁特科夫斯卡(Aleksandra Rutkowska),卡罗尔·马耶克(Karol Majek),帕韦塔(Paweata)。 “ DS” czyli数据科学:dziedzina,którąwiększośćz nas zajmujesięna codzień。

HackArtmiałna celu stworzenienarzędzi:aplikacji,botów,wtyczek,itp。,opartych na sztucznej inteligencji,którepomogłybywrozwiązaniuwyzwańokreślonychprzez Muzeum。 Naszpomysłbudowaliśmyw trakcie hackathonu od podstaw,由一个人的过程进行了即时编辑。 Zdarzałosię,żpoczątkowo“ genialny”pomysłnieprzechodziłpróbyognia。 Skupiliśmysięna konkretnej grupie docelowej,jakąbyli rodzice zdziećmii na pytaniach:

Jakzachęcićrodziny do odwiedzania Muzeum吗?

Cozrobić,Aby wizyta w Muzeumstałasiędla dzieci ciekawa?

Jakzainteresowaćdzieci irodzicówzasobami Muzeum?

Przez pierwsze godzinystaraliśmysiękrytyczniepodchodzićdokażdegopomysłu。 Wierzyliśmy,naj najlepsze z nichsązazwyczaj proste,jednocześniekompleksowe。 切西利希米(Chcieliśmy),阿塞什·罗兹维萨尼(nazerozwiązanieodpowiadałona kluczowe pytania):

Dlaczegoktośchciałbyużyćnaszegonarzędzia?

Czym tonarzędziewyróżniasięod innych?

Conarzędziedajeużytkownikowi,Muzeum公司?

JakieSąJego Zalety,Jakiesłabe朋克?

Gdzieśpo drodze,wgorącejatmosferze iniezwykłychsalach Muzeum,pojawiłosięwspomnieniewrocławskichkrasnali,czyli znanej izamyśleprostej atrakcji dla rodzin zdziećmi。 Dzieci zmapąwrękuszukająkrasnali,Rodzicezwiedzająmiasto —扎巴瓦斑秃寻宝游戏 。 PodobnąrozrywkęoferująbijącerekordyPopularnościgry w rozszerzonejrzeczywistości,takie jak Ingress czy PokemonGO。 请在因果关系上选择您的名字,然后再在该门户网站上查看。

Postanowiliśmyprzenieść十人模特Muzeum。 Dlaczego niepotraktowaćgo jako miejsca,wktórymdzieciszukająskarbów? 我的名字是“ Skarby muzeum”:我想说的是,请给我更多资料。 Sam Przepis nagrębyłprosty,chcieliśmyjednak和bybyłaona zindywidualizowana i zmienna。 Ważnebyło,aby rodzice zdziećmimogli z niejkorzystaćwielokrotnie和rodzinyszukającetychskarbóww Muzeumpodążałyinnymi“ścieżkami”。 扎克(Zak)到兹罗比奇(Zrobić),我杰克(Jak)到zautomatyzować(贾斯普) Rozwiązaniemproblemuokazałosięwykorzystanie sztucznej inteligencji。

Sztuczna inteligencja pozwalazautomatyzowaćwieleczynności,szczególnietych,któresądlaczłowiekażmudneiczasochłonne。 Rozpoznanieobiektównazdjęciachulicznych,satelitarnych,analizadiagramów,rozpoznanie i analiza tekstu —zastosowańjest wiele。 Jednym z nichstałosiędla nas automatyczne rozpoznawanie,co znajdujesięna obrazach Muzeum。

Modele sztucznej inteligencji niemogądziałaćbez danych。 阿比·威科兹斯塔(AbywykorzystaćpotencjałAI)音乐学家贾基·丹恩·米利希米·多吉斯(Jakie danemieliśmydo dyspozycji w traakcie hackathonu i jakie dananemoglibyśmywprzyszłościdostaćod Muzeum)。 Wszyscy uczestnicy hackathonu mielidostępdo 200zdjęćobiektówmuzealnych,zktórychmogliskorzystaćw trakcie realizacji swoichpomysłów。

Naszerozwiązaniesprowadzasiędo stworzenia bazyokreślonychfragmentówobrazównp。 zwierząt,drzew,domów,stópitp。,zktórejdalejmoglibyśmylosowaćścieżkiposzukiwaniaskarbówwg kategorii。 Taka bazamożebyćobszerna imożnado niejdołączyćelementy z nowych ekspozycji,jeślisąone zdigitalizowane。 Jedynym ograniczeniem和wyborze片段-由tym przypadkuzbiór元素-w rozpoznawanych przez模型对象检测 ,请参见któregozamierzaliśmyużyć。

Weźmynaprzykładobraz Antoniego Brodowskiego“ Parys w czapce frygijskiej”。 Jakmożezadziałać模型物体检测与tyzy przypadku吗?

Na obrazie rozpoznamy np。 głowę,dłoń,czapkęiczłowieka ,razem zokreśleniemobszarów,naktórychwystępująte elementy(współrzędnex yprostokąta)和prawdopodobieństwem(pewność,zak W十个sposóbtworzymysłownik片段:

{kategoria_1:obraz_id,wycięty元素,(x,y),prawdopodobieństwo}

建模对象检测 (基于对象的检测 )在GitHubie上的开放源代码检索。 进行Tensorflow模型(Google Vision API),或545类别。 Kodumożliwiającyznalezienieobiektówna obrazach ze zbioru znajdujesięna naszym repozytorium盯着/ hackart-you-in-artwork。

Przygotowaniesłownika片段-与jedynieczęśćzadania在一起。 Równolegleczekałanas pracazwiązanaopracowaniem dema aplikacji。 Musieliśmyskupićsięna podstawowychfunkcjonalnościach,byzdążyćzbudowąszkieleturozwiązania:

Aplikacja ma docelowodziałaćautomatycznie。 Po podaniu nowego zbioruzdjęćtworzony jestsłownikkategorii(z dodatkowymi filtrami dla poprawieniajakościotrzymywanychelementów),zktóregopotemwyświetlanejestużytkownikowi5 kategorii do wy。 W trakcie hackathonumieliśmylimitowanyzbiórzdjęć(→mniejszawiarygodnośćautomatycznie wygenerowanychelementów)在ograniczenia czasowe,wzwiązkuz tymczęśćzadańbyłaprzez nas nadzorowana。 Np。 我的动物是猫,狗,鱼,……→动物

Vue.js可以直接在您的网站上使用。 Założyliśmy,“ Skarby muzeum”będziegrą,wktórąmożnagrać:

  • “ analogowo”:电子邮件pdf-a z片段碎片通知我,wktórychsalachsięznajdują→wyznaczoną“ścieżką” przez出售; w tym przypadku gracz nie musiużywaćsmartfona czyteżtabletu; 合作社由ćważnedlaRodziców和szkolnych wycieczek共同撰写。
  • elektronicznie:z smartfona albo tabletu,zAnalogicznąinformationacjąjakpowyżej。

我们的工作人员是一名妇女,她的工作人员是:(losowaną),妇女和其他工作人员:

瓦克(Wacky)黑客马拉松(Wath)黑客马拉松(udatra)南希特(Stworzyć)Podstawową教堂(Aplikacji),波多黎各(Kótgorii)和波卡苏耶(Pokazuje)支离破碎。 Zabrakłonam czasu nafunkcjonalnośćzwiązanązmapą我pdf-em。 W trakcie wydarzenia niemieliśmymetadanychdotyczącychlokalizacjiobrazówze zbioru,ale dane temożnadodaćna dalszym etapie prac。

Efektem naszychwysiłkówstałosię演示:

Skarby muzeum – HackArt MNW

Znajdźukryteszczegółyna obrazach –原型gry dla dzieci w muzeum。

p.migdal.pl

Oraz视频pokazującejegodziałanie:

“ Skarby muzeum”和swojej podstawowej formie mapolegaćna poszukiwaniuobrazów,aws dalszym rozwojumogłabybyćwzbogacona oweryfikację,nagradzanie,takżegrywalizację。 Określeniezasad gry,您在Motywacji上的借口,来自Bardzo Istotne和Wirezaleno Wiekuuczestnikówgry。 Innychwyzwańoczekuje 5-latek,innych 12-latek。 Przewidywaliśmy,作者:ćciekawatakżedladorosłych,作者:możnatworzyćścieżkidedykowanedojrzałymużytkownikom。

Wersja podstawowa jestgrą,wktórejuczestnik dostajelistęFragmentówwyszukania na obrazach。 Założyliśmy,délaułatwieniapodanabędziejedynie notifyacja,wktórychsalachznajdująsięobrazy —źródłafragmentów(对każdejz wersji感兴趣)。 Kolejnośćwyświetlaniafragmentówmożezostaćułożonawgkolejnościsal。

Taka gra niezakładaweryfikacji,czyużytkownikznalazłobrazy czy nie,nie przewidujetakżenagród。 莫伊斯与比奇·杰伊·米努塞姆的关系:dzieckomożechciećzostaćwjakiśsposóbnagrodzone zawysiłek,choćbysymbolicznie。

Wersja zaawansowana wprowadzaweryfikację我-potencjalnie-nagradzanie。 我的儿子是波兰人,我是达尔斯罗兹人。 Poniżej,基尔卡兹尼奇。

Weryfikacja

Metadane — Abypotwierdzićodnalezienie obrazu,常务董事,民兵powstania,itd。 Tego typu danemogąbyćwłatwysposóbwprowadzone dosłownika—一家响尾蛇属的发源人。

Zdjęcie— Bardziej zaawansowana forma weryfikacji,向prośbao wykonaniezdjęcia-obrazulub notki informationacyjnej致敬。 Aplikacjamogłaby作者:ćwzbogacona omodułporównującyobraz sfotografowany zeźródłem片段。 对rozwiązanie开玩笑dużobardziejzłożonetechnicznie。 Mogąpojawićsiętakżesytuacje,gdy摄影jest kiepskiejjakości和uniemożliwiapoprawnąweryfikację。

Podpowiedzi

Metadane —Podpowiedźdotyczącanp。 马拉拉

AI:generrowanieopisów— WykorzystaniealgorytmówGenerującychpodpisy dozdjęć:określajcecekontekst tego,合起来就是最讨厌的。 莫依(byćciekawy dodatek),乔西亚·尼·扎维兹(zicia nie zawszedziałającypoprawnie jakopodpowiedź)。

Nagrodąza poprawne wy​​szukanieobrazówmogłobybyćotrzymanie naklejek,lub innych drobnychgadżetóworaz odznaka,którąmożnaudostępnićw mediachspołecznościowych。

Gramożebyćtakżerozwiniętapodkątempracy grupowej。 Docelowomogłybyz niejkorzystaćnp。 szkoły。 Jeden zpomysłówzakładatakżegrywalizację:

  • dwie grupypodążająodrębnymiścieżkami,porównującna koniec czasprzejścia,
  • dwie grupypodążająścieżkami,któremająwspólnyostatni片段。 Dziękitemu uczestnicymogąspotkaćsięnakońcugry( kto pierwszy? )。

Grymogłybyzostaćzaproponowanetakżeosobomdorosłym:dedykowane cykle np。 “ Usta,usta”(“ Usta,usta”)很有趣。 Tego typu wydarzenia dedykowanedorosłymciesząsięczęstobardzodużymzainteresowaniem。

Observie pracujemy nadwdrożeniemrozwiązaniapilotażowego,którebędzieoparte ojednąz ekspozycji Muzeum — zbiory Galerii Sztuki XIX Wieku。 Chcielibyśmystworzyćpodstawowąwersjęgry,któramogłabybyćprzetestowana podkątempoziomutrudnościoraz innychwspółczynników。

Swoje wsparcie technicznezaoferowałanam firma deepsense.ai,któraspecjalizujesięw budowaniurozwiązańAI。

奥托里(Autorzy):皮奥特·米格达(PiotrMigdał),亚历山大·鲁特科夫斯卡(Aleksandra Rutkowska),卡罗尔·马耶克(Karol Majek),帕韦·津琴娜(PawełZięcina)和阿加塔·钦哲斯卡(AgataChęcińska)。