-
Background:
Supported by the ARC-iJAC, the research led by Dr. Ewa Machotka and Dr. John Pavlopoulos (Stockholm University) has pursued the large-scale digital geospatial exploration of places depicted in Japanese early modern ukiyo-e landscape prints through Natural Language Processing (FY 2021). Their follow-up project aims to apply NLP technology to inscriptions on ukiyo-e landscape prints to facilitate a large-scale exploration of textual information featured in those prints (FY 2023).
Project leader: Dr. Ewa Machotka (Dept. of Asian and Middle Eastern Studies, Stockholm University)
Project manager: Dr. John Pavlopoulos (Dept. of Computer and Systems Sciences, Stockholm University)
Project members: Konstantina Liagkou, Panagiotis Papapetrou, Marita ChatzipanagiotouThank you very much for your time today. Could you please tell us the motivation for your ARC-iJAC research project Natural Language Processing for a Geospatial Exploration of Japanese Ukiyo-e Prints?
Machotka: The last several decades saw the rise of interest in the concept of Global Art History, understood as a heterogenous transnational and critical study of the world's cultural production. One of the challenges of this new research direction is the question of how to acknowledge the conceptual and material heterogeneity of artistic production across the world in a way that does not support a universalist understanding of cultures. This concern prompted our research. We saw that Japanese early modern landscape prints, as globally recognizable non-Western pre-modern artifacts, offer a critical testbed for considering these issues.We know that these prints are often defined today as fūkei-ga, or landscapes. However, we should not forget that the notion of fūkei is a modern cultural translation entangled with the ideology of modernization and colonial power. Originally these images were largely defined as meisho-e or 'images of famous places', and they are rooted in poetic rhetorical figures that tie seasonal images with either actual or imagined places. So, to understand meisho-e prints and their social function at the time of their production, we have to understand what places were depicted (i.e. considered culturally significant) and how these geographical locations were represented and mediated by the prints. We wanted to identify a general pattern in this mediation, which can be done easier at a large scale instead of at the level of individual prints.
Considering the richness of the corpus that includes thousands of objects, we thought that recent advances in Natural Language Processing (NLP) could effectively help us to take the first step in this study, namely the geolocation of places depicted in prints, and identification of their distribution across time and space. Our exploratory mixed-method analysis has so far delivered promising results. We developed a novel application of NLP for the Digital Humanities that demonstrates the transformative potential of AI for the study of Japanese early modern prints and Art History at large.
How have the ARC-iJAC resources supported you in realizing this project?
Liagkou: To put it plainly, our research would not be possible without the Ukiyo-e Portal Database being developed by and hosted at the Art Research Center at Ritsumeikan University. First, the Portal Database offered us access to print collections kept in different museums around the world. If this feature sounds trivial, please note that not all museums freely share their collections online with the public.Second, the ARC Ukiyo-e Portal Database offers access to an extremely rich corpus. When we started our research, the Portal Database hosted 678,429 prints kept at 28 institutions in Japan and abroad, and it is continuously growing. Hence, it offers access to a very large corpus of ukiyo-e prints facilitating 'distant viewing' or a macro analysis of the prints, thus also enabling a diversity of analytic tasks.
Third, the Portal Database features not only high-quality visual data itself (delivered in a standardized protocol) but also rich and high-quality metadata facilitating different kinds of explorations and analyses. In the context of our project, we especially appreciated image-content-related transcription of inscriptions on prints which often mention names of the places depicted in the prints. We identified these mentions with NLP, geotagged them, and then visualized them on a map.
As part of your research project, you developed an online application called Ukiyo-e Distant Viewer. Could you briefly explain its merits/ purpose?
Pavlopoulos: The Ukiyo-e Distant Viewer aims to facilitate the geolocation and visualization of recognized place-name entities found in ukiyo-e prints, enabling users to identify culturally significant places and explore their spatial distribution. This analysis covers thousands of images across Japan and provides a large-scale perspective on early modern landscape imagination.
It is important to note that our focus is not on individual prints or print series, but rather on identifying trends and changes across time.Ultimately, this tool will enable us to trace the chronological development of this imagination and gain insights into its cultural and historical significance.
How do you feel about the execution of the project? Have you come across any particular challenges?Liagkou: Our exploratory mixed-method analysis has so far been successful. First, by employing the NLP approaches such as transfer-learning and Named Entity Recognition (NER) and applying our fine-tuned recognition model on a large dataset of prints, we provided a use-case of how a macroanalysis of a visual dataset can be undertaken in art historical research of Japanese visual culture.
Machotka: We also identified a number of methodological challenges. As we know, the field of Spatial Art History--combining Geographical Information Systems (GIS), NLP, and Corpus Linguistics--has advanced in the past few years. However, although these tools perform well on modern datasets, it is not the same for historical materials.
We can encounter several problems, such as OCR errors, difficulties related to place reference identification, and place reference disambiguation (related to language changes over time), among others. The situation is even more complicated in the case of mapping meisho-e prints due to the ambiguity of the depicted visual motifs. We need to note that place identification in prints is not always facilitated by iconography or visual motives but by the image-content-related inscriptions printed in the images that often feature place names.
So, the geolocation of these sites requires the reading of inscriptions. And transcription of inscriptions is one of the main obstacles for art historians interested in a large-scale analysis of the prints. This is due to the complexity of the Japanese early-modern writing system, problems with adequate identification of place names, and material aspects of a print (e.g. color scheme and preservation state). We plan to address some of these issues in our next project, which focuses on exploring possibilities of using computational tools for the automated transcription of inscriptions on prints.
Your next project, AI-powered Text Recognition of Inscriptions in Japanese Ukiyo-e Prints, will continue to utilize Natural Language Processing (NLP) technology to study the landscape prints (meisho-e) in the ARC Ukiyo-e Portal Database. What is the significance of this project?
Pavlopoulos: In this project, we will focus on resolving the linguistic problems related to transcribing the inscriptions on prints enabling geolocating of places mentioned in these inscriptions. We will investigate the development of computational tools for the automated recognition of the text of inscriptions on prints rather than using already-transcribed inscriptions provided in the database.
As we established previously, NER can be used to successfully extract the place names from inscriptions on ukiyo-e prints. However, the tool requires transcribed digital metadata to generate information, while many museum collections lack reliable transcriptions of inscriptions on prints.
Optical character recognition and handwritten text recognition (HTR) can be used to recognize the text from an image. Due to the technological, formal, and linguistic characteristics of ukiyo-e print inscriptions, which do not use a standardized writing system or movable type, we hypothesize that handwritten text recognition could be effectively applied to inscriptions on Japanese prints.
We expect the recognized text to contain errors, and we will investigate the accuracy of extracting place-named-entities from the recognized (not transcribed) text. This multimodal methodological challenge requires testing on non-transcribed inscriptions on prints, and our study will facilitate this.
How did you first connect with the Art Research Center (ARC)? / How did you hear about the International Joint Digital Archiving Center for Japanese Art and Culture (ARC-iJAC)?
Machotka: As a scholar of Japanese art history educated in Japan, at Gakushūin University in Tokyo (thanks to the doctoral fellowship issued by MEXT), I have been well aware of the pioneering contribution of the Art Research Center (ARC) and the International Joint Digital Archiving Center for Japanese Art and Culture (ARC-iJAC) to the digitization of Japanese cultural artifacts, and computational analysis of Japanese art.
I also had the honor and pleasure to meet the leading ARC researchers, Prof. Akama Ryo, Prof. Suzuki Keiko, Prof. Yano Keiji, Dr. Matsuba Ryoko, and many other colleagues at different academic events in Europe and Japan. So, I have been aware of the important work done by the ARC, its faculty, and the research value of the ARC databases for a long time. And I have to admit that I probably would have never started my own research adventure with Digital Art History if not for the ARC and its ground-breaking work.
Is there anything else you would like to comment on or highlight?
Machotka: We would like to stress one important issue, which we think is the key to the success of Digital Humanities, and can push the frontiers of research in (Global) Art History. It is the need and value of collaboration across various disciplines, institutions, and national borders.
Communication between researchers, exchange of experiences, sharing knowledge and good practices is the key to knowledge production. Digitization processes are going fast, and many museums invest in building their digital databases and sharing their collections with the general public. But to benefit from this incredible work, we would also like to see a strengthening of analytical aspects of Digital Art History, using computational tools not only to offer wider accessibility to museum collections but also to facilitate analysis and a better understanding of art objects.
So, we would like to encourage other art historians and computer scientists to explore possibilities for collaboration. Interdisciplinary work across distant disciplines like ours is not an easy task, as we need to learn to understand and respect our divergent research approaches. But it has been a rewarding experience for our team and brought out new findings that can move our disciplines forward.
(This interview was conducted by Yinzi Emily Li.)
2023年4月12日（水）18:00より、Web配信にて第115回国際ＡＲＣセミナーを開催いたします。
プログラムは下記となります。講師：上野隆三氏（立命館大学学⻑特別補佐、文学部教授）
タイトル：「浮世絵から見る“三国志”の日本における受容」
日時：2023年4月12日（水）18:00～19：30
参加：Zoom配信（関係者のみ・予約不要）
※YouTube配信はございません。［イベント情報］2023年3月13日(月)2023年3月7日-9日の3日間、エジプトのアトゥン博物館にてトレーニングコース「Generating 3D Model for Museums Collections Using Photo-Scanning Technique」が非公開で開催されました。
Overview:
Sharing knowledge and capacity building of curators working in the Egyptian museums at the Ministry of Antiquities is one of the important ways that achieve the required development of the policies and means of preserving the Egyptian cultural heritage in a sustainable framework. In this regard, sharing advanced practical know-how and experiences that have been developed with the Art Research Center (ARC) at Ritsumeikan University in Japan achieves this goal with the support of the Japan Society for the Promotion of Science (JSPS).
Objectives:
The photo-scanning technology contributes to preserving the objects of Egyptian museums, especially at the time of crises and disasters, such as the looting and destroying the Mallawi Museum in Egypt in August 2013, in addition to the massive destruction of the Islamic Art Museum after the Cairo Security Directorate bombing on January 24, 2014, the restoration and preservation of museum groups, add to contributing to the combating and recovery of smuggling of cultural heritage assets crimes.
The photo-scanning technique generates 3D modeling for artifacts in Egyptian museums. A digital database can be created and referred to, allowing the artifacts to be identified easily through fabric, components, and elements.
The dependence on the photo-scanning application on cultural heritage assets in Egyptian museums comes as a reflection of its practical and successful implementation on the objects of the Kyoto City Archaeological Museum in Japan under the supervision and support of the ARC. It aims to create 3D modeling of collected objects in a modernist geometric form (X, Y, Z) through precise photography with a special technique, processed with the Agisoft Metashape software v2021.
日時：2023年3月7日(火)－9日(木) 9:00-14:00 (EET)
会場：The Atun Museum, Minya Governorate, Egypt
主催：The Museums Sector at the Ministry of Tourism and Antiquities, Egypt
後援：立命館大学アート・リサーチセンター 国際共同利用・共同研究拠点「日本文化資源デジタル・アーカイブ国際共同研究拠点」(ARC-iJAC)［イベント情報］2023年3月 7日(火)2023年3月7日から9日にかけて、エジプトのThe Atun Museum, Minya Governorateでトレーニングコース「Generating 3D Model for Museums Collections Using Photo-Scanning Technique」が開催されます。
非公開イベントですのでご注意ください。
日時：2023年3月7日(火)－9日(木) 9:00-14:00 (EET)
会場：The Atun Museum, Minya Governorate, Egypt
主催：The Museums Sector at the Ministry of Tourism and Antiquities, Egypt
後援：立命館大学アート・リサーチセンター 国際共同利用・共同研究拠点「日本文化資源デジタル・アーカイブ国際共同研究拠点」(ARC-iJAC)Overview:
Sharing knowledge and capacity building of curators working in the Egyptian museums at the Ministry of Antiquities is one of the important ways that achieve the required development of the policies and means of preserving the Egyptian cultural heritage in a sustainable framework. In this regard, sharing advanced practical know-how and experiences that have been developed with the Art Research Center (ARC) at Ritsumeikan University in Japan achieves this goal with the support of the Japan Society for the Promotion of Science (JSPS).Objectives:
The photo-scanning technology contributes to preserving the objects of Egyptian museums, especially at the time of crises and disasters, such as the looting and destroying the Mallawi Museum in Egypt in August 2013, in addition to the massive destruction of the Islamic Art Museum after the Cairo Security Directorate bombing on January 24, 2014, the restoration and preservation of museum groups, add to contributing to the combating and recovery of smuggling of cultural heritage assets crimes.The photo-scanning technique generates 3D modeling for artifacts in Egyptian museums. A digital database can be created and referred to, allowing the artifacts to be identified easily through fabric, components, and elements. The dependence on the photo-scanning application on cultural heritage assets in Egyptian museums comes as a reflection of its practical and successful implementation on the objects of the Kyoto City Archaeological Museum in Japan under the supervision and support of the ARC. It aims to create 3D modeling of collected objects in a modernist geometric form (X, Y, Z) through precise photography with a special technique, processed with the Agisoft Metashape software v2021.
田中覚フェローらの世界遺産・玉置神社での研究プロジェクトが 正式にスタートしました。
関連記事
・RARA 研究活動レポート
・玉置神社
・＜研究者インタビュー＞ 田中覚教授 (立命館大学情報理工学部 情報理工学科) “Visualizing Large-Scale Cultural Heritage”
2023年2月17日、浮世絵木版画彫摺技術保存協会とのワークショップが、アート・リサーチセンター 文部科学省 国際共同利用・共同研究拠点「日本文化資源デジタル・アーカイブ国際共同研究拠点」(ARC-iJAC)との共催のもと、開催されました。
ARCと浮世絵木版画彫摺技術保存協会との間には長年の協力関係があり、これまでに2011年2月、2015年2月、2019年6月、2022年2月にワークショップが開催されてきました。
ワークショップを通して、彫摺技術に関する情報交換・意見交換を行い、ARC所蔵資料に対する理解の深化、拠点メンバーの彫摺技術に対する知見の深化を図ることを目的としています。
浮世絵木版画彫摺技術保存協会について、
文化財保護法第147条に基づき、昭和53年に浮世絵木版画の彫師・摺師の技術が選定保存技術に選定され、浮世絵木版画彫摺技術保存協会が選定技術保持団体として認定されています。＞＞浮世絵木版画彫摺技術保存協会
日時：2023年2月17日（金）14:00～17:00
開催方法：オンライン開催（Zoom）
登壇者（話題提供者）・テーマ：
赤間亮（立命館大学アート・リサーチセンター センター長）
「海外の浮世絵コレクション紹介 欧州ドイツ編」
金子貴昭（立命館大学衣笠総合研究機構 准教授）
「立命館大学アート・リサーチセンターの板木コレクション」
松葉涼子（セインズベリー日本藝術研究所 Lecturer）
「Connecting Present to Past: Re-evaluating Japanese Traditional Printmakingプロジェクト報告および葛飾北斎作品の彫、摺の疑問点」
2023年2月18日（土）、知識・芸術・文化情報学研究会主催の第12回 「知識・芸術・文化情報学研究会」が、アート・ドキュメンテーション学会関西地区部会・情報知識学会関西部会共催、立命館大学アート・リサーチセンター 文部科学省 国際共同利用・共同研究拠点「日本文化資源デジタル・アーカイブ国際共同研究拠点」協力のもと開催されました。
またこの会は、ARC-iJACの若手研究者カンファレンスとして位置付けられています。
新型コロナウィルス感染症拡大防止のため、今回はZoomでの無料開催となりました。
「知識・芸術・文化情報学研究会」詳細：
昨今のデジタル・情報環境の急速な進展とともに、学術分野にも「情報」や「デジタル」を意識した分野横断型の研究が多く見受けられるようになってきました。大学の教育・研究活動においても、この傾向は強まっており、これに関連する教育プログラムやコースの活動が充実しています。
時代に即した新しい研究テーマのもと、このような課程で学ぶ学部生・大学院生や若手研究者が学術的な交流をする機会へのニーズはますます大きくなっています。
そのため、芸術・文化、およびその他の関連する分野の情報・知識研究に興味のある大学院生および若手研究者を主に意識し、発表・交流のための場として「知識・芸術・文化情報学研究会」を2011年度に発足させ、これまで11回の研究集会を開催しました。
本会は、異分野の人的交流を通じて、参加者相互が新たな研究テーマや方法を発見できる場と位置づけており、学会発表とはひと味違う萌芽的・冒険的な発表も歓迎します。■ 日時：2023年2月18日（土）13:00開始
■ 実施方法：オンライン開催（Zoom使用）
・発表募集ではハイブリッド開催としておりましたが、新型コロナウイルス感染状況を考慮し、完全オンラインで開催することとなりました。
・ アクセス方法は発表者および参加申し込みをいただいた方にメールでお知らせします。
・ 会場による開催はございませんのでご注意ください。主催：知識・芸術・文化情報学研究会
世話役〔五十音順〕：赤間亮（立命館大学）、阪田真己子（同志社大学）、田窪直規（近畿大学）、村川猛彦（和歌山大学）
共催：情報知識学会関西部会、アート・ドキュメンテーション学会関西地区部会
協力：立命館大学アート・リサーチセンター
文部科学省 国際共同利用・共同研究拠点「日本文化資源デジタル・アーカイブ国際共同研究拠点」■ 参加申し込み方法
【募集は終了しました】※ 参加費は無料です。
続きを読む>>
※研究発表会後に懇親会（オンライン開催、無料）を予定しています。大学や分野の枠を超えた交流の場にしたいと思いますので、あわせてご参加ください。2023年2月18日（土）に、第12回 知識・芸術・文化情報学研究会を開催します。
下記の通り第12回の研究集会の参加者申し込みを受け付けておりますので、奮ってご参加ください。
またこの会は、ARC-iJACの若手研究者カンファレンスとして位置付けられています。「知識・芸術・文化情報学研究会」詳細：
昨今のデジタル・情報環境の急速な進展とともに、学術分野にも「情報」や「デジタル」を意識した分野横断型の研究が多く見受けられるようになってきました。大学の教育・研究活動においても、この傾向は強まっており、これに関連する教育プログラムやコースの活動が充実しています。
時代に即した新しい研究テーマのもと、このような課程で学ぶ学部生・大学院生や若手研究者が学術的な交流をする機会へのニーズはますます大きくなっています。
そのため、芸術・文化、およびその他の関連する分野の情報・知識研究に興味のある大学院生および若手研究者を主に意識し、発表・交流のための場として「知識・芸術・文化情報学研究会」を2011年度に発足させ、これまで11回の研究集会を開催しました。
本会は、異分野の人的交流を通じて、参加者相互が新たな研究テーマや方法を発見できる場と位置づけており、学会発表とはひと味違う萌芽的・冒険的な発表も歓迎します。■ 日時：2023年2月18日（土）13:00開始
■ 実施方法：オンライン開催（Zoom使用）
・発表募集ではハイブリッド開催としておりましたが、新型コロナウイルス感染状況を考慮し、完全オンラインで開催することとなりました。
・ アクセス方法は発表者および参加申し込みをいただいた方にメールでお知らせします。
・ 会場による開催はございませんのでご注意ください。主催：知識・芸術・文化情報学研究会
世話役〔五十音順〕：赤間亮（立命館大学）、阪田真己子（同志社大学）、田窪直規（近畿大学）、村川猛彦（和歌山大学）
共催：情報知識学会関西部会、アート・ドキュメンテーション学会関西地区部会
協力：立命館大学アート・リサーチセンター
文部科学省 国際共同利用・共同研究拠点「日本文化資源デジタル・アーカイブ国際共同研究拠点」■ 参加申し込み方法
続きを読む>>
2023年2月15日（水）までに、 参加申し込みフォーム よりお申し込みください。
※ 参加費は無料です。
※研究発表会後に懇親会（オンライン開催、無料）を予定しています。大学や分野の枠を超えた交流の場にしたいと思いますので、あわせてご参加ください。立命館大学アート・リサーチセンター（以下ARC）と浮世絵木版画彫摺技術保存協会は、2011年2月、2015年2月、2019年6月、2022年2月に研修会の受け入れや共催を行うなど、長年の協力関係にあり、その中で彫摺技術に関する情報交換・意見交換を行ってきました。
当年度も下記の研修会を開催いたします。
この研修会は、専門家との情報交換を行い、ARC所蔵資料に対する理解の深化、拠点メンバーの彫摺技術に対する知見の深化を図ることを目的としています。日時：2023年2月17日（金）14:00～17:00
開催方法：オンライン開催（Zoom）
登壇者（話題提供者）・テーマ：
赤間亮（立命館大学アート・リサーチセンター センター長）
「海外の浮世絵コレクション紹介 欧州ドイツ編」
金子貴昭（立命館大学衣笠総合研究機構 准教授）
「立命館大学アート・リサーチセンターの板木コレクション」
松葉涼子（セインズベリー日本藝術研究所 Lecturer）
「Connecting Present to Past: Re-evaluating Japanese Traditional Printmakingプロジェクト報告および葛飾北斎作品の彫、摺の疑問点」共催：立命館大学アート・リサーチセンター 文部科学省 国際共同利用・共同研究拠点「日本文化資源デジタル・アーカイブ国際共同研究拠点、浮世絵木版画彫摺技術保存協会
お問い合わせ先
立命館大学 研究部 衣笠リサーチオフィス内 アート・リサーチセンター
文部科学省 国際共同利用・共同研究拠点「日本文化資源デジタル・アーカイブ国際共同研究拠点」事務局
E-mail：r-darc (at) st.ritsumei.ac.jp (at を @に変えてください)
