京都アート･エンタテインメントプロジェクトでは絵画、写真、映画などの京都文化のデジタル化が企画されている、京都文化に関わる音楽、地図上での行動、映画などのデータベースやWebサイトが構築された場合に、そのデータベースの中からほしい情報をはやくみつけるかが重要となる。
本研究は、音楽、映像、行動などのメディアデータやそれらの複合メディアデータを統一した方法によって効率的に類似検索を行う手法を開発している。本研究により、音楽や映画などのデータ１件を条件として与えれば、そのデータと類似した他のデータを即座に取り出すことが可能なシステムを構築することが可能である。
また、データに付加された属性や特徴を併用すればさらに絞込んだ検索結果を得ることが出来る。

本プロジェクトはこれまで工学の分野では扱われることがなかった、あるいはギリシャ時代から科学では排除されてきた人間の情動や感情をも含む幅広い知的活動を最新のモデル化技法であるソフトコンピューティングを用いてモデリングすることを目的としている。
本プロジェクトの研究成果により、人に精神的あるいは心的な豊かさを提供することのできるシステムやロボットが実現できる。
21世紀は情報社会といわれるが、心の豊かさを伴わない情報社会では人は生きることはできない。本プロジェクトは21世紀に生きる人間にとって本当に豊かな情報社会を作ることを目指している。

ユビキタスコンピューティングの分野では、処理とデータが頻繁に計算機関を移動する。このため、PDAを始めとする処理性能の低い携帯端末上で各種処理を行うためには、環境に適応して必要な処理を行い、必要なデータのみを転送する必要がある。
本研究では、このようなユビキタスコンピューティングにおけるネットワーク、オペレーティングシステム、ミドルウェア、ユーザーインタフェースの統合環境について研究している。

計算機から人に情報を伝える方法は多く開発されているが、人間から計算機に情報を伝える方法は、現在キーボードやマウスが主体で、その他は音声が使えるようになってきた程度である。
本研究では、人間がもっと自然な形で計算機に情報を伝える方法の開発を目標とする。まず、マルチモーダルインタラクションに関する技術手法について国内外の学術誌や研究会において調査を行い、この分野における最先端技術の長短所を検討する。この調査結果に基づいて、現行にふさわしい計算機と自然に対話できるシステムの提案･開発を行う。
このためつぎの４つを研究テーマを設定し、それぞれを開発し、実験を通じて改良を行う。人間の行動を追跡し、顔による人物識別、身振りによる人間の意図･状況認識システム、人間の嗜好を反映し対話しながら問題解決を行う分散型重みつき制約充足問題解決機構、各個人のスケジュールに合わせた通信方法の設定を行うコミュニケーション支援システム、そして、開発したシステムを安全に実現･実行するために内外からのアタックを早期発見する計算機ネットワーク監視システムである。