12
An interactive video delivery and caching system using video summarization Sung-Ju Lee * , Wei-Ying Ma, Bo Shen Hewlett-Packard Laboratories, 1501 Page Mill Road, Palo Alto, CA 94304-1126, USA Abstract With the advance of high-speed network technologies, the availability and popularity of streaming media content over the Internet has grown rapidly in recent years. The delivery and caching of streaming media must be handled in a different fashion than that of traditional non- streaming objects such as HTML or image ®les, because of its distinct characteristics and user viewing patterns. We propose a novel scheme that provides users with the video summary (a number of key-frame images) before they download the ®le, and options for them to select the starting playback position. We introduce the content analysis service to achieve these functionalities. The video content analysis performs shot boundary detection, key-frame selection, and face detection and tracking. The results of the processing are a segmented video sequence and an XML-based meta-data describing the video content. We also design a caching system that utilizes our video abstraction and summarization technique. Our integrated video delivery and caching system combines content-aware segmentation, pre®x caching, prefetch- ing, and cooperative caching. We describe how our scheme can be applied in three proposed caching architectures. q 2002 Elsevier Science B.V. All rights reserved. Keywords: Streaming media delivery; Web caching; Content distribution networks 1. Introduction With the popularity growth of the Internet and the wide availability of high-speed network access, an increasing number of streaming media objects are being distributed over the Internet. Compared with just a few years ago, larger ®les are found on the web today because of improved video resolution and longer video length. Class lectures, news reports, sports highlights, movie trailers, commercial ads, and personal home videos are just a few examples of videos on the web. Conventional video streaming systems use a linear play- back scheme that forces users to download from the begin- ning of a video. Users often need to download and view at least a portion of the video to decide if the content is what they expected. Even during the playback, users may wish to skip some of the parts and jump directly to a speci®c scene to save time or network bandwidth. Although fast-forward and rewind functionalities are provided by some streaming media servers, long delays and processing are experienced. Moreover, without the knowledge of what is contained in the video and the precise position of a video shot boundary, users usually fail to promptly locate the desired scenes they wish to watch. These problems and limitations have consid- erably affected user viewing experience and wasted network resources. A recent study [2] reports that almost half of the video requests stopped during near the beginning of the playback. This result indicates that an improved video deliv- ery scheme needs to be developed to manage the user video browsing behavior. Web caching has been used to accelerate the delivery of web objects such as HTML ®les and images. Streaming video objects differ from these web objects in several ways. First, the size of video ®les is usually larger than non-streaming ®les by orders of magnitude. Storing the entire video ®le in a single proxy cache is therefore inef®- cient or even impossible. Second, video objects are mostly static contents with the Write Once Read Many (WORM) property. Hence, the cache consistency and coherency are not important issues in video caching. Moreover, user video access behavior and streaming media workload show differ- ent characteristics than those of non-streaming objects, as reported in Refs. [2,6]. Because of the special characteristic of streaming videos, a more suitable caching system that is different from traditional proxy caching systems must be developed. We propose an integrated interactive video delivery and caching system that provides users with a better Computer Communications 25 (2002) 424±435 www.elsevier.com/locate/comcom 0140-3664/02/$ - see front matter q 2002 Elsevier Science B.V. All rights reserved. PII: S0140-3664(01)00414-5 * Corresponding author. E-mail addresses: [email protected] (S.-J. Lee), [email protected] (W.-Y. Ma), [email protected] (B. Shen).

An interactive video delivery and caching system using video summarization

Embed Size (px)

Citation preview

Page 1: An interactive video delivery and caching system using video summarization

�� ���������� ��� ����� �� ������� � ��������� ��� �������������

������� ����� �������� ��� �� ����

������������� ������������ ���� ���� ���� ����� ���� ����� �� ����������� !�

��������

���� ��� ����� �� ��������� ��� ��! ������������� ��� �����"���� �� ��������� �� ��������� ���� ������� ��� ��� #������� ���

��� � ����� �� ������ ����$ %�� ����� �� ������� �� ��������� ���� ���� "� ����� �� � �������� ������� ���� ���� �� ���������� ����

��������� �"&���� ���� �� '%�� �� ����� (���� "������ �� ��� ������� ��������������� �� ���� �� ��� ��������$ �� ������� � ���� ������

���� ������ ����� ��� ��� ��� ������ )� ���"�� �� !� ������ ������* "����� ��� � ���� ��� (��� �� ������� ��� ���� �� ������ ���

�������� ��� "��! ��������$ �� �������� ��� ������� ���� ��� ������ �� ������ ����� ���������������$ %�� ��� ������� ���� ��� ��������

���� "����� ��������� !� ������ ���������� �� ���� �������� �� ����!���$ %�� ������� �� ��� ���������� ��� � �������� ��� ��+�����

�� �� ,���"��� �������� �����"��� ��� ��� �������$ �� ���� ����� � ������� � ���� ���� �������� ��� ��� �"��������� ��

������������� ������+��$ -�� ��������� ��� ����� �� ������� � ���� ���"���� ��������� ��� ������������� ���(. �������� ���������

���� �� ���������� �������$ �� �����"� �� ��� ������ ��� "� ������ �� ����� ������� ������� �������������$� /00/ 1������ �������

�$2$ ��� ������ ������$

"�#�����3 ��������� ���� ����� 4 ��" �������4 5������ �����"����� ��� ��!�

� ���� ������

���� ��� ��������� ��� �� �� ��� #������� �� ��� ��

�����"���� �� ��������� ��� ��! ������� �� ����������

���"�� �� ��������� ���� �"&���� ��� "���� �����"���

��� ��� #�������$ 5������ ��� &��� � �� ���� ���� ������

(��� ��� ���� �� ��� �" ��� "������ �� ������ ���

���������� �� ������ ��� ������$ 5���� ��������� �� �

�������� ������ ����������� ���� ��������� ���������� ���

�� �������� ���� ���� ��� &��� � �� �.������ �� ����

�� ��� �"$

5���������� ��� ��������� � ����� ��� � ������ ��� �

"��! ������ ���� ������ ����� �� � ���� ���� ��� "�����

���� �� � ���$ 6���� ����� ��� �� � ���� �� �� ��

����� � ������� �� ��� ��� �� ���� �� ��� ������� �� ���

��� �.�����$ 1�� ����� ��� ��� "��!� ����� �� ��� ��

�!�� ���� �� ��� ����� �� &��� ������ �� � �����(� �����

�� ��� ���� �� ��� ��! "�� ���$ �������� �������� ��

�� �� �� ��������������� ��� ����� " ���� ���������

���� ������� ���� ��� � �� ���������� ��� �.��������$

�������� ������ ��� !�� ���� �� ��� �� �������� ��

��� ��� �� ��� ������� �������� �� � ��� ���� "����� �

����� ������ ���� �� ������� ������ ��� ����� ������ ���

��� �� ����$ %���� ���"���� �� ����������� ��� ������

���"� ������� ���� �� ��� �.�������� �� ���� ��� ��!

���������$ � ������ ��� 7/8 ������� ���� ������ ���� �� ���

��� ��+����� ������ ����� ���� ��� "�������� �� ���

��� "��!$ %��� ������ �������� ���� �� ������ ��� ����

�� ������ ���� �� "� ������ �� ������ ��� ���� ���

"�� ���� "������$

��" ������� ��� "��� ��� �� ���������� ��� ����� ��

�" �"&���� ���� �� '%�� (��� �� ������$ ���������

��� �"&���� ����� ���� ����� �" �"&���� �� ������

� �$ 9����� ��� ���� �� ��� (��� �� ������ ������ ����

������������� (��� " ����� �� ��������$ ������� ���

������ ��� (�� �� � ������ ���. ����� �� ��������� ����(�

����� �� ��� �������"��$ ������ ��� �"&���� ��� �����

������ �������� ��� ��� ����� -��� :�� ��� )�-:�*

������� $ '����� ��� ����� ���������� �� �������� ���

��� ��������� ������ �� ��� �������$ �������� ���� ���

������ "������ �� ��������� ���� ��!��� ��� ������

��� ��������������� ���� ����� �� ������������� �"&����� ��

������� �� :���$ 7/�;8$ ������� �� ��� ������� ��������������

�� ��������� ����� � ���� �����"�� ������� � ���� ���� ��

�������� ���� ���������� ���. ������� � ����� ���� "�

������$

�� ������� �� ��������� ���������� ��� �����

�� ������� � ���� ���� ������ ����� ��� � "�����

5������� 5������������� /< )/00/* =/=>=?<

$�������$���@������@������

0A=0�?;;=@0/@B � ��� ����� ������ � /00/ 1������ ������� �$2$ ��� ������ ������$

C##3 �0A=0�?;;=)0A*00=A=�<

� 5����������� ������$

$�%��� ���������& �&���D���$��$��� )�$��$ ���*�

��D���������$��� )�$��$ ��*� "�����D���$��$��� )�$ ����*$

Page 2: An interactive video delivery and caching system using video summarization

�� ��� ����������$ %�� ���� ���� �� ��� ��! �� ��

����� � ��� � ���� ���� �������� �� �������� ��� �����

����� ��� ���� ��� �� ������������� ������+��$ %��

��� ���� ��� �������� �� ��� � ���� ������� ����

"����� �������� �� !� ������ ���������$ ���� �

������ ��+����� � ���� ��� � ���� (��� ��� � ��� !� �

������ ���� ��������� ��� ��� �� ��� ����� ������ ��

��������� ��� ��� ���� ��� "��������$ 6���� ���

+���!� "�� �� ������� ��� ������ ������ �� ����

�� ��� ��� �� � ���� �� ������� �� ��� ���$ %���

!� ������ �������� ����� ��� ����� ��� ������ ����

�� ��� ��! "�� ��� �� ��� ��� ��� ��� ��� ������

���� ��$ -�� � ���� ���� ���"��� ����� �� ����� ������

�� &��� �� � �����$ ���� � ���� ����� �� � ����

��� ��� ����� �� ��� ��� ������ � ��� ���� ��� ������

��� �������� ��� "��! �������� " ��������� � !� ������$

%�� ������� ��� ���� ��� ��� ��������� ���� ���

������� ��� ������$ %��� ������� �� ������� �� ��������

�� E&��� �� � �����F �������� �� � G2G ��� ��$ %�� !�

��������� �� ���� �� G2G ���� ����������� �� ������ "

������� �������$ #� ��� F� #�������� ��� ������� �����

��� ����� ����� ���� ������������ �� ����� � ������

� � ���� ���� ��!�� ��� ���� ��� �� ���������� ���

����� � ������� ������ �� ������� ������� ��

�� �����$

� ��� ������� � ���� �� ������ �� ��!� ������� ��

��� ��������� ����������� �.������ ���� ��� ��� ���� �

���$ �� ������� ������ ��� !�� � ������� ������+��� ����

�� ���(. �������� ������������ �� ���������� ������� ���

��� ���������� ���� ��� ��� �� �������� �� �����

������ �������� ���.��� ��� ����� ������� �� ����������

�������$ ������������ ����������� ��� �����"����� ��

"������ �� ����� ���� �� ���� � ��� ����� �� � (��

����� ����������� ���������$ C��(. ������� 7/?8 �� �

������ ���� ������ ��� ��� "�������� �� ��� ��� �� �����

���� �������$ �� ���� ���� ������+�� ��� ���� ���

������� �� ����� ��� �������� ������ $ C���������� 7A<8 ��

�������� �� ��� ������ ����� �� ��� � ���� �� ���� �����

��� ��� $ �� ������� ����� ���������� ���. �������������

�� ��� ��� ��������� �� ��� ����� �� ������� ��

���� �� ��� �������������$

%�� �������� �� ���� ����� �� �������� �� ����� �$

������� / ������ ��� ����� �� ��� � ���� ������������$

%�� ��� ���� ��� ������+�� �� �������� �� ������� ?�

����� � " ��� ����� �� ������� ���������� ��

������� =$ �� ������ ��� ������� ������ �� ������� <� ��

������� ��� ����� �� ������� ;$

� ������ ������������ ��������

9��$ A ������ ��� ����� �� ��� ������� ��� ����

�� �� ������� � ����$ 2��� �� ���� �� " �� �����������

���. ������ ���� ��� "� �������� " ������� ������� ��

� ���� � �� ����� �� ����� ������� ������ �� ���� � " �

��������� ������ ������ ���� ��� ��� ������������� ��

������� ��� ��� �� "����� �� ��� ������� �������$ #�

������ ��������� � ������ � ����� ������������ "�� ���

��� ����������� ���. ����� �� ��� ������ ������ �� ���

��� �� �������� �� ������� "����� �� �� �����"���

�� ��� #�������$

%��� ������������ ������� ��� ��� ��� "������� ���� ��

������� �����"����� ��� ��!�� ��� ��� ��� �������������

�� ���������� ����� "���� ����� �� � �������

������ �� ����� ���������� �$�$ ������� �������$ H��� ����

���� ������ �� �� �������� �������� �������� "����� ���

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/��� =/<

9��$ A$ %�� � ���� ����� $ %�� ����������� ���. ����� �� ������ ���� ��� ������ ����� �� �������� ������� ������ �� "����� �� � ������� ������$

Page 3: An interactive video delivery and caching system using video summarization

��� �� ��������� �� �����"��� �� ��� ������� ���.��� ��

��� ���� �� ��� ��!�$

�� �� ��$ 7AA8 ������� ������� �� �� �� �� #�������

��������������� ����� � ������� ������� ��� ��!� ���� ��

"���� ����� ������� �����"����� ��� ��!�$ %��� �� ��

�������� �� � ��� ��! �� ����������� ����������� ���.

������ ���� ����� ������������� ��������� �� �����

�� ������� �� ������� ������� �� �� �����$ %�� � ����

����������� �����"� �� 9��$ A ���������� �� ��� ����������

"����� ������ �������� " � ������� ������� ��� ��! ��

"����� �� ������� ������� �� �����"� �� :��$ 7AA8$

9��$ / ��� � ��� ����� �� ������� �����"�� ���� �

���� ��������� ���� ��� ����������� ���. �����

�������� ��� ��� ������������� �� "����� �� ��� �������$

%�� ����������� ���. ����� ��� ��������� ��� ��� ����

��� "��� ��+����� " � ����� ����$ ����� ��� ��� �� � ��

����� ��� ������� ���. ���� �� �� ��� ����������� ���.

����� ��� ��� ������������� �� ����� ������� �������$

%�� ��� ������������� ���� ���� "� ������� ����

��� ��� �� "���� � ����� ����� ��� ��� ���� ���

��������� ��� ��� ��+���� ��� ��� �� "� ���� � ��

���� �� �����$ H��� ���� �� ������� �������������

�� ��� ���� ���� ��� ������� ���. ���� �������� ��

� ���� ��� ������ ��� ��� �� ��� (��� ���� ����

��+����� ��� ��� �"&��� ����� �� ��� ���� �� ���

�������$ %�� ���������� �� ���� ���� ���� �������� ��

���� "������ �� ��� ���������� ��� � ��� (��� ���� �� ���

�"�� �� ������ ��� ������� ������� ����� " ���

����������� ���. ������ �� ��� ��� �� ���� �� ���

���� ��� ������ ����� ������$ %��� ���"��� �� �������

�� ���� �� ���. ������� ���� ��� ������ �� (��� ��+�����

�� �"&��� ��� ��� ������ ��� "���(� �� �������$

%�� � ���� ����������� �����"� �� 9��$ / ���������� ��

��� ����������"����� ������ �������� " � ������� �������

��� ��! �� "����� �� �� ����� �� �����"� �� :��$ 7AA8$

� ������� �������� ��������

%�� ��� ������� ���� ��� �������� ���� "����� �����

����� !� ������ ���������� �� ���� �������� �� ����!���$

%�� ������� �� ��� ���������� ��� � �������� ���

��+����� �� �� ,���"��� �������� �����"��� ���

��� �������$ #� ���� �������� � ������ ��� ��� �������

������+��� ��� �� ��� ����������� ���. �����$ #� ���

��� � � ������ ��� ��������� ��� (��� ��� �� �C1I�

A �� �C1I�/ ������$ ����� ��� ��������� ������� �������

��� :���H�� ��!� ����� ��������� ���� � ����� ��

����� J���!%��� ��� ���������� ����������� �� ���

������� �� ��� ��"���� ��� ��������� ��� ��� "��� ������

�� ����� ���� �������$ 9�� � ���� ������ ���������� ��

��� ��� ������� ������+��� ������ ��� ������� �� :��$

7A/8$

�'�' !0�� ��+,���# �������, �,� �#�1��%� �������,

#� ���� �� ��������� � ���� ��� ��+����� ���� �������

�� ���������� ����������� � ���� ���� "����� �����

���� �� ������ ��� �������������� "�� ��� �������� �����$

1��� ���� ���������� �� � ��+����� �� ������ ������

����������� �� ���������� � ���������� ������ �� ����

�� �����$ �� ��� ������ � �� ��(����� �� ��"���

���� "����� �������� ������ ���� �������� ������ ��

�C1I ��������� ��� �� ��������� ���������� ����

7A/8$ %�� ������ (��� ���!� ��� � ��������� ���� "�����

����� � ����������������� )I-C* " ��������� ��� ������

���� "�� ��� � � ���������� 2������� "��� �� ����� G5%

)G������� 5����� %��������* �����������$ � � ����� �C1I

��� ��+����� �� ��� � ��������� �� 233�33�33 )(���

I-C* 233�33�33 )����� I-C*�K ���� � ��������� ����

"����� �� ������� � ������� �.��������� �� ������ �� ���

��� 3� �� �������� ���"�� ��� �� ������ ��� �.���

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/���=/;

9��$ /$ %�� � ���� ����� $ %�� ����������� ���. ������ ��� ������ ���� ��� ������� �� ������� ������� ������ �� "����� �� �� �����$

Page 4: An interactive video delivery and caching system using video summarization

�������� �� � ���� "����� $ %��� �.��������� ��� ��+�����

������� ������������ �� ��� ��� �� ������� ��� ������

"���! ����$ H��� ���� ������� ���� ��� �������� 2� �� ��

����� �� � ��������� �� ������� ������ ������������� ��

3������ ���� "��� �������� �� ��������� 2� �� ��������

�� � ���������$ � ����!��� ��� ����� �� ���� ����������

���� ����� ������"���! ����� � ��� ������ ��� �������

���� "����� $

%�� ��� �� ��������� ������� ��� ��������� �� !� �

������ ���� ��������� ��� ������� �� ���� ��� ����$ #� ���

� ����� !� ������ ��������� �� �������� ����� ��� ���

��� ������������ �������$ %�� ��������� ������� ��� (���

����� �� ���� ���� ���� ������ ��� ����� "��� ���� �� � !� �

�����$ #� (�� � �� !� ������ " ����������� ���������

��� ��� ��.� 2������ ���� �� ���(������ �������� ���� ���

������� !� ������$ %�� 2������� ��� ������� ��� ���

������� ����� ��� ����� ����������� �.������ ���� ���

������$ %�� ��+���� ����� �� ��������� ��� !� ������

��������� ��� "� �&���� �� ��� ��������� �� ������� ���

�����.����� ���"�� �� !� ������� ��������$ H��� ���� ��

"� ������� �� � !� ������� ���� !� ������ ���� ������ �

������� ��+�������� �� ������ �� �� ��� "����� 7A?8$ L� �

������ ���� ���� ���� ��� �������� �� ���� � ������������

�������������� ���� ������ �������� ����� �� ������������

��� ��� "�� ���� �� ��������� 7?08$ 9��$ ? ��� � ���

������� �� ��� ������� ���� ���$

�'�' 4�� �������, �,� ����,�

C����� ��� ����� ��� ���� ��������� �"&���� �� � ���$

'����� ��� !�� ���� �� �� �� �� ��� ��� �� �� ����

���� �� ��� ��� ��� ������ ��� ��!� ��� ����� ��

������ ��������� ���� �������� �� ��(�����$ �� ���

����������� ���� �������� 7//8 �� ����!��� ������+���

���� ��� ��� ������$ 9��� �������� �� ������ �� ���

2������ �� ��� �������� �� ������ ����� �� ������ ���

��� ���� ��������� �������� ���� ����!���$ #� � ����� ��

�����(�� ��� �� �������� �� � ����!� ���� �� �����

�� ��� ������ ���� �� ��"��� �� ��� ���� ������ �� ���

����!� ���$ ������� ����� �� �� ���������� ��� ������ �

��� � �� � ������ ���� �� ����� �� �� ����� ��� � �������

����!� ����� ��� ���� ����!��� �� ������$ %�� ���� ����!���

���� ��� ������ ����������� �������� �� ��� ������"���!�

�� �� �� 3������� �� ������ ���� ��������� ���� ���

������� 2������ �� ��� ��.� 2������$ ������� ���� ��������

��������� ��� ������ ������� ����� �� �������� 2��������

���� ����!��� �� ��������� �� ������ ��� �������������

"�� ��� ����� ������ ����� �� ��������� ���� �� ���

���� ������ ����� � ���������� ��� ����$ %�� ����!���

����� ��� ��� ���&���� ���� ������ ����� � ����� �� � ����

"����� �� ������$

9��� �������� �� ���� ��� �� ������ ��� ��������� �� !� �

������$ ���� � �� ���� �� ������� ��� ������������

����� �� ������� �� � !� ������$ #� ������� ��� � ��� ��

������� ������� ���� ����������� �� ��� �� ���� �� ������ ���

"��� !� ������$ %��� ��� � ����� ���� �������� ������ ��

"��������������� ������� ����� ��� ���� ������ ���������

����� ��� ������� ��� �������� ������� !� ������ �� �����

�������� ��� �������$

�'�' ��������� 1�� 5���� �,��,� �����*���,

%�� ������� �� ��� ������� ���� ��� ��� ����� �� � �����

��� ���� ������ �� ��� � �� 9��$ =$ %��� �������� ����

,���"��� �������� �� �����"� ��� �������� ���������

�� ������������� �� ���$ #� ���� �.������ ��� ���

��� "��� �������� ���� A? ������ ��� ���� ���� ������

����� " � !� ������ 6:� �� ��� (�������� ������� �����

" �!�M������� ����� EAF�$ %�� ����� �� ���� ��� ���� ������������ " ����, �� �,� ����$ %�� ������ ��� �����

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/��� =/N

9��$ ?$ %�� ������� �� ��� ������� ���� ���$ %�� ��� �� �������� ���� ����� ���� ��� "� ������ ��������� $ %�� !� ������� ���� ���� ���� ��� ������� ��

�������� �� ���� � ������������ �������������� ���� �� ��� �� ������ ��� ����� �� �������$

Page 5: An interactive video delivery and caching system using video summarization

���������� " !��0000;O<$&��� ��� ���� ���� � !� ������

"������ �� �������� ���� ����� �������$ %���� !� �������

��� ��� ���� ��� ���������� ������� ����� " �!�M������������ EA$NF� ��� ������� ������ "�� ���� �� �������� $ %���������� ���� �������� ��� ����������� �"��� ��� ������

����� �� ������ ����� �� ����� ������������ ������ �� ���

���$ %�� 6:�� ��� ��� ��� �� � �����"�� ���� �� "�

������� ��� ���� ������ �� ��� ��������������$

%��� �������� ����� � � ��������$ 9����� ���� ���

������F� ��+����� ��� ����� ���� ���� �������� ����� ���

!� ������ ������ �� ��� ������$ %�� ���� ��� �� ���� ����

����������� �� ����� ��� ��� �� ���� ��� ���� ��� "�� ��

��� ������ �� ����� �� � ������� ��� ��� (��$

#� ���� ���������� ��� ������ �������� ������ ��������

���� ��� ��� ���� �� ���� ������ �� � ����$ #� ����� (�

��� ������ )!� �������* ������������� �� � ��� ��� ���

�.����� �������� ��� ��� ���� ��� �� � ���� ��� (��$

#� ��� ���� �� ����� ����� �.������ ������������� ����� ����

�������� ��� ��������� ������� �� ���� �� �� ��� �������$

���� ����� � ��� ���������� ��� ������� �� ���� �� ����

�� ��� ���� �� � �������� "�� ��� �� �� �� ��� ����

&��� �� ���� ������ ����� ��� �� ������ ��� ��� (��$ �

��� �� :��$ 7/8 ��� � ���� ����� =<P �� ��� (��

��+����� ������ ��� ������� ����� ��� (��� <P �� ���

��� ��� "��! �����$ ���� �� ���� ���� ������ "�������

� "����� ������� ����� ��� ��� ��� ������ ���

������� ��� ��! ���������$ ������ ����� ��� �����������

����� �� ��� ��������� ��� ������ ���� �����������

��� ��� ����� �� ������� �� ��� ��� �� ������� �� ���

������$ ���� ��� ������� "�� �� ��� ������ )!� �������*�

��� ��� ������ �� ���������� ����� ���� ��������� ����$ �

����!��� ��� �����(� !� ������� ��� ������ ��� �� ���

��� �������� ���� ��� ������� ���������� " ��� �������

!� ������$ %��������� ����� ��� ���� ��� ����������� �����

�� ��� ��� ������ ����� �� ������ �� ���� ��� "��������

�� ��� ������ ���$ H��� ���� ���� !� ������ )�� ����* �� ���

�������� ���������� � ��� ������� ���� ��� "� ��� �

"��! ���������� �� ��������� $ %��� ��+����� �

������� ������� �� ��� ����� �� ������ ���� ��� "��������

�� ���� ��� ������� ���������� �� � "���!�"�� ����� ��

��� ��������� ��� ���$ 9�� �C1I�A �� �C1I�/

����� ���� ����� �� ��� "�������� �� �� 2������� �� �� ���

��� ���� �� �� ������� ������ �� ���� ��$

� �� �� ������� �� �������

�'�' 6���� �,� �����, �5��5���

��������� ���� ��� �������� ��������������� ���� ����

��������� �"&����$ 2��� (��� ��� ���� ������ �� �����

�������� � ��� ������$ 6��� ������ "������ �� ��!���

�� ��� (��� �� ��������� ���� ��� ��� � �� "� ��������

���� ����� �� ������������� �"&���� 7/�;8$ ���� �� �����

��������������� �� ��������� ��� (���� � ��!� �� ��������

���� �� �������� ���� ���������� ���. ������� � �����$ %��

���� ���� �� ��� ��! �� �� ����� �� ��������� ���

����� �� ������� � ���� ���� �������� �� �������� ���

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/���=/O

9��$ =$ �� ,���"��� �������� �����"��� ��� ����������� �"��� ��� ���$

Page 6: An interactive video delivery and caching system using video summarization

������� ���� ��� �� ������������� ������+�� �������� ��

������� ?$ %�� !� ��������� ���������� �� ��� � �����

���� � ������ "��� � ��� ������������� ���(. ��������

������������ �� ���������� �������$

�'�'�' ��,��,������� ���%�,�����,

� ��� ������������ ����� ���� ��� ��� ����

�������� "��� �� ��� ������ �� ���� "����� ��������$

1��� ������� ���������� �� � ����������� ������

��+����� �� ������ �� � ��� ������ ���� ������� �����

����� $ %�� �������� �� � ��� ��� ����� ������ ��������

���.��� ��� ����� ������� �� ���������� �������$ H��� ����

�� �������� ��� ��� ������ �+�������� ������������ �����

��+�� ��� �� :���$ 7A�A08� ��� ���� �� �������� �� �� ��

��� � ����$ #� �� �����"�� �� ���� �� ��� ����������� ��

������� �������� �� ����� ��� ��� �� ��� �� ��������

�� ����� ��(������� �� �"&��� ����������$

���������� ��� ��������� ���� (��� ��� ������ ����

�����$ � ������� �������� �� ������ ���. ������� � ���

"����� �����"��� ��� ���$ #� ������� �������� ��� ���

���� ������ ������ ���� � �� �� ������� ����������� �������$

#����� �� ��!��� �� E��� �� �������F �������� ���� ������

��� ��� (�� �� ����� �� ��� ������� �� ��� ����� �� ���� �

����� ��� ��������� �"&���� " ��������� �$�$ ��� �����

����������� ���������� �� ��� �������$ %��������� ��

���� ���������� ��� ������� ����� �� ��� ��� �� "�

������� �� ��� ������ �� ��� ��� ��! ����$ �� ������ ���

������� ��������� � ��� �� ������� =$<$

�'�'�' ���78 �0�,�

������� ��� ������ ��� (�� ���� ���.��� �� "� ����(�

����� �� ��� (��� ��� "� �� �����$ %��� �� ����������� ����

�� ��� ����� ��������� ���� �"&��� �� ��� �������$ C��(.

������� 7/?8 ������ ��� ��� (��� �� ������ �� ��� �������

��� (���$ ���� � ������ ��+����� � ��� ������ �� ���

���(. �� ������ ��� ���. ������ ��� ���(. �� ��� ������

���� �� ��+����� ��� �������� �� ��� ��� �� ��� ������

�����$ � ������� ��� )����� ������* ���(.� ��� ��������

������ ������� " ��� ���� ��� "� �����$ %�� ���������

���� "� �� ���������� ��� ������� ���(. ����$ #���� ����

�� �������� ��� � ������������. ������ � ��� �����(�

���������� )�$�$ ����� "�� ����� ���$*� �� �������������� ����

�� ���� ���!��� ���� "� �������� �� ����������� ��� ������

������ ���(. ������ 7/?8$

�� ��� � ���� ��� �������� �������� ��� � ��� �"&����

� ���� ���(. ������� ��� ���� ����� ��������$ ����

����� ����! ��� �� ��� ������ ������ ����� " ���

������� ���� ��� �� ������������� ������+��� ��� � ����

������ ��� �����(� ������� ��������� �� ��� ������ )��

��� ���� ��� "�������� �� ��� ��� (��� ������ ��� ����

��+����� ��� (��� �������*$ '����� � ����� ��� ���(. ��

���� ������� �� "���(� ���� ���(. ������� �� ��� � ����$

�'�'�' ���1��0�,�

C���������� 7=�A<�?A8 �� ������� ������ �� ����� ��� ����

������� ������ $ C���������� ��� �������� ��� ������� ��(�

����� " ��������� ��� ������ ��+���� ������� �� �������

��� �"&���� �� ����� �� ���� ��+�����$ %�� �����(��

�� ���� �� ��� �������� �� ����(�$ ������ ������ �����

��������� ����� �� �����������$ ���� �� 5�� ����� 7/;8

��� ���� ����������� �� "���(���� ��� ��� ����(� ��

������ ���� �� ��� ��������� ��������� �� �� ��������$

5������ �� ������ 7N8 ������ ���� ����������� ������� ���

+������ "������ �� ��������� ��� ��! "���������$

C���������� ����� "� �������� ��� �.��� �������� ��

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/��� =/Q

9��$ <$ %�� ��� ����������� ������$

Page 7: An interactive video delivery and caching system using video summarization

��������� ���� ����� � ����� �� ��� ��� ������ ���

���� ������ �"&����$

�� ��� ����������� �� ��� ������ ����� ������ �� ���

���. �����$ C���������� ������ �� ��� ������ ��� �������

������ ��� ������� ������ $ ����� ��� ���� �� "�� ���� ���

��� "��� �� ��� �������� ����� � ������ ����

����������� ������ � ��� �� ���������� ��� ��� ������

���� �� �������� � ����������� "��� �� ��� �����"���� ��

��� ��������� ���� �� "�� ��� �� ������� �� ��� ������

�����$ %�� ����F� "�� ���� "������ ������ ���� ����� ��

���� ��� ��������� ��������� �� "� ���� ��������$ ��

������� ��� ����� ��� ����������� ��������� ���� �����

��� �� ���� ������� �� ��� ��� �� � ����� ����

"�� ����$ �� ��� � �� 9��$ <� �� ��� ����� ��� �� ���

����F� "�� ��� ��� � �� ������� ������� ��� ���� ���� �

������� ��� (��� , " ��� �� ���� ��� ������� ����� ���

��� ��� ���������$

%�� ������� � �� ������������ �� ��� ���"�� �� !� �

������ ��� ��� �� ��� "�� ��� ��� $ #� ������� ���

��������� ���� ��� ,� �� ������ �� ������ �������

����������� ���� " ��� ��������� ����������$ 9�� �.������

�� ��� ���������� "�� ��� ��� ������ �� ���. ��

��������� ��� ��������� ��� ������ �� �������� � ��

������� , �� ���� �� ����� ��� ����������� ���+����

�� �� ���� ���������� $

�'�'�' ���*�����5� �0�,�

5��������� ������� 7AN�/N�/Q8 �� ��� ����� ��

���� � �� ��� ������� ����� � ������ �������� ����

'����� 7<8 �� �+�� 7/=8$ � ���"�� �� ���.��� ���������

�� ����� ��� ����� ��� ��� ������� �� ������ ��� �����

��� ����$ ���� � ���. ������� � ��+���� �� �� �"&��� ���� ��

������� ���� ��� ������ �� ����!� ������ ��� �"&��� ��

����� �� ����� ���.��� ����� ��� ���������� ��� ��!$

%�� ���� ��� !�� � ������� ��� "������� ���"���

7<�/=�/O8� ������� ������ "��� 7O�Q�/A8� �� �����������

����� ��������� �������� 7/<8$

�� ��� � ���� ���� ��� ��������� ���� �"&��� ����

��������� �� �� ������� ���� ��� � ���� ������ ���� ������

������ ���.��� �� ���� � �" ����� ������� ������+��$ -��

���������� ������� ������ ���� �� ����� ���� ���������

�� ��� ��� !�� ���� �� ���� ������� �� ����� �� ����

���. $ %�� ������� ���������� ����� �� ��������� �� ����

������� ��� �������� �����$ H��� ���� ����� ��� �� ��������

�������� ����� �� �������� ���.��� ����� ��� ����������

������� ��� ��!$

-�� ��� ����� � ���� ��� "� ���������� �� ������

����� ������� �������������$ %�� ��� ����������� �����"��

��� �� � "�� ���������� �������4 �� ���� ���� � �����

�������� ����� ���������$ 1��� ������� ������ �� �.�����

�� ��������$=$/>=$=$

�'�' 9���� ����5��# ���0 �,�����:�� ��*�����5� �0�,�

#� ��� ���������� ���������� ������� ������� � %�����

�0� ���������� ��� ������������ "�� ��� ��� ������ ��

��� ����� ���� $ 9�� ���� ��� �"&���� ��� ������ �����

������ ��� !� ������ �� ��� ���(. �� ���� �������$ #�

������� ��� ������ ����� ������� �� !�� � ��� ��������

�� ���� �������� �$�$ ��� ����������� �������� ���� �����

!���� ���� �������$ %�� ��+���� ���� ��� ������ �� �����

���� �� ��� ������ �����$ 6��� � ��+����� ��� ������ �����

������ ��� !� ������� �� ��� ������$ ���� ��� ������

������� � ������� �������� ��� ������ ����� ��������� ���

������ ���(. �� ��� ������ )�� ����� ����� ��� �������

��� * ���� ����������� ��� ����������� ���. � ����

����� ��� ��+����� �������� �� ����� ��� �������$ %��

��� ������ �� �� � � ������ �� ��� ���� ������� ���

������ �����$

9�� ��� ������������ �� ���� ������� � ��� ��� ����� ���

�.����� ���� �� ���� ��� �� ��� ���������� �� ��� ����� � �

�������$ �� ��� � �� 9��$ ;� ��� ��� �"&��� �� ��������

���� ����� �������� �� ���� ������� �� ���������� " �

!� ������$ %�� (��� ������� �� ����� �� ��� ���. �����

5A� ��� ����� �� 5/� �� ��� ���� �� 5?$ %�� !� �������

�� ���(.�� ��� ����� �� ��� ������ ����� ����� ��� ���

�������� ����������� �� ���� �������$

5������ � ������ ��+����� � ��� �� "�� ��� �������

��� !� �������$ ��"��+����� � ��� ������ ��+����� �� ����

���� ��� ����� �������� �� ����������� �� � �������

��� ���� ������� �� ��� ��� �� �� ��� ���$

%�� ������������ ����� �� ��� �"�� �������� ���

�.������ �� ����� �3

A$ %�� ������ ��+����� � ���$

/$ #� ��� ��+����� ��� �� ��� �� � ������ ��� ������ �����

���� � ��+���� �� ��� ������ �����$ %�� ��� �"&��� ��

�������� �� ��������� �� !� ������� " ��� �������

���� ��� ������ )���� ������� �� �������� " ��� ������

������ ���. ������ �� �����"� �� ������� /*$ %��

������ ����� ����� ��� !� ������� �� ���(.��� ��

�����"���� ��� �������� �� ����������� ���. ������$ #�

���� ���� ��� ��� ������ �� ��� ������$ H��� ���� ��

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/���=?0

9��$ ;$ � ��� ����� �.����� �� ���������� ���������� �������$

Page 8: An interactive video delivery and caching system using video summarization

��� ��+����� ��� �� ����� �� ��� ������ ��� ������

����� ����� ������ ��� ��� ������ �� ��� ������$

?$ ����� "�� ���� ��� ������ � ��� ������ ������� ���

������� R/ �� ��� �������� ��� "��! ��������$

=$ %�� ������ ����� ���� ��� ���(. �� ������� R/ �� ���

������ �� ��+����� ��� ���� �� ��� ������� ���� 5/$

<$ 5/ ���� ������� R/ �� ��� ������ �����$

;$ %�� ������ ����� ��� ��� ������� R/ �� ��� ������$

N$ :���� ����� ��� ���������� �� �������� ������� R/� ���

������ ����� ���� ��� ���(. �� ������� R? �� ��� ������

�� ��+����� ��� ���� �� ��� ������� ���� 5?� ������� ��

���� =$

O$ 5? ���� ��� ������� R? �� ��� ������ �����$

Q$ %�� ������ ����� ��� ��� ��� ������� R? �� ��� ������$

H��� ���� ��� ������ �� ���(. ����� " ��� ������ �����

���� "� ����� ������ �� ������ ��� ������ ��� ��� �.�����

���� ��� � "�� ��� �� ��� ��� ���(. �� ��� ���� �� ���

�������$ %�� ������� ���������� �� �����"����� ���� "�

����� ��� ���� " ��� ������ �����$ #� ��� ���"�� ��

�������� �������� �� ������� ���� ��� ���"�� �� ���.����

������� �����"����� �� ������� ������ ����� "�

����$ -� ��� ����� ���� �� ����� ��� ���� ���

�������� ���� ��� ������� ����������� ���������� ���� "�

��������$ 9�� �.������ ������� ����� ��� ���� ��������

�� "� ����� ������ ����� ���. ������� �� ��� ����� �����

�� ��� ����� ����$ #����� �� ��������� ��� ������� RA ��

����� RA� ������� R/ �� ����� R/� ������� R? �� ����� R?�

�� ������� R= �� ����� R/� � ��� �����"��� ��� �������

RA �� ����� RA� �������� R/ �� R? �� ����� R/� ��

������� R= �� ����� R?$ �� ����� �� ���� ������� R/

��� ��!�� �� ������ ������� R? ��.� �� ��� ��� �����������

���� ���������� ����� ��� ����� ����������� ����������

�� ��� ������� ����(� "�� ��� ��� ������ ����� �� ���.���$

%�� ���������� ���������� ����� ������ �� ������ ��

��� �� ��������� �� ������$ H� ������������� ��

���� "�� ��� ���. ������ �� ��� ������ ����� ����

��� �������� �����������$ ����� ��� �"&��� �� ������

���� ������� ��� ������ �����4 �� ���� �� ��� ����� "�

������� �� ��������$ #� ������� ��� ������ �����

������� ��� ������ ����� �� ������� ���"���$

�'�' 9���� ����5��# ���0 �������+��� ��*�����5� �0�,�

� ������ ����� ��� ��� �.��� �� ��� �����"��� ���������

����$ #������ ���� ���. ����� ��� � ������� ���� ���� ��� ���

������������ �� ��� ������ �����$ #� ���� ������������� ���

������ !� ������� �� ��� ���(. �� ���� ������� ���

��������� �� ����� �� ���� ���. $ 1��� ����� ����

���� ��� �������� ����������� �� ��� ��� ��������$ %��

���.��� ���� ����������� ��� ���� ����� �� �.������

���� �����������$ ������� ���� �� ������ ����� 7O8 ��

����� ����� 7/A8 ��� "� ��� ��� ���� �������$

�� ��� � �� 9��$ N� ��� ������F� ������� ��+���� �� ��������

�� ��� �,��# *��,�$ %�� ���� ����� ����� �� � ���� � �� ���

������ �� �� ���� "� �� ������ �� � ��� ����$ %�� "����

�������� �� ��� ���� ����� �� �� ������ � ���. ���� ������

����� ��� ������� �� ����� �� � ��� �"&��� ��� ����

��+����$ %�� �������� ��������� ��� "� � ���� ��"��

���������� ��� �.�����$ ���� ���� ���. ������� �

��+���� �� ��� ������� ���� �� ��� ��� ���� �� ���� ���

���(. �� ��� ��+����� ������� �� ��� ������ �� ��� ���

�� �������� ��� ��+���� �� ��� ����������� ���. $

��� �� ��� ��� � �������� ������� �� ���� ������������

����� ��� ���� �������� �� �� ������� =$/$

A$ %�� ������ ��+����� � ���$

/$ %�� ���� ����� ������� ��� ��+���� �� ��� ��� �� �� ���

������� ���. )5/ �� ���� �.�����*$

?$ #� ��� 5/ ��� ��� ��� ��� ��+����� ���� �� ���� �

��+���� �� ��� ������ �����$ %�� ��� �"&��� �� �������

�� �� ��������� �� !� ������� " ��� ������� ���� �

��� ������$ 5/ �����"���� ��� �������� �� �����������

���. ������ �� ���� ��� !� ������� �� ���(.�� ��

��� ��� �� ��� ��� ���.���$ #� ���� ������ ��� ���

������ �� ��� ������$ H��� ���� �� ��� ��+����� ���

�� ����� �� ��� ������ 5/ ����� ������ ��� ���

������ �� ��� ������$

=$ ����� "�� ���� ��� ������ � ��� ������ ������� �������

R/ �� ��� �������� ��� "��! ��������$

<$ �� 5/ ��� ����� ������� R/� �� ������ ��� ������

������� �� ��� ������$

;$ :���� ����� ��� ���������� �� �������� ������� R/� 5/

���� ��� ���(. �� ������� R? �� ��� ������ �� ���� �

��+���� �� 5? �� ����� ��� ���� �� ��� ������� �� ���

������$

N$ 5? ���� ������� R? ������ �� ��� ������$

#� ���� ������������� ��� �����"�� ���"���� �� ����� �

������ ����� ��� ���������$ %�� ���� �� ��� �� ������.�

�� ��� ���� ���. $ ��������� ����� ���� "� ���������� ��

���� ������� ����� �� ���� ���. ������� ��� ��� ������� ��

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/��� =?A

9��$ N$ � ��� ����� �.����� �� � "�� ���������� �������$

Page 9: An interactive video delivery and caching system using video summarization

��� ������$ 1��� ���. ����� ������ ��� �� ��� ���

�������� �� �� ��� ���������� ������������ ����� ��� �������

�� ���� ��� ��� ������� ��� ���(.�� �� !� �������$ #�

������� ������� ������ ������ ���� "� ����������

����� ��� ���. ������$ � ������ ���� ����� �� ���� ����

�� ����� ��� ������� ��+���� ���� ��� ������$

�'�' 9���� ����5��# ���0 0#���� ��*�����5� �0�,�

#� ��� ���������� ���������� �������� ��� "��! �� ���

��� ������� �� ������ ������� ��� ������ �����$ %���

����� ������� ��� ������ �����$ #� ��� �����"��� �������

���� ���. ���� �� ����"���� �� ����������� ��� "�

������.$ #� ���� �������� � ������� � � "�� ������������

���� � ������ ����� �� ���� "�� ��� ���� �� ����� �� ���

����������� ��� ������������ �� �������� ��� !� �������

�� ���(.��$ %�� ����� �� ��� ��� �������� �� ���

������ �� ��� ������ " ��� ���. ������$

9��$ O ��� � ��� ������������ ����� ��� �.����� ��������$

A$ %�� ������ ��+����� � ���$

/$ #� ��� ��+����� ��� �� ��� �� � ������ ��� ������ �����

���� � ��+���� �� ��� ������ �����$ %�� ��� �"&��� ��

�������� �� ��������� �� !� ������� " ��� �������

���� ��� ������$ %�� ������ ����� ����� ��� !� �������

�� ���(.��� �� �����"���� ��� �������� �� �����������

���. ������$ #� ���� ���� ��� ��� ������ �� ���

������$ H��� ���� �� ��� ��+����� ��� �� ����� �� ���

������ ��� ������ ����� ����� ������ ��� ���

������ �� ��� ������$

?$ ����� "�� ���� ��� ������ � ��� ������ ������� �������

R/ �� ��� �������� ��� "��! ��������$

=$ %�� ������ ����� ���� ��� ���(. �� ������� R/ �� ���

������ �� ���� � ��+���� �� 5/ �� ����� ��� ���� �� ���

������� �� ��� ������$

<$ 5/ ���� ������� R/ ������ �� ��� ������$

;$ %� ��� ��� �� �� ������ �� ������� R/� 5/ �������

��� ������ ����� ��� ��� ������$

N$ %�� ������ ����� ���� ��� ���(. �� ������� R? �� ���

������ �� ���� � ��+���� �� 5? �� ����� ��� ���� �� ���

������� �� ��� ������� ������� �� ���� =$

O$ 5? ���� ������� R? ������ �� ��� ������$

����� ��� "��! �� ��� ��� �� ������ ������ ���� ���

���. ������ �� ��� ������� ��� ������ ����� �� ���� ����� ��

������� ����������� �� �������$ %�� ������ ����� ��

����� �� ������ �� ��� ������� ������� �.�������$ %��

���������� ������4 �� ���� ���� "� ������ �� ���

������� ��+���� �� ���� �� ��� ������ ����� "�� ��� ��� ����

�� �� ���� ��� ���. ������$ G������� �� ��� ��������

������ �������� ��� �� ��� ��� ������� ��� ������ �����

����� "� �"�� �� ��� ��� ��� ����� �� �� ��� ���.

������$ 9�� �.������ �� ��� ������������� �� 6GC "����

��� ������ ����� ��� ��� �� ��� ������ ����� ��� ���

��+���� )�$�$ �� ����� = �� N*$ -� ��� ����� ���� �� ���

������ �� ����� �� � %5C �������� � ���� ������ %5C

������ "�� ��� ��� ������ ����� �� ��� ���. ������$

�'�' ��0� ��*���%�,� ���,+�����# �,� *���#

�� �������� �� � ��� ��� ����� ������ ��������

���.���� ���������� �� ��� ����� ����������� ������ ��

��������$ #� ������� �������� �� � ��� ��� �������� ���

������� �������� ��� �����$ %��� ������� ��� �������

������ ���� ��� E��� �� �������F �������� ���� ��� �"&���

�� ������ ����� �� ��� ������� �� ��� ����� �� ���$ � E�����

���F �� ������� �� ��������$ 6���� ��� �.����� ��������

���� �������� =$/>=$=� ��� ��� ������ ������� ��� �������

R/ �� ��� �������� ��� "��! �������� �� ��������� �� ��

������� ������� R?� ����� ���� ��� ������ ��� "���

�������� R/ �� R?$

:����� ������ 7/�;8 ������� ���� ������ ��+����� �� ���

(��� ��� ������ �������� ������� $ � ����� �����������

��������� ���� �� �:6� 7A=8 ��� �.����� �������� �������

7A8$ ���� ��� ����� �� ���� �� � �� ���� ���� "� ��������

�:6� �������� �� �"&��� ���� �� ������� ��+���� �� ���

����� ������$ '����� ��� �:6 ������ �� �:6� ��� � A�

1��� ���. ����� �� ��� � ���� ���� ���� �:6� ������ ��

��� ����� ����������� ���������$

%�� ����� ����������� ��!�� ����� �� � � ��������� �� ���

� ����3 ��� ������ ����� )�� ������� �����* �� ���.

������$ ���� � ��� ������� �� ������� " � ���.

������ ��� ���(. �� ���� ������� ������� �� ��� ������

����� )�� ��� ���������� �� � "�� �������������* �� ��� ���

������� ����� �� ���. ������ )�� ��� �����"��� ���������

����*$ #� ����� �� � ��+���� �� ��� ������� �������� ��� ���(.

��� "� ���� �� ��� ������ ���� ��� ���� �� ��� ������� ��

��+����� �� ��� ������ �����$ ���� ��� ��� �������� �� �

��� ��� ����� ���� ������� ��� !� ������� �� ���(.��

��� ���� "� �����$ H��� ���� ��� ���(. ����� ��� "�

����� "����� ��� ������ ������� �� �������$ ���� ���

���(. �� ��� ������� ��� ��� �.���� ��� � ���� ��������

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/���=?/

9��$ O$ � ��� ����� �.����� �� � "�� ���������� �������$

Page 10: An interactive video delivery and caching system using video summarization

���� ��� ������� �� ��� ����� �� ����� �� ��� ��� "�

�������$

%���� ��� ���� ����� ����� �� �����������3 !� ������

����� ���(. ���� �� ������� ����$ � ���(. �� �� � �

�� ������ ����� ����� ��� � !� ������$ -� ��� �����

���� � ���(. �� �������� ��������� ��� � ������� �����

�� �� ��� ������� ���� �� ��� �������$ ����� !� ������� ��

���(.�� ������� ���� ��������� � ������ ������ �������

���� �� ����$ #� ��� ������� ����������� ���������� �"&���

�� ������ ������� �� ���� ��!�� �� "� �������$ %��������� �

������ �:6� ������ ��� "� ������ ���������� ���

�������� ���������� � ������ �� ���� ����$

� ������� ������

�� ���������� � ������ �� � ���� "��� �� ��� :����

H�� ��!� ���� ��� ��������� !�� )�GL* 7AO8$ ������

:���� ���� �������� ��� ���������� �� ��� ��� ��

����� ��� ������� �� ��� ��� "��! �� � ��� ������$ -�

��� ����� ���� � (��������� ������� �� ���������� ��

����� ��� :�������� ��� �"���� �� ����������� �����

� �C1I ���$ -� ��� ������ ���� � �������� ������� ��

���������� �� ���"�� ��� :���C�� �� �� ����� � �C1I

��� ����������� $ %�� (��������� �� �������� �����

��� ��� ��� ,���"��� �������� �� ����������� ���

���� ����� �� ��� ��� ��������� �������$ %��� � ����

���� � ����� �� +���!� "�� �� ������� ��� ������ ���

������� " �� ��� !� ������� �� �����$ 1��� !� ������

�� ���� ���������� � ��� ������� ���� ��� "� ��� �

"��! �������� �������� �� ��� ���� ���������$ 9��$ Q)�*

��� � ��� �������� �� ���� � ���� �� � ��!��� C5$ H���

���� � � :���C�� �� ��� � ������ ��� ��� ���� ����!�

�� � ��� ���� �� �������� �� ������� " ��� ������

������ ���. �����3 ��� ��� ��� � ��� ������������

��� ������ �� ��� ����� ��� ��� � ��� ���$

%� ���� ��� ������+�� �� ��� ��������� �� � ����

��� �������� ��� � ����� ���� ������� � ����������

� ��� ��� �� ����� ��� ��������� 9�������� 5����

)�95* 7A;8 �� ��� ���� � 51 ��������$ %�� ��� ��

�������� �� ��� ��� ����� ���� �� �.���� ���� ���

������ �" �����$ %�� ��� �� ���� �� '%%C ��+����

�� ��� ����� ��� � ������� ����� ������ ��� ��� ��������

����� �� ��� ��+����� ���$ %�� ����� �������� 1��� ��

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/��� =??

9��$ Q$ � ������ �� � ���� �� ���������� �� )�* ��� �GL ����� " :���H�� ��!� � ���� �� )"* �95 �� ���� � 51 ��������$

Page 11: An interactive video delivery and caching system using video summarization

� ������ "�� ��� �������� ��� ������� (��� "�����

���!������� ��� ���$ %�� ����� ��� ��� �����������

�"��� ��� " �� �������� ��������� ��� ��� "�������� ��

���� ��� ������� �� ���� ��� ������� ������� ��

�����$ 9��$ Q)"* ��� � � ������� �� ��� ���������� ���

����� �� � ������ �������� )'C ������ N/0* ��� �

������� ��H ����������$ ������� ��� ������ �� ������

��� � � !� ������� ��� ��� � ���� ��������$ ���� ���

���� ����!� �� � ���������� !� ������� ��� ���� ��� ��

��� �� ��� ��� ��� �� ��� ����� ��� ��������� ��

"� ��� �� "�� �� ��� ������ $

� �����������

�� �������� �� ��������� ���������� ��� �����

�� ������� � ���� ���� �������� ��� ������� ���� ���

������� �� ����� "����� ���� ���������� �� �������

��� ��! ���������$ %�� ������� ���� ��� ������ ��������

���� "����� ��������� !� ������ ���������� �� ����

�������� �� ����!���$ ���� � ������ ��+����� � ���������

��� (��� ��� � ���� �������� ������ ��� ���

������ �� ��� ����$ %�� ���� +���!� "�� ��� �����

������ ������ �� ���� ������ �� � ���� ���

���$ #� ��� ���� ������� �� � ����� ��� ���� ��� ����

������ ���� ���� �� ��� ��� �� � ����$ �� "�����

��� ������ �������� ������ "����� ��� �� ��� �����

������ �� ��� ������ �� � �.���� ���� ������ "�������

�� ������$

-�� ��� � ���� ���� ��������� ��� ��� ���������

����� ���(. �������� ������������ �� ���������� �������

������+��� �� ���"�� ����� �� �� �� ���� �� ��� �����

��� ������ ���� ��� �$ � ���������� ��� ���� � ���

�"�� �� ��� � (�� ����� ����� ����������� ��������� ����

�.������ �������� ������� �� ���������� �������$ ��

�����"� ��� ��������� �� ��� ����� �� �������

��������� �� ����� ������� ���������� ������� ���������

�����3 ����������� �����"���� �� � "��$ -�� � ���� ��

������ �� ������� ��� ������� ���� ��� ������ ���� ��

�������� ������ �� ���� �� ������ �C1I�A ��

�C1I�/$ �� "����� ���� ��� � ���� ��� ���� "� ��� ���

����� ��������� �������$ �� ��� ����� ������� �������������

���(. ������� �� ���������� ������� �� ����� ���

�������� ��� ������ � ������ ���� ������� ���� ����

�� ����� ��� ������ �� ��� ����� "������ �� ��������

��� ������$

�� �������� ��� � ������� ���� ��� ������ ������ ��

�������������� �� ��� �GL ����� " :���H�� ��!� ��

�95 �� ��� ���� � 51 ����������$ #� �������� �� ���

��!��� C5� �� ������� ��"��� ������ ���������$ ��

��� ���������� ��� ��! �� ������ � �$ ���������� �� ��

�������� �� ������� ��� ����������� �� ����� � ���� ������

��������� ������ ����������� ����������� �� ��� �������

���� �� �:6�$ ���� �� ��� ������� � ����� ���� �������

����� � ���� �� ��������� ��� ��������� ��� ����� ��

������� � ���� �� � ���� �����"�$

�!�������

7A8 �$ ����� �� �$ ������ �������3 � ��� ������� ���. ������

C��������� �� ��� H-��G�2 /000� 5����� '���� H5� ���� /000$

7/8 �$ ����� �� �$ ������ C$ C������ 5������������� ���� ������ �� ����

�� ��� ��� �� �"� C��������� �� ��� �C#1@�5���5H /000�

��� ����� 5�� ������ /000� ��$ A?0>A=A$

7=8 C$ 5��� 1$�$ 9������ �$:$ L������ L$ ��� � ��� �� ���������

����������� �� ������� ����������� C��������� �� ��� �5�

�#I�1%:#5�FQ<� -��� �� 5����� �� AQQ<� ��$ AOO>AQN$

7<8 �$ 5���!������� C$�$ G������ 5$ H�������� �$9$ ��� ����� L$�$

�������� � ������������ #������� �"&��� ������ C��������� �� ��� AQQ;

6�1H#, %�������� 5���������� ��� G����� 5�� ������ AQQ;� ��$

A<?>A;?$

7;8 �$ 5������� �$ ������� I$�$ 2���!��� '$� �� � ����������� ��

���� ��� �� � �������������� ��!���� C��������� �� ���

6�#%�F0A� ��� 9��������� 5�� ����� /00A$

7N8 �$ 5������� C$ ������� %�� H�� ��! ������� �� ������������ C������

���� �� ��� #111 #H9-5-�FQO� ��� 9��������� 5�� ����� AQQO� ��$

A/?/>A/?Q$

7O8 �$ 9��� C$ 5��� �$ ������� �$S$ ������ ������ �����3 � �����"��

������� �" ����� ������� ��������� C��������� �� ��� �5�

�#I5-��FQO� 2�������� 5����� ������"�� AQQO� ��$ /<=>/;<$

7Q8 �$ I��� �$ :�"������� �$ 5����� :����� ������ ��� ���3 ��

�������� �� "������ ����� #������� ������� C��������� �� ��� #111

'��-��2#� 5��� 5�� ��� �� AQQN� ��$ Q?>QO$

7A08 �$ '������� %$�$1$ H�� L$ I��� �$ C���� '$ S����� 5������ �������

+��� ��� ��������� ��������� ��� ��� #�������� ���� ��"���������

%�������� :������ ��0AA?=<�QQ0=0Q�0=%�� ����� AQQQ$

7AA8 �$�$ ��� �$ ����� �$%$ �������� 5������ ������� ��� ��!�3 ��� ������

������� �� ��������� C��������� �� ��� �5�F0A� ������� ��� ����

/00A$

7A/8 �$�$ ��� '$�$ S����� �� ���.��� �� "�� ���� � ���� ��� ����

���� C��������� �� ��� 16�#C5- /000� %������� 9������

������"�� /000� ��$ A?A>A?=$

7A?8 ,$ ��������� �$�$ ��� '$�$ S����� ���� ������������ �� ���

��������� ����� ����� G5% ������������ C��������� �� ���

#111 #5#CFQQ� L�"�� ������ -���"�� AQQQ� ��$ ?O;>?Q0$

7A=8 1$ -FH���� C$ -FH���� I$ ���!��� %�� �:6�L ���� �����������

��������� ��� ���"��� ��! "��������� C��������� �� ��� �5�

�#I�-GFQ?� ����������� G5� �� AQQ?� ��$ /QN>?0;$

7A<8 2$H$ C�����"���� �$5$ ������ 6���� �������� ����������� ��

������ ��� �� �" ������ � �5� �#I5-�� 5�������

5������������ :��� /; )?* )AQQ;* //>?;$

7A;8 �$ C������� C���������� ���� � ��� �95� /� �� ���������

C����� :����� ��� AQQQ$

7AN8 �$ :�"������� �$ 5����� �$ I��� H�� ��� ���� ��� ������ �+���3

���������� ���. ������� ��� � ������� ��� ��!� 5�������

H�� ��!� �� #�GH � ����� ?0 )//>/?* )AQQO* //<?>//<Q$

7AO8 :���H�� ��!� ���� ��� G��������� L��� ����3@@ $������� ��!�$�

���@�����@�����@$

7/A8 �$ :����!�� G$ �������� 5���� ������ C��������� �� ��� �5�FQO�

����������� 1������ ���� AQQO$

7//8 '$�$ :� �� � �$ ����&�� %$ L����� H����� ��� ��!�"��� ���� �����

����� #111 %����������� �� C������ ���� ��� ��������� #�����������

/0 )A* )AQQO* /?>?O$

7/?8 �$ ���� �$ :�.���� G$ %� ��� � C��. ���(. ������� ��� ���������

�������� C��������� �� ��� #111 #H9-5-�FQQ� H� ���!� H��

����� AQQQ� ��$ A?A0>A?AQ$

7/=8 �+�� #������� -"&��� 5����� ����3@@�+��$�����$���$

7/<8 2$ 2������������ L$�$ :���� 5���� ���� :������ C������� A$0� #1%9

#������� G����� ��������������A�0?$�.�� 9�"���� AQQO$

7/;8 S$ ����� �$ 5�� ������ C���������� �� ��� �� �"� C���������

�� ��� #111 I��"�� #�������FQ;� ������ 6L� H���"�� AQQ;� ��$

/O>?/$

7/N8 S$ ����� �$ 5�� ������ 5��������3 � �����"��� ����� � ���� ���

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/���=?=

Page 12: An interactive video delivery and caching system using video summarization

��� �� �"� C��������� �� ��� �5�FQN� ������� 5�������

���� AQQN$

7/O8 G$ �������� L$ 5���� � #������� 5���� C������� )#5C* ������ /� #1%9

:�+���� 9�� 5������� /AO;� ������"�� AQQN$

7/Q8 �$ ������� I$�$ 2���!��� H$ ������� H$ 5�� ���� �$ L������ '$�$

�� � -� ��� ����� �� ����������� �� ���������� �" ���. �����

���� C��������� �� ��� �5� �-�CFQQ� 5���������� �5� G����"��

AQQQ� ��$ A;>?A$

7?08 '$�$ S����� �$�$ ��� ��������� �� ��������"��� ��� "�� �����

C��������� �� ��� ?/� #111 �������� 5��������� �� ��������

� ������ �� 5��������� C���(� I���� 5�� H���"�� AQQO$

7?A8 S$��$ S����� G$'$5$ ����� G$ ��� 2��� �������3 � ���. �������

"��� �������� �� �������� ��� ����� ��� �������

��� ��!�� #111@�5� %����������� �� H�� ��!��� O )=* )/000*

=/Q>==/$

!'�(' �� �� ��' ) ��%*+��� ��%%+,�����,� �� -����. ���/��� =?<