監視カメラからの顧客行動の分析は、マーケティングにとって最も重要なトピックの1つです。 そこで本研究では棚の前面でのさまざまな顧客の行動を認識するシステムを提案しました。 提案されたシステムは頭の向き、体の向き、および腕の動作など複数の手がかりを統合し顧客の行動を認識します。 最初に、顧客の頭と体の向きを8つの方向に離散化し、顧客が商品の棚を見ているのか、それとも別の方向を見ているのか推定します。 続いて、半教師あり学習によりトレーニングデータセットを最適化し、正確な分類器を訓練します。 腕の動作認識に関しては、手の軌跡および手と買い物かごの間の相対位置を含む新しい複合特徴量CHF（Combined Hand Feature）が、さまざまな腕の動作の推定に寄与します。 そのCHFは、動的ベイジアンネットワーク（Dynamic Bayesian Network ）によってさまざまなアームアクションに分類されます。

The analysis of customer behavior from surveillance camera is one of the most important open topics for marketing. We develop a system to recognize different customer behaviors on the front of shelf: no interest, viewing, turning to shelf, touching, picking and returning to shelf and picking and putting into basket, which show customer's increasing interest to products. In the proposed system, head orientation, body orientation, and arm action, the multiple cues are integrated for the customer behavior recognition. The proposed system discretizes the head and body orientation of customer into 8 directions to estimate whether the customer is looking or turning to the merchandise shelf. Semi-Supervised Learning method is applied to optimize the training dataset and to generate an accurate classifier. As for the arm action recognition, a novel combined hand feature (CHF), which includes hand trajectory, tracking status and the relative position between hand and shopping basket, is proposed to describe different arm actions. The CHF is classified by Dynamic Bayesian Network (DBN) into different arm actions. A series of experiments demonstrate the effectiveness of the proposed methods and the performance to the developed system.