量化研究與統計分析 ─ 文獻導讀報告

2009/12/17 量化研究與統計分析 1

量化研究與統計分析 ─ 文獻導讀報告

組員：葉思岑、陳馥蓉、徐瑜君

Jansen, B. J., Zhang, M. M., & Schultz, C. D. (2009). Brand and its Effect on User Perception of Search Engine Performance. Journal of the American Society for Information Science and Technology, 60(8), 1572-1595.


研究動機• 大部份搜尋引擎之表現及其介面好用性其

實相似，為何只有少數的搜尋引擎可以主宰大部分的網路流量？

• 前人的研究，發現「 popularity 」也是使用者使用某一搜尋引擎的原因

• 「 ( 搜尋引擎 ) 品牌效果」對使用者認知搜尋引擎之表現有何影響？

Brand and its Effect on User Perception of Search Engine Performance


名詞解釋：品牌 (brand)

• A brand is the intangible sum of an organization’s attributes, which can reflect an organization’s name, history, reputation, and advertisement.

• A brand can be recognized as the identifiable symbol, sign, name, or mark that distinguishes an organization or a product from its competitors.



研究假設• Research objective 1

– The search engine brand has no effect on the number of links examined among the SERPs of the search engine.

• H1a: There will be no difference in the number of links examined among the search engines.

• H1b: There will be no difference in the number of organic links examined among the search engines.

• H1c: There will be no difference in the number of sponsored links examined among the search engines.




– There will be no difference in the number of links clicked by rank among the search engine.

• H2a: There will be no difference in the number of links clicked among search engines.

• H2b: There will be no difference in the number of organic links clicked among search engines.

• H2c: There will be no difference in the number of sponsored links clicked among search engines.




– The search engine brand has no effect on the evaluation of links on the SERP among the search engines.

• H3a: There will be no difference in the evaluation of links among search engines.

• H3b: There will be no difference in the evaluation of organic links among search engines.

• H3c: There will be no difference in the evaluation of sponsored links among search engines.




– The search engine brand has no effect on the evaluation of SERP landing pages.

• H4a: There will be no difference in the evaluation of SERP landing pages among search engines.

• H4b: There will be no difference in the evaluation of organic landing pages among search engines.

• H4c: There will be no difference in the evaluation of sponsored landing pages among search engines.

• Research objective 5– What are the underlying issues of branding that affect

how users evaluate search engines, links, and Web pages?



研究設計• one – quarter fraction of a 4X4 design

– Brand(4) X Query type(4)=16 種問題情境


BrandQuery type

Google Yahoo! MSN No name

1.Housing(manufactured home)

G1 Y1 M1 N1

2.Entertainment(techno music)

G2 Y2 M2 N2

3.Medicine(laser removal)

G3 Y3 M3 N3

4.Travel(camping Mexico)

G4 Y4 M4 N4


研究設計• 受測者會分配到某一個 block ，此 block 包含四

種處理組合


問題類型

受測者

HousingEntertainme

ntMedicine Travel

1 G Y M N 2 N G Y M3 M N G Y4 Y M N G

32X4=128

2009/12/17 量化研究與統計分析 10

研究設計• 搜尋結果介面設計

– 減少變因• 結果數、結果的呈現方式、結果品質

– 檢索結果頁面 (SERPs) 採用 Google 搜尋結果• 移除所有可辨識的 logo 、 text 、 URLs 、 HTML code

– 與不同搜尋引擎的品牌要素組合• Google• Yahoo! • MSN Live Search• AI2RS( 代表 No name)


2009/12/17 量化研究與統計分析 11


2009/12/17 量化研究與統計分析 12

執行程序• 32 位受測者

– 2006 年秋季從主要的美國大學招募– 年齡範圍為 18-25 歲– 8 位女性、 24 位男性

• 實驗開始前– 填答人口統計資料問卷、網路搜尋行為相關問題– 主持人 (moderate) 說明實驗過程、指導其採用大聲思考法 (think

aloud)• 正式進入研究

– 受測者直接檢視四個搜尋情境的搜尋結果 ( 實驗 SERPs)– 受測者可在實驗介面上持續搜尋，當其進行一些離開實驗介面且不再

返回的動作 ( 例如：送出新的查詢、到下一頁結果、到不同搜尋引擎 ) 時，該實驗情境即結束

• 實驗過程沒有時間限制

2009/12/17 量化研究與統計分析 13

執行程序• 搜尋情境舉例：

2009/12/17 量化研究與統計分析 14

執行程序• 計算

– Examined link– Clicked link

• 評估採用 3-point scale( 相關、有點相關、不相關 )

– Evaluation of link– Web page evaluation

• Utterances( 質化分析 )

• Next search action


2009/12/17 量化研究與統計分析 15

研究結果• 實驗前調查 ( 沿用 2005 年的問卷 )

– 常用之搜尋引擎 ( 複選 )

• Google(31) 、 Yahoo!(10) 、 Dogpile(2) ， AltaVista(1) 、 Naver(1) 、 MSN(1)

– 常用原因可分為 10 項• 搜尋引擎的聲望 / 名氣 (popularity)• 與 2005 年調查相比， Company

Standards 、 Social Networking 為此次出現的新回應


2009/12/17 量化研究與統計分析 16


2009/12/17 量化研究與統計分析 17

研究結果 ─ H1


H1a

H1b

H1c

marginally significant

2009/12/17 量化研究與統計分析 18

研究結果 ─ H1

• 不支持 H1a– 檢視數 (link examined) 與搜尋引擎品牌有顯著關係

(p=0.022) • Yahoo!>Google 、 MSN

– 品牌與問題類型之交互作用顯著 (p=0.154)

1. Housing query ： Google 、 Yahoo! > MSN > No name2. Entertainment query ： Yahoo! > Google 、 MSN 、 No

name3. Medicine query ： No name > Google 、 Yahoo! > MSN4. Travel query ： Yahoo! > MSN > Google 、 No name


2009/12/17 量化研究與統計分析 19

買屋：Google 、 Yahoo! > MSN > No name

買屋：Google 、 Yahoo! > MSN > No name

娛樂： Yahoo! > Google 、 MSN 、No name

娛樂： Yahoo! > Google 、 MSN 、No name

醫療： No name > Google 、 Yahoo! > MSN

醫療： No name > Google 、 Yahoo! > MSN

旅遊相關： Yahoo! > MSN > Google 、 No name

旅遊相關： Yahoo! > MSN > Google 、 No name

Fig2. 所有檢視的連結數交互作用 (brand*query) 圖


2009/12/17 量化研究與統計分析 20

研究結果 ─ H1

• 不支持 H1b– 一般連結檢視數與搜尋引擎品牌有顯著差異 (p=0.089)

• Yahoo!> No name

• 不支持 H1c– 搜尋引擎品牌對贊助商連結之檢視數上有顯著差異 (p=0.045)

• Yahoo!> MSN– 問題類型影響顯著 (p=0.000)

• Housing>the other three – 品牌與問題類型之交互作用顯著 (p=0.026)

1. Housing query ： Google >Yahoo! 、 MSN 、 No name2. Entertainment query ： Yahoo! > No name > Google >

MSN3. Medicine query ：幾乎是 0 ，只有 No name 有，但不顯著4. Travel query ： Yahoo! 最高


2009/12/17 量化研究與統計分析 21

買屋： Google >Yahoo! 、 MSN 、No name

買屋： Google >Yahoo! 、 MSN 、No name

娛樂： Yahoo! > No name > Google > MSN

娛樂： Yahoo! > No name > Google > MSN

醫療：幾乎是 0 ，只有 No name 有，但不顯著

醫療：幾乎是 0 ，只有 No name 有，但不顯著

旅遊相關：Yahoo!旅遊相關：Yahoo!

Fig6. 檢視的贊助商連結數交互作用 (brand*query) 圖


2009/12/17 量化研究與統計分析 22

研究結果 ─ H2


H2b

2009/12/17 量化研究與統計分析 23Fig8. 所有點擊的連結數交互作用 (brand*query) 圖

買屋： Google > Yahoo! > MSN > No name

買屋： Google > Yahoo! > MSN > No name

娛樂： Yahoo! > Google 、 MSN 、

No name


No name醫療：四種搜尋引擎之連結點擊

率皆相似

醫療：四種搜尋引擎之連結點擊

率皆相似

旅遊相關：Yahoo! >

MSN > Google 、No name

旅遊相關：Yahoo! >

MSN > Google 、No name


2009/12/17 量化研究與統計分析 24


Fig9. 點擊的贊助商連結數交互作用 (brand*query) 圖

買屋： Google > Yahoo! 、 MSN 、No name



No name


No name

醫療：四種皆趨近於 0

醫療：四種皆趨近於 0

旅遊相關：四種皆趨近於 0

旅遊相關：四種皆趨近於 0

2009/12/17 量化研究與統計分析 25

研究結果 ─ H1&H2


點擊之連結平均少於檢視之連結約 26%

2009/12/17 量化研究與統計分析 26

研究結果 ─ H3


H3b

2009/12/17 量化研究與統計分析 27

研究結果 ─ H3

• 不支持 H3a– 搜尋引擎與連結的評估有顯著性差異 (p=0.071)

• Google>MSN

– 品牌與問題類型間之交互作用顯著 (p=0.073)

1. Housing query ： Google > Yahoo! 、 MSN 、 No name

2. Entertainment query ： Yahoo! > Google 、 MSN 、 No name

3. Medicine query ：四種搜尋引擎之連結評估分數皆低，且都低於其他問題類型之最低評分

4. Travel query ： No name > Google > Yahoo! 、 MSN[與圖對照， Yahoo!被筆誤為 No name]


2009/12/17 量化研究與統計分析 28


Fig11. 所有被評估之 SERP連結的交互作用 (brand*query) 圖




No name


No name醫療：四種搜尋引擎之連結評分

皆低

醫療：四種搜尋引擎之連結評分

皆低

旅遊相關： No name > Google >

Yahoo! 、 MSN

旅遊相關： No name > Google >

Yahoo! 、 MSN

2009/12/17 量化研究與統計分析 29

研究結果 ─ H4


無法拒絕 H4 之虛無假設

The search engine brand has no effect on the evaluation of SERP landing pages

2009/12/17 量化研究與統計分析 30

討論與建議• 研究結果顯示，使用者在情感與認知上的感受，

會影響使用者與系統的互動 – Google 、 Yahoo! 在服務品牌 (service branding) 上佔有很大的市場優勢

• Google 最常被人使用• Yahoo! 的延伸服務 ( 娛樂、旅遊 )

– 非主流 (MSN)或缺乏品牌 (No name)

• 雖然連結檢驗與點擊數較主流搜尋引擎低，但是其檢驗的連結都比主流搜尋引擎檢驗的連結之品質還高

– 領域效應 (domain effect)


2009/12/17 量化研究與統計分析 31

討論與建議• 影響使用者評估連結的其他因素

– 連結片段 (link snippet)[本研究已控制此變因 ]

• title 、 summary 、 URL

– 排序• 受到使用者信任的搜尋引擎品牌，即使最前面的連

結之有用性較低，仍會被使用者接受• 對網站設計與內容提供者之建議 (H4)


2009/12/17 量化研究與統計分析 32


2009/12/17 量化研究與統計分析 33

綜合討論• one – quarter fraction of a 4X4

design– 蒐集資料效率高，適用於短時間或無法找到許多樣本的研究

– 本研究各問題情境所獲得的資料其實只有 8 筆(32*4/16=8)[研究限制 ]

• marginally significant

• 交互作用部分直接以圖示說明，未提及單純主效果檢定，故不知是否有統計顯著效力

• 量化與質化結合


2009/12/17 量化研究與統計分析 34

報告結束謝謝聆聽

Documents

量化研究與統計分析 ─ 文獻導讀報告