General Guidelines
December 15, 2022
General Guidelines Overview 5
Introduction to Search Quality Rating 6
 
 
 
 
 
 
 
Part 1: Page Quality Rating Guideline 9
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Part 2: Understanding Search User Needs 83
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Part 3: Needs Met Rating Guideline 98
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Appendix: Using the Evaluation Platform 169
 
 
 
 
 
 
 
 
 
 
Appendix 2: Guideline Change Log 176
 
General Guidelines Overview
Welcome to the Search Quality Rating Program!




 
Introduction to Search Quality Rating
0.0 The Search Experience



















 and 
0.1 The Purpose of Search Quality Rating












 
0.2 Raters Must Represent People in their Rating Locale






0.3 Browser Requirements


0.4 Ad Blocking Extensions



0.5 Internet Safety Information



It is strongly recommended that you have antivirus and antispyware protection on your computer. This software
must be updated frequently or your computer will not be protected. There are many free and for-purchase
antivirus and antispyware products available on the web 



 
 
 
 
 


 
0.6 The Role of Examples in these Guidelines




 
 

 

 
 
Part 1: Page Quality Rating Guideline
1.0 Introduction to Page Quality Rating



 
 
 
2.0 Understanding Webpages and Websites


2.1 Important Definitions

 search engine 
 user 


 webpage 



 URL 


 website  site 


Note 






 homepage  



 website owner 
 
 content creator 
Important : 

2.2 Understanding the Purpose of a Webpage





 

 

  Lowest 



Important 




 
 
 
 
 
 
 
 
 

Type of Page
Purpose of the Page













 
2.3 Your Money or Your Life (YMYL) Topics




 
 
 


 The topic itself is harmful or dangerous 

 The topic could cause harm if the content is not accurate and trustworthy 




 YMYL Health or Safety 

 YMYL Financial Security 
 YMYL Society 

 YMYL Othe 




 to prevent harm  
 , 

 
Type of Topic
Clear YMYL Topic
May be YMYL Topic
Not or Unlikely YMYL
Topic
Information


Evacuation routes for a
tsunami
Explanation 



Weather forecast
Explanation 






Music award winners
Explanation 

Advice about an activity


When to go to the
emergency room
Explanation 



How often to replace a
toothbrush
Explanation 





How frequently to wash
jeans
Explanation 

A personal opinion



Personal opinion about why
a racial group is inferior
Explanation 



Personal opinion about why
an exercise is inferior
Explanation 





Personal opinion about why
a rock band is inferior
Explanation 



News about current events






News about ongoing
violence
Explanation 






News about a car accident
Explanation 





News about a local high
school basketball game
Explanation 

Sharing on social media





A tide pod challenge post
Explanation 


A hot sauce challenge
Explanation 





A music video
Explanation 


Online commerce and
product reviews



Purchasing prescription
drugs
Explanation 




Review of a type of car
Explanation 



Purchasing pencils
Explanation 


 

1.  to prevent harm 

2. 

Important 


2.4 Understanding Webpage Content






2.4.1 Identifying the Main Content (MC)






Type of Page and Purpose
MC Highlighted in Yellow





 










 
2.4.2 Identifying the Supplementary Content (SC)



 are not 
Type of Page and Purpose
SC Highlighted in Blue






2.4.3 Identifying Advertisements/Monetization (Ads)


 High  Low 










Important: 

Type of Page and Purpose
Ads Highlighted in Red






2.4.4 Summary of the Parts of the Page

 Main Content (MC) 

 Supplementary Content (SC) 

  advertisements/monetization (Ads)  

 High  Low 


 


Type of Page and Purpose
MC, SC, & Ads Highlighted










2.5 Understanding the Website








2.5.1 Finding the Homepage



 
 


 High  Highest 





Important 


 



URL of the Task Page





2.5.2 Finding Who is Responsible for the Website and Who Created the Content on the Page

 
 





 
 
 
 
 



 
 
 
 
 



Webpage Type
Examples
Primary Content Creator(s)
The website owner created the page
and much of the MC on the page




 

 

 














The website owner created the page,
and the MC is produced by authors or
other content creators identified by
the website




 


 

 










The webpage consists of social media
post(s) from a single account
representing an individual content
creator or organization





 
 


 









The webpage is created by multiple
users engaging in discussion or
posting on social media




 
 
 








 
2.5.3 Finding About Us, Contact Information, and Customer Service Information




















 
3.0 Overall Page Quality Rating

 
 Lowest 
 
 Lowest 
 
Important 






 Lowest+  Low+  Medium+  High+ 
 Lowest+  Lowest  Low  Low+  Low  Medium 
 Lowest  Low 
Lowest  Low  High  Highest 

 Medium 
3.1 Page Quality Rating Considerations


Consideration
Why it's Important for Page Quality Rating



Lowest 






 Lowest 





 
Consideration
Why it's Important for Page Quality Rating



 
 

 















Remember 









Important 


 
3.2 Quality of the Main Content




 effort  originality  talent or skill 
 accuracy 
Effort 








Originality 

Talent or Skill 

Accuracy 


















 
3.3 Reputation of the Website and Content Creators

















3.3.1 Reputation of the Website



















 
3.3.2 Customer Reviews as Reputation Information




 Be skeptical of both positive and negative reviews. 

 Try to find as many reviews as possible. 


 Read the reviews because the content of the reviews matter, not just the number or star rating. 



3.3.3 How to Search for Reputation Information about a Website

 

 
 
 
 
 
Note 



 







 


 

Website
Reputation Information About the Website
Description





Positive reputation information 











Positive reputation information 










Positive reputation information 









Positive reputation information 














Extremely negative reputation information 













Extremely negative/malicious reputation
information 








Extremely negative reputation information 




 
3.3.4 Reputation of the Content Creators












3.3.5 What to Do When You Find No Reputation Information











 
3.4 Experience, Expertise, Authoritativeness, and Trust (E-E-A-T)


Trust 
 Trust 
 Online stores 
 Product reviews 

 Informational pages on clear YMYL topics 
 Social media posts on non-YMYL topics 

Experience  Expertise  Authoritativeness 
Experience 



Expertise 



Authoritativeness: 





Experience  Expertise  Authoritativeness 



 
Trust 



 What the website or content creators say about themselves: 


 What others say about the website or content creators: 



 What is visible on the page, including the Main Content and sections such as reviews and comments: 




Important 

 "Our product is great!" 



 , 
 
3.4.1 YMYL Topics: Experience or Expertise?









YMYL Topic
 Experience
 Experts


(YMYL Health or Safety)









(YMYL Health or Safety)







(YMYL Financial Security)





(YMYL Financial Security)








(YMYL Society)





 
4.0 Lowest Quality Pages
Lowest 
 Lowest 


 
 Lowest 
 

Lowest 
 


 Lowest 

Lowest 

The Lowest rating is required 




The Lowest rating is required 




 Lowest.



 
 Lowest 
Lowest 
 Lowest

 
 
 

 















 
 

 
4.1 Types of Lowest Quality Pages
 Lowest 
 Lowest 

 Lowest 
Description
Reference Section





 
 







 

 






 

 







 
 







 
 

Important 
 Lowest 

 
4.2 Harmful to Self or Other Individuals
 Lowest 





 all 


 .





Harmful to Self or Other Individuals
NOT Harmful to Self or Other Individuals
 
 
 


 

 


 


 


 


 



 
 
 

 

 



 
4.3 Harmful to Specified Groups
 Lowest 

 
 
 
 
 
 
 
 
 
 
 
 
 
 






 people 





Harmful to Specified Groups
NOT Harmful to Specified Groups
 

 


 

 


 

 

 
 
 

 
4.4 Harmfully Misleading Information
 Lowest 




 at least one of the following:
Type of Harmfully
Misleading Information
Description
Examples




 
 






 
 










 

 





 exclusively 
 


 

 

 










 




4.5 Untrustworthy Webpages or Websites
 Lowest 






 lack 






 Lowest 

 
 
 
 
 
 

Important  Lowest 


4.5.1 Inadequate Information about the Website or Content Creator for the Purpose of the Page










 Lowest 
 
4.5.2 Lowest E-E-A-T and Lowest Reputation of the Website or Content Creator

 Lowest 
 Lowest 

 Lowest 

Note 

Website
Description

Evidence of fraudulent behavior 




Evidence of criminal behavior 



Evidence of fraudulent behavior 

4.5.3 Deceptive Page Purpose and Deceptive MC Design


 Lowest 



 A webpage or website that impersonates a different site 

● A non-satirical social network profile made by an impersonator
 A webpage or website that looks like a news source or information page, but in fact has articles to
manipulate users 

 A webpage claims to offer an independent review or share other information about a product, but is in
fact created to make money for the owner of the website without attempting to help users. 


 A website claims to be the personal website of a celebrity, but the website is actually created to make
money for the owner of the website without the permission of the celebrity. 


 A webpage with a misleading title or a title that has nothing to do with the content on the page. 

 A webpage or website with deceptive website information. 

 



 Pages that disguise Ads as MC 




 Pages that disguise Ads as website navigation links  



 Lowest. 

 Lowest. 
Lowest.
4.5.4 Deliberately Obstructed or Obscured MC



 Lowest 
 

 
 
 
 





 Lowest 


Important: 
 Lowest 
 
4.5.5 Suspected Malicious Behavior

Lowest 

 

 

 

 
Important 

 Lowest 



4.6 Spammy Webpages








 Lowest 

 Lowest 


 
4.6.1 Cannot Determine a Purpose, No MC, Little MC, or Lowest Quality MC



 Lowest 
 

 
 
 
4.6.2 Hacked, Defaced, or Spammed Pages



 Lowest 




 Lowest 
4.6.3 Auto-generated MC











 Lowest 
 
4.6.4 Copied MC with No Added Value





Lowest 

 Lowest 

 Lowest 




 Lowest 

 Lowest 

 Content copied, reposted, or embedded exactly from an identifiable source. 



 Content that is copied, but changed slightly from the original. 





 Content copied from a changing source, such as a search results page or news feed. 


Important 

4.6.5 How to Determine if Content is Copied


 


 


 


Sentence or Phrase From a Sentence
Query to Find the Sentence or Phrase

All are convinced by Dorothy that the Wizard can help them
too


[ < All are convinced by Dorothy that the Wizard can help
them too = ]
[ All are convinced by Dorothy that the Wizard can help
them too ]

Dorothy uses the Golden Cap to summon the Winged
Monkeys


[ < Dorothy uses the Golden Cap to summon the Winged
Monkeys = ]
[ Dorothy uses the Golden Cap to summon the Winged
Monkeys ]

revealing an old man who had journeyed to Oz from Omaha
long ago in a hot air balloon


[ < revealing an old man who had journeyed to Oz from
Omaha long ago in a hot air balloon = ]
[ revealing an old man who had journeyed to Oz from
Omaha long ago in a hot air balloon ]
 












Important  Lowest 
 Lowest 

 
4.7 Examples of Lowest Quality Pages
Webpage/Content
Lowest Quality Justification
PQ Rating and Explanation









Harmful to Specified Groups
 

 













Harmful to Specified Groups, Harmfully
Misleading Information
 

 















Harmful to Self or Other Individuals
 













Harmful to Self or Other Individuals,
Harmfully Misleading Information
 


 











 
Webpage/Content
Lowest Quality Justification
PQ Rating and Explanation










Harmful to Self or Other Individuals,
Untrustworthy
 


 













Untrustworthy
 


 
 
 




 Lowest 

















Harmfully Misleading Information,
Untrustworthy
 


 














Harmfully Misleading Information,
Untrustworthy
 


 

 









 
Webpage/Content
Lowest Quality Justification
PQ Rating and Explanation





Harmfully Misleading Information
 


 


 
















Untrustworthy
 



















Untrustworthy
 


 

















 
Webpage/Content
Lowest Quality Justification
PQ Rating and Explanation





Harmfully Misleading Information,
Untrustworthy
 

 


 














Untrustworthy
 


 










Harmful to Self or Other Individuals,
Untrustworthy
 


 
 













Untrustworthy, Spammy
 
 
 









 
Webpage/Content
Lowest Quality Justification
PQ Rating and Explanation





Untrustworthy, Spammy
 
 
 





















Untrustworthy
 













Untrustworthy, Spammy
 


 
 

 
















 
Webpage/Content
Lowest Quality Justification
PQ Rating and Explanation











Untrustworthy, Spammy
 
 


 
 

 

 




















Untrustworthy, Spammy
 

 

















 
Webpage/Content
Lowest Quality Justification
PQ Rating and Explanation















Untrustworthy, Spammy
 


 


























 
Webpage/Content
Lowest Quality Justification
PQ Rating and Explanation





Untrustworthy, Spammy
 


 
 



























Untrustworthy, Spammy
 


 
 























 
5.0 Low Quality Pages
Low 
 Low  Lowest 

 Low 

Low 

Low 


Low 
 Lowest



 Low.



 Low 
Low 
 Low












Important 





Important 



 Low 
 
5.1 Lacking E-E-A-T
Low 

 

 

 

 

Important:  Low 

5.2 Low Quality Main Content
 Low 
 Low 
 Lowest 
 Low  Low effort 


 
 
 
 

 

 


 Low 


 
 Low 
Low Quality MC Examples
Why the MC is considered Low quality

























 Low 

 Low 
Low Quality Title Examples
Why the Title is considered Low quality



















 Low 
 Low 

Important  Low  Lowest 

 
5.3 Distracting Ads/SC


 Low 





 

Important  Low 

5.4 Mildly Negative Reputation of the Website or Content Creator
 Low 




 Low 




5.5 Unsatisfying Amount of Information about the Website or Content Creator








Important  Low

 Low 


 
5.6 Examples of Low Quality Pages
Type of Webpage/Content
Low Quality Justification
PQ Rating and Explanation


 

 

 














 

 

 

 













 

 

 

 Low 








 

 








 
Type of Webpage/Content
Low Quality Justification
PQ Rating and Explanation


 

 

 











 

 




















 










 
Type of Webpage/Content
Low Quality Justification
PQ Rating and Explanation



 










 

















 










 
6.0 Medium Quality Pages
Medium  Medium 
 Medium 
 Medium 

Medium 

Medium 


Medium 


 Medium.



Medium 


Medium 
Remember 




Medium 



Important: 

 Medium 
Medium 
Medium 









 
6.1 Types of Medium Quality Pages
 Medium 
 Medium 
Description
Nothing wrong, but nothing
special
 Medium 
Mixed, but with some
redeeming qualities
 High 
 Low 
Important:  higher than Medium 
High  Highest  lower than Medium  Low 
Lowest  Medium 

6.2 Examples of Medium Quality Pages
Webpage/Type of Content
Medium Quality Justification
PQ Rating and Explanation



Nothing wrong, but nothing special
 









Nothing wrong, but nothing special
 











Nothing wrong, but nothing special
 







 
Webpage/Type of Content
Medium Quality Justification
PQ Rating and Explanation


Nothing wrong, but nothing special
 










Nothing wrong, but nothing special
 









Nothing wrong, but nothing special
 











Nothing wrong, but nothing special
 








 
7.0 High Quality Pages
High  High 


 High 

High 

High 


High 


 High.



High 


HIgh 
Remember 




High 



Important: 

 High 
High 
High 








 
7.1 High Quality Main Content
High 




 High  Low 
High Quality MC: Details and Examples
Low Quality MC: Details and Examples
High level of effort: 



 
 

 


Low level of effort: 

 


 

 



High originality
 
 

 


Low originality
 

 
 

High level of talent or skill
 

 


Low level of talent or skill
 



7.2 Positive Reputation
 High 

 High 



Remember: 
 High 
 
7.3 High Level of E-E-A-T

 High   High 
Experience  High 

 High 
Expertise 


Authoritative 



Trust  High 




 
7.4 Examples of High Quality Pages
Webpage/Type of Content
High Quality Justification
PQ Rating and Explanation


 

 













 

 

 











 









 

 







 

 










 
Webpage/Type of Content
High Quality Justification
PQ Rating and Explanation


 

 









 

 

 










 

 

 












 

 









 

 





 
Webpage/Type of Content
High Quality Justification
PQ Rating and Explanation



 

 










 

 










 

 














 
8.0 Highest Quality Pages
Highest  High 
Highest 
 Highest 

Highest 

Highest 


Highest 


 Highest.



Highest 


HIghest 
Remember 




Highest 



Important: 

 Highest 
Highest 
Highest 








 
8.1 Very High Quality MC




 Highest 
 Highest 
 For news 




 For artistic content 



 For informational content: 




 Highest 

8.2 Very Positive Reputation
 Highest 





Remember: 
Highest 
8.3 Very High Level of E-E-A-T
 Highest 







 
8.4 Examples of Highest Quality Pages
Webpage/Type of Content
Highest Quality Justification
PQ Rating and Explanation


 

 

 
















 

 

 
















 

 

 














 
Webpage/Type of Content
Highest Quality Justification
PQ Rating and Explanation


 

 












 

 










 

 








 

 













 
Webpage/Type of Content
Highest Quality Justification
PQ Rating and Explanation


 

 














 

 













 

 








 

 







 
Webpage/Type of Content
Highest Quality Justification
PQ Rating and Explanation


 

 

















 

 










 

 













 

 










 
Webpage/Type of Content
Highest Quality Justification
PQ Rating and Explanation


 

 

 
















 

 










 

 








 

 











 

 







 
Webpage/Type of Content
Highest Quality Justification
PQ Rating and Explanation



 

 











 

 













 

 

 









 
9.0 Page Quality Criteria for Specific Types of Pages
9.1 Ratings for Encyclopedia Pages



 High  Highest 






 High  Medium 

 Low  Lowest 
9.2 Ratings for Pages with Error Messages or No MC



 Medium 
 High 
 Highest 

 Low 

 Lowest 
 Low  Lowest 

 Lowest  Low 


Webpage/Type of Content
Characteristics of the Page
PQ Rating and Explanation


 
 








 Lowest 
 
Webpage/Type of Content
Characteristics of the Page
PQ Rating and Explanation


 

 










 













 

 







 

 














 
9.3 Ratings for Forums and Q&A Pages

● The Main Content includes the question, the answers/responses, and the resulting discussions.
 Rate from the point of view of a user who visits the page 
 Users who post answers/responses or comments are often identified only by a username or alias. 
 High  Highest 
 The E-E-A-T of a discussion among users can often be judged by the posts or comments themselves.
 


 
 High and Highest quality forum/Q&A pages 



 Low quality forum/Q&A pages 


 Lowest quality forum/Q&A pages 


Webpage/Type of Content
Characteristics of the Page
PQ Rating and Explanation


 Harmfully Misleading Information:






















 
Webpage/Type of Content
Characteristics of the Page
PQ Rating and Explanation


 

 














 









Mixed, but with some redeeming qualities:
 
 








Mixed, but with some redeeming qualities:
 

 

 












 
Webpage/Type of Content
Characteristics of the Page
PQ Rating and Explanation


 


 










 

 










 

 

 















 

 









 
Webpage/Type of Content
Characteristics of the Page
PQ Rating and Explanation


 

 

 














 

 

 









 
10.0 Page Quality Rating Tasks

Important 









 High  Low 

10.1 Instructions for Rating Page Quality Tasks
The Page Quality task page is broken up into several parts:
 
 
 
 



 Foreign Language 

 Did Not Load 




 
11.0 Page Quality Rating FAQs
Question
Answer
Why do we have to do all
these steps? This takes a
long time!





Are we just giving High
quality ratings to pages that
<look= good?


Is sharing a personal
experience or opinion a
beneficial purpose? What if
the personal opinion is
upsetting or offensive?









Remember 

Can life experience justify a
Highest quality rating for a
page on a YMYL topic?

 Highest 



 Highest 



 Lowest 
You talked about expertise
when rating MC. Does
expertise matter for all
topics? Aren't there some
topics for which there are
no experts?







Reminder 

Lowest 
 
Question
Answer
When I think about E-E-A-T,
it seems like expertise and
experience overlap a lot.
What's the difference?

 Expertise 

 Experience 







Aren't some types of pages
always Low quality, such as
celebrity gossip?

 High  Low 


 High 


I've never seen a High
quality page of type X. If
there are no high quality
pages of this type, why are
we giving existing pages a
Low quality rating?



Some of these criteria seem
unfair. For example, some
art pages do not have a
purpose. Are these pages
Low quality?




How should interstitials
factor into my rating?




 
Part 2: Understanding Search User Needs
12.0 Understanding Search Users, Queries, and Results







12.1 Important Rating Definitions and Ideas
Query 




User: 

User Intent 

Locale 


User Location 

Search Engine Results Page (SERP): 
 result blocks 
 
Result  result  and 
 Result Block: 

  Landing Page  LP 
12.2 Understanding the Query





Important 



Query
Likely User Intent






12.3 Locale and User Location






 



12.4 Queries with an Explicit Location



o
è







o
è









12.5 Queries with Multiple Meanings

 query interpretations 
Dominant Interpretation  dominant interpretation 


Common Interpretation  common interpretation 

Minor Interpretations 
 minor interpretations 
 
Query: [apple]
Locale: English (US)
Query: [mercury]
Locale: English (US)
 
12.6 Query Meanings Can Change Over Time



User in 1994
User in 2004

st 
o
è




rd 
o
è



User in 2007
User in 2022

o
è



o
è






12.7 Understanding User Intent

 Know  Know Simple 
 Do 
 Website 
 Visit-in-person 

 
12.7.1 Know and Know Simple Queries
 Know  Know 
Know Simple  Know  Know Simple 


 Know Simple 
Know Simple  Know Simple 


 not Know Simple 
 
 
 
 
 
 Know Simple 
 Know 
Know Simple Query
Know Query
Explanation



 Know 




 Know 





 Know 




 Know 





 Know 





 Know 



 Know 











 Know Simple 


 
12.7.2 Do Queries
 Do 
 Do 

Query
Likely User Intent










12.7.3 Website Queries
 Website 
 target 
 Website 
 
 


Query
Likely User Intent












 
12.7.4 Visit-in-Person Queries and User Location
 Visit-in-Person 



Queries with Visit-in-Person Intent
Query with Non-Visit-in-Person Intent
o
è




o
è



o
è




o
è




More examples 


More examples 


 

o
è




o
è





 
 
 
 
 
 
 


o
è





o
è







o
è






12.7.5 Queries with Multiple User Intents


Query
Likely User Intent

 Website 
 Visit-in-Person  Know 

 Visit-in-Person 
 Website  Know 
 
12.8 Understanding Result Blocks

12.8.1 Web Search Result Block Examples


Query and User Intent
Web Search Result Block
Query: 
User Intent:  Know 


Result: 


Query: 
User Intent:  Know  Do



 
12.8.2 Special Content Result Block Examples




Important 
 
 For the purpose of
rating, please assume that interactive result blocks do function as intended 

 



 Assume that the blocks show current information for users, unless instructed
otherwise.
Query and User Intent
Special Content Result Block
Query: 
User Location: 
User Intent:  Know Simple 




Note: 

 
Query and User Intent
Special Content Result Block
Query: 
User Intent:  Know 


Result: 




Query: 
User Intent:  Know Simple 


 
Query and User Intent
Special Content Result Block
Query: 
User Intent:  Know 


Query: 
User Intent:  Do 


Result: 


 
Query and User Intent
Special Content Result Block
Query: 
User Intent:  Know Simple 


 
Part 3: Needs Met Rating Guideline
13.0 Rating Using the Needs Met Scale
 Needs Met rating tasks ask
you to focus on user needs and think about how helpful and satisfying the result is for the users 

Rating
Description
Fully Meets (FullyM)
 


Highly Meets (HM)

Moderately Meets (MM)


Slightly Meets (SM)


Fails to Meet (FailsM)


      in-between             

13.1 Rating Result Blocks: Block Content and Landing Pages



Type of Block
What to Rate
Special Content Result Block
(SCRB)










 

 
 both

Web Search Result Block

 

Result Block
Query: [what does love mean]
Rating
Special Content Result Block








Web Search Result Block





 


Query and Special Content Result Block
Query 
Query 
Query: 
Query 

Query 
Query 




 
13.2 Fully Meets (FullyM)
Fully Meets 
 
 

 Fully Meets 

 Fully Meet 
 Fully Meets 
 
 Fully Meets 
 

 Fully Meets 

Fully Meets 
 Fully Meets 


 Highly Meets+ 

 Fully Meets 
13.2.1 Examples of Fully Meets (FullyM) Result Blocks
Query and User Intent
Result
Rating
Fully Meets Explanation
Query: 
User Intent: 







Query 
User Intent: 



 
Query and User Intent
Result
Rating
Fully Meets Explanation
Query: 

User Intent: 




Query: 
User Intent: 



Query: 
User Intent: 





Query: 
User Intent: 




Query: 
User Intent: 






Query: 

User Intent: 







Query: 

User Location: 

User Intent: 








 Fully Meets 

Note: 
 Fully
Meets 



 
Query and User Intent
Result
Rating
Fully Meets Explanation
Query: 

User Intent: 









 Fully Meets 

Query 

User Intent: 






 Fully Meets 

Query: 

User Location:

User Intent: 








 Fully
Meets 


 Know Simple 
Query: 

User Intent: 









Fully Meets 
 
Query and User Intent
Result
Rating
Fully Meets Explanation
Query: 

User Location: 

User Intent: 









Query 

User Intent: 











Note: 

 
Query and User Intent
Result
Rating
Fully Meets Explanation
Query: 
User Location: 

User Intent: 

















Note: 






Query: 

User Location: 

User Intent: 


















Note: 





 
Query and User Intent
Result
Rating
Fully Meets Explanation
Query: 
User Location: 

User Intent: 

















Note: 





 
13.2.2 Examples of Queries that Cannot Have Fully Meets Results
 cannot  Fully Meets 
Type of Query






 
13.3 Highly Meets (HM)
 Highly Meets  Highly Meets 


 Highly Meets 
 Highly Meets 


 Highly Meets 
 Highly Meets  
13.3.1 Examples of Highly Meets (HM) Result Blocks
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 
User Location: 

User Intent: 









Note: 




Query: 
User Location: 

User Intent: 









Note: 





Query: 

User Location:

User Intent: 











Note: 





 
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 

User Location:

User Intent: 











Note: 







Query: 
User Location:

User Intent: 













Note: 







Query: 
User Location:

User Intent: 








Note: 





 
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 
User Location: 

User Intent: 




user location (Belmont,
Massachusetts) 




Note: 







Query: 
User Location: 

User Intent: 




user location (Belmont,
California) 




Note: 







Query 
User Intent: 












Query 
User Intent: 












 
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 

User Intent:















Query: 
User Location: 

User Intent: 









Query: 

User Intent: 


 Know Simple







 
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 
User Location: 

User Intent: 











Query: 
User Intent: 














Query: 
User Intent: 











Query: 
User Intent: 






Query: 
User Intent: 









 
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 
User Intent: 
















Query: 

User Intent: 





Highly Meets 
Query: 
User Intent: 








Query: 
User Location: 
User Intent: 

















 Highly Meets

 
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 

User Location: 

User Intent: 























Query: 
User Intent: 








 Highly
Meets 

Query: 
User Intent: 














Query: 
User Intent: 
















 
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 

User Intent: 













 Moderately Meets+ 
Highly Meets 

Query: 
User Intent: 











 Moderately Meets+ 
Highly Meets 

Query: 

User Intent: 





















 
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 

User Intent: 

















Query: 
User Intent: 



















Query: 

User Intent: 















Query: 
User Location:

User Intent: 

















 
Query and User Intent
Result
Rating
Highly Meets Explanation
Query: 

User Intent: 
 The LEGO
Batman Movie 







 
13.4 Moderately Meets (MM)
 Moderately Meets 

Moderately Meets  Highly Meets  Moderately Meets 

Moderately Meets  Moderately Meets 

13.4.1 Examples of Moderately Meets (MM) Result Blocks
Query and User Intent
Result
Rating
Moderately Meets
Explanation
Query: 
User Intent: 













Query: 
User Intent: 













 Highly Meets 
Query: 

User Intent 











Query: 
User Intent: 













 
Query and User Intent
Result
Rating
Moderately Meets
Explanation
Query: 

User Intent: 












Query: 

User Intent: 









Query: 

User Intent: 







 Moderately
Meets 


Query: 
User Intent: 











 
13.5 Slightly Meets (SM)
 Slightly Meets  Slightly Meets



Important note: 

 Slightly Meets 

13.5.1 Examples of Slightly Meets (SM) Result Blocks
Query and User Intent
Result
Rating
Slightly Meets Explanation
Query: 
User Intent: 








Query: 
User Intent: 













Query: 
User Intent: 













Query: 
User Location: 

User Intent: 












 
Query and User Intent
Result
Rating
Slightly Meets Explanation
Query: 

User Intent: 











SM  SM+ 
Query: 


User Intent: 










Query: 
User Location: 

User Intent: 







Query: 

User Intent: 









Query: 
User Intent: 












 
Query and User Intent
Result
Rating
Slightly Meets Explanation
Query: 
User Intent: 







Query: 
User Intent: 


 Star Trek Into
Darkness 














Note: 





 Slightly Meets 





 
13.6 Fails to Meet (FailsM)
 Fails to Meet  Fails to
Meet 

 Fails to Meet 


 Fails to Meet 
 
 
 
 
 
 
13.6.1 Examples of Fails to Meet (FailsM) Result Blocks
Query and User Intent
Result
Rating
Fails to Meet Explanation
Query: 
User Location: 


User Intent: 



Note: 













Query: 
User Location: 

User Intent: 


Note: 












 
Query and User Intent
Result
Rating
Fails to Meet Explanation
Query: 
User Location: 

User Intent: 





Note: 













Query: 
User Location: 

User Intent: 




Note: 




















Query: 

User Location: 

User Intent: 












 
Query and User Intent
Result
Rating
Fails to Meet Explanation
Query: 
User Intent: 












 Fails to Meet 

Query: 
User Intent: 








 Fails to
Meet 


Query: 


User Location:

User Intent: 











 Fails to Meet 

Query: 

User Intent: 









 Fails to Meet

Query: 
User Location 

User Intent: 






 
Query and User Intent
Result
Rating
Fails to Meet Explanation
Query: 


User Location 

User Intent: 









 Fails to Meet 

Query: 

User Intent: 










Query: 
User Location: 

User Intent: 














Query: 
User Location: 

User Intent: 











 
Query and User Intent
Result
Rating
Fails to Meet Explanation
Query: 

User Location: 

User Intent: 





 not 


Query: 

User Intent: 








Query: 
User Location:

User Intent: 


















Query: 
User Location:

User Intent: 









Fails to Meet 


 
Query and User Intent
Result
Rating
Fails to Meet Explanation
Query: 
User Location: 

User Intent: 












Query: 
User Location: 

User Intent: 















Query: 

User Location: 

User Intent: 






Query: 

User Intent: 









 Fails to Meet 

Query: 

User Intent: 






 Fails to Meet



 
Query and User Intent
Result
Rating
Fails to Meet Explanation
Query: 

User Intent: 







Query: 
User Intent: 









 Fails
to Meet 
Query: 

User Intent: 







 Fails to Meet 

Query: 

User Intent: 







Fails to Meet 
Query: 

User Intent: 














 Fails to Meet 
Query: 
User Intent: 











 Fails to Meet.
 
Query and User Intent
Result
Rating
Fails to Meet Explanation
Query: 

User Intent: 




















 Fails to Meet.
Query: 
User Intent: 




















 Fails to Meet 











 
Query and User Intent
Result
Rating
Fails to Meet Explanation
Query: 
User Intent: 














Fails to Meet, 


Query: 

User Intent: 










 Fails to Meet 






Hitler's Daughter 

Query: 
User Intent: 













 
14.0 The Relationship between Page Quality and Needs Met
 both 

 not 


 

  FailsM 

 


  HM  HM


  HM 

 HM 
 SM 

 FailsM 
 FullyM 
 


 
Query and User Intent
Result Block and LP, Needs Met Rating, Page Quality Rating
Explanation
Query: 

User Intent: 


Needs Met 

Page Quality 







 Low 

Needs Met 



Page Quality 


 Medium+  High

Query: 

User Intent: 



Needs Met 



Page Quality 



Needs Met 

Page Quality 





 
Query and User Intent
Result Block and LP, Needs Met Rating, Page Quality Rating
Explanation
Query: 

User Intent: 


Needs Met 





 Fails to Meet

Page Quality 


 Medium+  High 

 
15.0 Rating Porn, Foreign Language, and Did Not Load Results
 Porn  Foreign Language  Did Not Load  
 Upsetting-Offensive  Not-for-Everyone 


 Foreign Language 
Query and User Intent
Result Block and LP, Needs Met Rating, Flag
Explanation
Query: 
Locale: 
User Intent: 








FullyM 
Foreign Language 
15.1 Porn Flag
 Porn  Porn 




Remember  Porn 
15.2 Needs Met Rating for Porn Results
15.2.1 Needs Met Rating for Clear Non-Porn Intent Queries
 not  Fails to Meet 
 
 



 
 Porn   .
Query
User Intent
Landing Page
Rating
Porn Flag?




FailsM






FailsM





FailsM

15.2.2 Needs Met Rating for Possible Porn Intent Queries





Query
User Intent
Landing Page
Rating
Porn flag?




HM






FailsM

15.2.3 Needs Met Rating for Clear Porn Intent Queries

 Porn 

 MM  HM 



Query
User Intent
Landing Page
Rating
Porn Flag?






FullyM







FailsM





MM  HM






MM  HM

 
15.3 Reporting Illegal Images
Child Pornography
Note: 

Definition of Child Pornography








 employer/company 









Reporting Instructions
 employer/company 
15.4 Foreign Language Flag
15.4.1 Using the Foreign Language Flag
 Foreign Language 
 
 
 


 
 Foreign Language 
Query and User Intent
Result Block and LP, Needs Met Rating, Flag
Explanation
Query: 
Locale: 
User Intent: 








FullyM 
Foreign Language 
Important 
  Foreign Language 

  Foreign Language 

  Foreign Language 

 

 Foreign Language 
15.4.2 Needs Met Rating for Foreign Language Results


 Foreign Language  FailsM 

 Foreign Language   Foreign Language 

 not  FailsM  FullyM  Foreign Language






 FailsM  Foreign Language 
 Foreign Language 
 N/A 
 
Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 

Locale: 
User Intent: 





 Foreign Language 
Query: 
Locale: 
User Intent: 











 Foreign Language 
Query: 
Locale: 
User Intent: 








 Foreign
Language 
 
15.5 Did Not Load Flag
15.5.1 Using the Did Not Load Flag
Did Not Load 
 Did Not Load 
 


 
 Did Not Load 
 Did Not Load  

Query and User Intent
Result Block and LP, Needs Met Rating, Flag
Explanation
Query: 
User Intent: 




 FailsM 
 Did Not Load 
 Did Not Load 
 not  Did Not Load 
 
 

 
15.5.2 Needs Met Rating and the Did Not Load Flag
 Did Not Load 
 FailsM  Did Not Load 



 Did Not Load 
 N/A 
 
Query and User Intent
Result Block and LP, Needs Met Rating, Page Quality
Rating, Flags
Explanation
Query: 

User Intent: 



Needs Met 




Page Quality 





 Did Not Load 
Query: 
User Intent: 


Needs Met 




Page Quality 





 Did Not Load 
Query: 

User Intent: 
Know  Do









 FailsM
 Lowest 

 Did Not Load 
Query: 

User Intent: 

Paranormal Activity 





 FailsM 


 Did Not Load 
 
15.6 Additional Flags in Some Rating Tasks
 Upsetting-Offensive  Not-for-Everyone 

Upsetting-Offensive 


 Not-for-Everyone 
16.0 Rating Queries with Multiple Interpretations and Intents







  dominant interpretation  Highly Meets 
 FullyM 
  common interpretation  Highly Meets  Moderately Meets 

  minor interpretation  Slightly Meets 

  FailsM 

16.1 Rating Queries with Both Website and Visit-in-Person Intent

 Go to the website 

 Visit-in-person 

 Fully Meets 
 
Query and User Intent
Result Block and LP
Needs Met Rating and Explanation
Query: 
User Location:

User Intent: 
















Query: 
User Location:

User Intent: 


















 
Query and User Intent
Result Block and LP
Needs Met Rating and Explanation
Query: 
User Location: 

User Intent: 
















17.0 Specificity of Queries and Landing Pages


Query
More Specific Query
Even More Specific Query





















 
Query and User Intent
Result Block & LP, Needs Met & Page Quality Ratings
Explanation
Query: 
User Intent: 








Needs Met 



Page Quality 


 High+  Highest




Needs Met 



Page Quality 


High+  Highest 


Needs Met 

Page Quality 



 High 



Needs Met 


Page Quality 



 High 

 
Query and User Intent
Result Block & LP, Needs Met & Page Quality Ratings
Explanation
Query: 
User Intent: 








Needs Met 

Page Quality 

High 








Needs Met 



Page Quality 




 High+  Highest 



Needs Met 




Page Quality 




 High+  Highest 

 
Query and User Intent
Result Block & LP, Needs Met & Page Quality Ratings
Explanation
Query: 
User Location:

User Intent: 


Needs Met 






Needs Met 

Page Quality 


 High  High+ 



Needs Met 


Page Quality 


High  Highest 


Needs Met 


Page Quality 


 High  High+ 

 
Query and User Intent
Result Block & LP, Needs Met & Page Quality Ratings
Explanation
Query: 
User Location:

User Intent: 


Needs Met: 



 Slightly Meets
 Slightly Meets+ 





Needs Met 


Page Quality 


 High  High+ 

 
Query and User Intent
Result Block & LP, Needs Met & Page Quality Ratings
Explanation
Query: 
User Intent: 








Needs Met 

Page Quality 


 High+ 
Highest 


Needs Met 




Page Quality 


 High+ 
Highest 


Needs Met 




Page Quality 


 High+  Highest 



Needs Met  FailsM 

Page Quality 




 Lowest 
 
Query and User Intent
Result Block & LP, Needs Met & Page Quality Ratings
Explanation
Query: 


User Location:

User Intent: 







Needs Met 

Page Quality 




 High+ 
Highest 
Needs Met 








Needs Met 


Page Quality 



 High+  Highest 

 
Query and User Intent
Result Block & LP, Needs Met & Page Quality Ratings
Explanation
Query: 


User Location:

User Intent: 





Needs Met 
 Fails
to Meet 


 
18.0 Needs Met Rating and Freshness


Type of Query
Example Queries
Explanation



































 FailsM 






Note 




 
Query and User Intent
Result Block and LP, Needs Met Rating, Page Quality Rating
Explanation
Query: 

User Intent: 



















Query: 

User Location: 

User Intent: 
 current
















Query: 

User Intent: 


 Know Simple 















 
Query and User Intent
Result Block and LP, Needs Met Rating, Page Quality Rating
Explanation
Query: 
User Intent 















Query: 

User Intent: 






19.0 Misspelled and Mistyped Queries and Results
19.1 Misspelled and Mistyped Queries


Misspelled Query
Query Interpretation







 obviously 

 not  respect the query as written, 

 
19.2 Name Queries




Query and Possible
User Intents
Result Block and LP, Needs Met Rating, Page Quality Rating
Explanation
Query: 

User Intent: 





























 ea 






20.0 Non-Fully Meets Results for URL Queries

 Fully Meets  Fails to Meet 





 
Query and User Intent
Result Block and LP, Needs Met Rating, Page Quality Rating
Explanation
Query:

User Intent: 

























Query:

User Intent: 


















 
21.0 Product Queries: Importance of Browsing and Researching
 Know 
 Do  
 Website 






Important 
Query and User Intent
Result Block and LP, Needs Met Rating, Page Quality Rating
Explanation
Query: 

User Intent: 













Query: 

User Intent: 









Query: 
User Intent: 











 
Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 
User Intent: 













22.0 Rating Visit-in-Person Intent Queries

 Boston, MA 








 
22.1 Examples Where User Location Does (and Does Not) Matter


Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 

User Location: 

User Intent: 















Note 















 
Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 

User Intent: 


















Query: 
User Location: 

User Intent: 





 Fails to Meet 





 Fully Meets 
 
23.0 Rating English Language Results in Non-English Locales
The following rating guidance is for raters in non-English locales. You may stop reading this section if your task
language is English, such as English (US), English (IN), English (NG), etc.

 you 






Important: 




 
23.1 Examples of English (and Non-English) Results in Non-English Locales



 FailsM 
Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 



Locale: 
User Intent: 





















Query: 
버
락
오
바마

Locale: 
User Intent:
버
락
오
바마














 


Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 
Locale: 
User Intent: 
















Query: 
Locale: 
User Intent: 
















 


Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 

Locale: 
User Intent: 













Query: 
Locale: 
User Intent: 

















 








Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 
:
9

Locale: 
User Intent:
:
9







 





Query:
시스
코
카
탈
리
스
트
스
위
치

복
원
하
기

Locale: 
User Intent: 






















 




Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 
Locale: 
User Intent: 




24.0 Rating Dictionary and Encyclopedia Results for Different Queries






Important 
 Slightly Meets
 Fails to Meet 
Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 
User Intent: 








 
Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 
User Intent: 
 












Query: 
User Location: 
User Intent: 











Query: 
User Intent: 













 
Query and User Intent
Result Block and LP, Needs Met Rating
Explanation
Query: 
User Location: 

User Intent: 







Query: 
User Location: 
User Intent: 










 
Appendix: Using the Evaluation Platform
25.0 Overview





Important: 

26.0 Acquiring Tasks



● rater@gmail.com: 
● Acquire if available: 
 Headphones or speakers required: 




27.0 Rating Tasks Using the Rating Interface

 Read the instructions: 
 Fill out the task: 
 Check your work: 

 Submit the task: 

 

 Result blocks are sometimes slow to load: 



 Sometimes a side will not have any result blocks: 

 Do not refresh the task page after assigning ratings: 

28.0 Releasing Tasks






 

 employer/company 



Lack expertise: 
Query
General Query Topic






Technical problem: 


 
29.0 Understanding the User Location on the Task Page






 
























30.0 Reporting Duplicate Results in Tasks


30.1 Pre-Identified Duplicates

 Same as 

Left Side
Right Side
Please note 
 
30.2 Rater-Identified Duplicates



 query-dependent 
 Specific queries 
 different sites 
 not 
 Broad queries 
 should  



Note 


 
30.3 Reporting Duplicate Results
 Select Dupe 


 Dupe of 
 Dupe of 
 finish selecting dupes 
Select Dupes 

Dupes



Reason 

 not 
Dupes



Reason  not 

Not Dupes



Reason 


 
31.0 Simplified Needs Met Tasks





 
Appendix 2: Guideline Change Log


Date Published
Summary of Changes
December 2022
  Part 1: Page Quality Guideline 


  Finding Who is Responsible for the Website and Who
Created the Content on the Page 
  Page Quality Considerations 

 
  Main Content Quality 
  Reputation for Websites and Content Creators 
 'Experience, Expertise, Authoritativeness, and Trust (E-E-A-T) 
 

  Pages with Error Messages
or No MC  Forums and Q&A Pages  Page Quality Rating FAQs 
 
 

July 2022
 

 

 


 
 

October 2021
  Groups of people 
 

  Lowest Page Quality' 

  Upsetting-Offensive' 

 

 