User-agent: Mozilla/5.0 (compatible;contxbot/1.0)

User-agent: AhrefsBot
Allow: / 

User-agent: AhrefsSiteAudit
Allow: /