เมื่อใช้ Site Audit สำหรับ crawl เว็บไซต์แล้วมีปัญญาไม่สามารถ New crawl ระบบแจ้ง The HTTP server returned error 403: “Forbidden”. ของ cloudflare.com

สำหรับเพื่อนๆที่ใช้งาน https://ahrefs.com แล้วติดตั้งปัญหาการไม่สามารถ New crawl ได้ ดังภาพ

2021 03 06 11 49 01

 

No seeds found among the URL sources

  • http://www.warehousebestbuy.com: The HTTP server returned error 403: “Forbidden”. This request was likely filtered by server configuration. This website is protected by the Cloudflare firewall
  • https://www.warehousebestbuy.com: The HTTP server returned error 403: “Forbidden”. This request was likely filtered by server configuration.

ข้อมูลการแจ้งเตือน

2021 03 06 11 41 22

วิธีการแก้ไขคือให้เราไปเพิ่มที่ Firewall Rules เพื่ออนุญาตให้ทางเว็บไซต์ ahref.com เข้าไปทำการเก็บข้อมูลได้ โดยมีไอพีที่เราต้องไประบุตามนี้

54.36.148.0/24
54.36.149.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

ตามลิ้งค์ What is the list of your IP ranges?  https://bit.ly/30kK7db

จากนั้นกดปุ่มตามภาพเลยครับ 1 -> 2 -> 3 เพื่อเพิ่ม Firewall ให้สามารถเข้าไปเก็บข้อมูลได้

2021 03 06 11 54 34

จากนั้นใส่ข้อมูลตามนี้

2021 03 06 11 56 17

การจับภาพเว็บ 28 8 2021 102426 dash.cloudflare.com

กดแล้วใส่ค่าดังต่อไปนี้

(ip.src in {51.222.152.133
51.222.152.134
51.222.152.135
51.222.152.136
51.222.152.137
51.222.152.138
51.222.152.139
51.222.152.140
51.222.152.141
51.222.152.166
51.222.152.167
51.222.152.168
51.222.152.169
51.222.152.170
51.222.152.171
51.222.152.172
51.222.152.173
51.222.152.174
51.222.152.175
51.222.152.176

54.36.148.0/24
54.36.149.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

168.119.64.245

168.119.64.246

168.119.64.247

168.119.64.248

168.119.64.249

168.119.64.250

168.119.64.251

168.119.64.252

168.119.64.253

168.119.64.254

168.119.65.107

168.119.65.108

168.119.65.109

168.119.65.110

168.119.65.111

168.119.65.112

168.119.65.113

168.119.65.114

168.119.65.115

168.119.65.116

168.119.65.117

168.119.65.118

168.119.65.119

168.119.65.120

168.119.65.121

168.119.65.122

168.119.65.123

168.119.65.124

168.119.65.125

168.119.65.126

168.119.65.43

168.119.65.44

168.119.65.45

168.119.65.46

168.119.65.47

168.119.65.48

168.119.65.49

168.119.65.50

168.119.65.51

168.119.65.52

168.119.65.53

168.119.65.54

168.119.65.55

168.119.65.56

168.119.65.57

168.119.65.58

168.119.65.59

168.119.65.60

168.119.65.61

168.119.65.62

168.119.68.117

168.119.68.118

168.119.68.119

168.119.68.120

168.119.68.121

168.119.68.122

168.119.68.123

168.119.68.124

168.119.68.125

168.119.68.126

168.119.68.171

168.119.68.172

168.119.68.173

168.119.68.174

168.119.68.175

168.119.68.176

168.119.68.177

168.119.68.178

168.119.68.179

168.119.68.180

168.119.68.181

168.119.68.182

168.119.68.183

168.119.68.184

168.119.68.185

168.119.68.186

168.119.68.187

168.119.68.188

168.119.68.189

168.119.68.190

168.119.68.235

168.119.68.236

168.119.68.237

168.119.68.238

168.119.68.239

168.119.68.240

168.119.68.241

168.119.68.242

168.119.68.243

168.119.68.244

168.119.68.245

168.119.68.246

168.119.68.247

168.119.68.248

168.119.68.249

168.119.68.250

168.119.68.251

168.119.68.252

168.119.68.253

168.119.68.254})

กด Deploy เพื่อนำกฎ Firewall ไปใช้งาน

2021 03 06 11 58 15

ระบบจะเข้าไปเก็บข้อมูลใหม่ เรียบร้อยสำเร็จแล้ว

2021 03 06 11 59 57

 

 

 

 

 

 

 

 

You May Also Like