Screaming Frog Kullanım Kılavuzu ve Yapılandırma Ayarları

Yazgülü Kurtar - 05 Eylül 2022

SEO Team Lead

Arama Motoru Optimizasyonu (SEO)

SEO çalışması yaparken SEO uzmanlarının en çok kullandığı araçlardan biri olan Screaming Frog’u kullanmaya başlamadan önce neler yapabileceğinizi öğrenmek istiyorsanız içeriğimiz sizler için hazırlandı.

Screaming Frog Nedir?

Screaming Frog arama motorlarını taklit ederek web sitenizi tarayan ve SEO açısından önemli metrikleri listeleyerek web sitenizin eksikliklerini görmenizi sağlayan bir araçtır. Dan Sharp tarafından 2010 yılında kurulmuştur. Rakiplerinden en önemli farkı bulut tabanlı değil Java tabanlı olması ve bilgisayarınıza kurup kullanabilmenizdir. 

Screaming Frog’un ücretsiz ve Premium sürümleri bulunmaktadır. Ücretsiz sürümünde kısıtlaması 500 URL iken ücretli versiyonda sınırsız taramalara imkan vermektedir.  https://www.screamingfrog.co.uk/seo-spider/#download  adresinden indirerek kullanmaya başlayabilirsiniz.

Screaming Frog Lisansı Edinme ve Etkinleştirme

Eğer ücretsiz sürümü değil de premium halini kullanmak isterseniz https://www.screamingfrog.co.uk/seo-spider/licence/ adresinden bir lisans almalı ve indirdiğiniz araçta bu lisansın girişini yapmanız gerekmektedir. Kullanıcı adı ve lisans numarasını girdikten sonra Screaming Frog programınızı kapatıp yeniden açarak kullanmaya başlayabilirsiniz

Ayarlar ve Yapılandırma Seçenekleri

Memory Allocation: Screaming Frog’da açılış ayarı olarak 32 bit için 1 GB ve 64 bit makineler için 2 GB’a açılır. Buradaki RAM miktarını özelleştirerek artırırsanız, RAM modundayken daha fazla URL’yi taramanızı sağlayacaktır.

Çok fazla sayfaya sahip web sitelerini tararken buradaki ayarı manuel olarak düzenleyerek artırabilirsiniz, yüksek belleğe sahip bilgisayarlar ile daha hızlı ve kısa sürede tarama işleminizi bitirebilirsiniz.

Storage Mode: Taradığınız verilerin nerede depolanıp işleneceği ile ilgili olan bu bölümde Memory Storage ve Database Storage olarak iki seçenek bulunmaktadır. Memory Storage ayarı seçildiğinde tüm veriler RAM’e depolanırken, Database Storage seçildiğinde HDD/SSD üzerinde depolama sağlanır.

Memory Storage modu, daha az URL’e sahip web siteleri ve RAM miktarı yüksek olan makinelerde kullanılması önerilen bir moddur.

Proxy Configuration: Eğer proxy kullanmak istiyorsunuz bu bölümden ayarlamaları yapabilirsiniz. 

Language Configuration: Aracı hangi dilde kullanmak istediğiniz konusunda ayarları buradan yapabilirsiniz.

Screaming Frog Mode Ayarları

Spider: Bu ayarda Screaming Frog botları tarama başlattığınız web sitesindeki tüm URL’leri keşfedene kadar taramaya devam eder.

List: Bu mod tarama yapmak istediğiniz URL’leri manuel olarak belirlemenize imkan verir. Sadece sizin belirlediğiniz URL’leri tarar.

SERP: Tarama yaptığınız sayfaların meta title ve description etiketlerinin arama sonuçlarında nasıl yansıdığı ile ilgili bir önizleme sunmaktadır.

Compare Modu: Bu mod önceden yaptığınız tarama ile kıyaslayarak yeni taramanızı oluşturmaktadır. Böylelikle hangi konuların çözüldüğünü daha rahat görebilirsiniz.

Screaming Frog Yapılandırma Ayarları

Spider: Crawl öncesinde dahil etmek istediğiniz ya da istemediğiniz alanları crawl alanından seçebilirsiniz. Extraction alanı ile neleri hariç bırakacağınızı belirtebilirsiniz. Limits bölümünden taramanınızın sınırı veya derinliğini yapılandırabilirsiniz. Rendering bölümünden JS rendering ile çalışan sitenizde verileri doğru görebilmek için render seçeneğini değiştirebilirsiniz. Advanced bölümünden noindex, canonicali next/prev gibi etiketleri dikkate alıp almayacağı ile ilgili yönlendirmeler yapılabilir. Preferences bölümünden ise meta etiketlerinizin pixel sınırlarını tekrar belirtebilir ya da değiştirebilirsiniz.

Content Area: Bu alandan tarama yapacağınız sitede yer alan içeriklerin analizi ve dil bilgisi uyumluluğuna bakabilirsiniz. Screaming frog bir sayfanın body bölümünde yer alan içerikleri dikkate alır. HTML5 semantik öğeleri kullanılarak oluşturulmamış bir web sitesinde aracın daha doğru anlamlandırmalar yapabilmesi için özelleştirmeler yapmanız önerilir.

Content Duplicates: Sitenizdeki içeriklerin özgünlüğü test etmek için özel ayarlarınızı buradan yapabilirsiniz.

Spelling & Grammar: Content sekmesinde sonuçların görüntülenmesi için yazım ve dil bilgisi hatalarının ve ilgili “Spelling” ve “Grammar” seçeneklerinin etkinleştirilmesi gerekir. Bu sayede bu kontrolleri de sağlamış olursunuz.

Robots.txt: Tarama yapacağınız sitenin robots.txt dosyadaki komutları bu taramada dikkate almadan taraması ile ilgili ayarlamaları bu alandan yapabilirsiniz.

Ayrıca kendiniz bir robots dosyası hazırlayabilir ve taramayı ona uygun şekilde yapmasını sağlayabilirsiniz.

URL Rewriting: Arama sonuçlarında görmek istemediğiniz URL’leri bu alandan belirtebilirsiniz. URL Rewriting alanında URL’lerin yeniden yazım işlemini yapabilirsiniz. Örneğin, www olan URL’leri non-www olarak göstermek için veya .co.uk domain uzantısında olan URL’leri .com domain uzantısında görebilmek için uygulayacağınız Regex kurallarıyla URL’leri yeniden planlayabilir ve bu doğrultuda tarama sonuçlarında görebilirsiniz. Ya da ayrı bir subdomainde olan test sitesi URL’lerinizin canlı sitenizdeki gibi görünerek çıktısını almak istiyorsanız yine bu alan oldukça faydalı olacaktır.

CDN: CDN sekmesi, tarama yaparken CDN servisinizin URL’lerini Screaming Frog’un dahili bağlantı olarak görmesini sağlamak için kullanabileceğiniz bir özelliktir. Yaptığınız bu ayarlama sonrasında CDN adresinin bağlantıları, Screaming Frog’daki “Internal” sekmesinde görünür ve daha fazla ayrıntı önizlemesi sunulur.

Include: Yüksek sayıda URL’e sahip sitelerde tercih edilecek URL’ler için tarama yapılacağı durumda, Screaming Frog’un “Include” özelliği kullanılabilir. Bu özelliğin çalışması için taramayı başlattığınız URL’in regex ile eşleşen bir iç bağlantıya sahip olması gerekir, yoksa Screaming Frog ilk URL’den sonra ikinci bir URL’i taramaya geçemez. Ayrıca Screaming Frog’da taramayı başlattığınız URL’in de buradaki eşleştirme kurallarınıza uygun olması gerekmektedir.

https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/#include

Exclude: Tarama yaparken taranmasını istemediğiniz URL’leri, klasörleri, parametreleri hariç tutmak için bu özelliği kullanabilirsiniz. URL’leri taramadan hariç tutmanız için Regex dilini kullanmanız ve bu şekilde komut yazmanız gerekmektedir. Buradan uygulayacağınız hariç tutmalar, Screaming Frog’da taramayı başlattığınız ilk URL’de işlev görmemektedir. Exclude ayarı, yalnızca tarama esnasında keşfedilen diğer URL’ler için uygulanmaktadır.

https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/#exclude

Speed: Bu alandan aracın saniyede kaç URL tarayacağını ayarlayabilirsiniz. Screaming Frog’un varsayılan ayarlarında maksimum sayısı 5, saniye başına taranan URL sayısı 2 olarak belirlenmiştir. Tarayacağınız sitenin sunucu performansına göre tarama hızını düşürmeniz gerekebilir, aksi durumda saniye başına atılan istek sayısının yüksek olması durumunda 500 hatalarıyla karşılaşmanız olasıdır.

User-Agent: Taramaya başlamadan önce hangi User-Agent’i kullanarak sayfaları ziyaret edeceğinizi bu ayar ile birlikte düzenleyebilirsiniz. Taranacak bir internet sitesinin sunucu tarafında Screaming Frog User-Agent’ını engellemiş olabilir. Bu durumda Screaming Frog User-Agent kullanırsanız, taramanız gerçekleşmeyecektir. Farklı user-agent seçeneklerinde de web sitenizin taranabilirlik kontrollerini yapmak için bu alanı kullanabilirsiniz.

HTTP Header: HTTP Header seçeneği, Screaming Frog’da yaptığınız bir tarama sırasında özel bir HTTP Header istekleri sağlayarak tarama yapmanızı sağlar. 

Custom Search: Custom Search bölümü, Screaming Frog sayesinde bir sitenin kaynak kodunda istediğiniz herhangi bir veriyi aramanızı sağlayan bir özelliktir. Custom Search bölümünde Text veya Regex olarak gireceğiniz bir değeri HTML’de arayabilirsiniz. Girdiğiniz değerin HTML’de olup olmadığını “Contains” veya “Does Not Contains” seçenekleriyle kontrol edebilir, sonuçlarını alabilirsiniz.

Custom Extraction: Custom Extraction bölümü, bir sitenin HTML’inde yer alan bir veriyi CSSPath, XPath veya Regex kullanarak çekmenizi sağlar. Örneğin, bir e-ticaret sitesindeki ürün sayfalarında yer alan ürün kodlarını bu alan üzerinden yapacağınız CSSPath, XPath veya Regex ayarları ile ulaşabilirsiniz. Custom Extraction aracı, yalnızca 200 yanıt koduna sahip olan ve çalışan HTML sayfaları üzerinden veriyi almanıza olanak sağlar. Eğer statik HTML sayfasından hariç olarak render edilen HTML’den veri çekmek için JavaScript rendering moduna geçebilirsiniz.

Custom Link Positions: Screaming Frog, bir internet sayfasının içeriğini, kenar çubuğunu (sidebar) veya footer alanlarını tarar ve keşfettiği her bağlantıyı konumuna göre sınıflandırır. Custom Link Positions aracı ile birlikte Screaming Frog’daki “Inlinks” ve “Outlinks” bölümlerindeki link pozisyonlarını ifade eden XPath alanının belirlediğiniz kriterlere uygun çalışmasını sağlayabilirsiniz. Böylece belirttiğiniz alanda link olup olmadığını kontrol edebilirsiniz.

Google Analytics API: Google Analytics hesabınızı Screaming Frog ile bağlayarak, eskiye yönelik URL’lerinizle daha detaylı bir tarama gerçekleştirebilirsiniz. Bu bağlantıyı yapmak için API Access menüsünden Google Analytics sekmesine tıklamanız ve sonrasında “Connect to New Account” butonuna tıklayarak Analytics hesabınızla bağlantı gerçekleştirmeniz gerekmektedir.

Search Console API: Search Console bağlantısı için API Access menüsünden Google Search Console’a tıklamanız ve açılan pencereden “Connect to New Account” butonuna tıklayarak Search Console mülkünüzün bulunduğu Google hesabınızı seçerek sizden istenen izinleri vermeniz gerekmektedir. Böylelikle Google tarafından önceden keşfedilip taranan fakat şu anda internet sitemizde bulunmayan URL’leriniz için de bir kontrol gerçekleştirebilirsiniz. 

Page Speed Insight API: Screaming Frog taramasıyla birlikte taranan URL’lerinizin PageSpeed Insights’tan elde edilen hız değerlerini de görmek isterseniz, taramanızı başlatmadan önce API Access menüsünden PageSpeed Insights bölümüne tıklamanız ve istenen “Secret Key” bilgisini girmeniz gerekmektedir. Bu sayede taranan URL’lerinizin hız performansına dair metrikleri tarama sonuçlarınızda görebileceksiniz.

Ahrefs API Bağlantısı: Tarama sonuçlarınızda Ahrefs üzerinden elde edilen verileri de görmek isterseniz, Ahrefs hesabınızı Screaming Frog ile bağlayabilirsiniz. API Access menüsündeki Ahrefs bölümüne tıkladığınızda, açılan pencerede  “Access Token” bilgisini  girmeniz gerekmektedir.

Authentication: Tarama yapmak istediğiniz internet sitesi, bir kullanıcı girişi sonrasında çalışıyorsa bu alanda yer alan “Forms Based” bölümünden sitenizin kullanıcı girişi URL’ini ve kullanıcı adı & şifre bilgilerini Screaming Frog’a kaydedebilirsiniz. Bu sayede tarama yapılırken Screaming Frog botu öncelikle sitenize bir kullanıcıymış gibi giriş yapacak ve giriş ekranı sonrası gelen sayfalar için de tarama gerçekleştirebilecektir.