İçeriğe geç
Tüm teknolojiler

Veri Kazıma (Web Scraping)

Veri Kazıma: Dayanıklı Veri Toplama

  • Python
  • Go
  • HTTP/2
  • DOM Parsing
Yaklaşımım
“İki satır Python kodu (BeautifulSoup) ile bir blogdan başlık çekmek web scraping değildir. Gerçek kazıma; HTTP/2 framing'i ayarlamak, TLS parmak izini meşru bir tarayıcı (Chrome/Firefox) gibi göstermek ve Cloudflare/Akamai gibi devasa savunma sistemlerini sizin sıradan bir kullanıcı olduğunuza ikna etmektir.”

Kazımanın Zorlukları

  • TLS Fingerprinting

    Sunucular sadece IP'nize değil, gönderdiğiniz şifreleme paketlerinin sırasına (JA3) bakarak Python botu olduğunuzu anlar.

  • Dinamik Sayfalar

    Modern sitelerin içeriği HTML'de değil, karmaşık JavaScript dosyalarında yatar. Tarayıcıyı başsız (headless) çalıştırmadan o veriye ulaşamazsınız.

  • Hız vs. Gizlilik

    Veriyi olabildiğince hızlı çekmek istersiniz ama ne kadar hızlanırsanız, ağdaki davranışınız o kadar 'bot'a benzer.

Operasyon Alanları

  1. 01

    Büyük Ölçekli Pazar Araştırması

    E-ticaret sitelerinden binlerce ürünün fiyat, stok ve rekabet analizini canlı olarak çıkarma.

  2. 02

    Yapay Zekâ (AI) Veri Seti Toplama

    Makine öğrenimi modellerini eğitmek için internetin derinliklerinden temiz ve yapılandırılmış veri madenciliği.

  3. 03

    Gerçek Zamanlı Monitörler

    Biletler, randevular veya anlık değişen veriler için saniyelik tarama yapan izleme ağları.

Bu teknolojilerle neler geliştirdim?

Güvenlik & Kriptografi

AES Görsel Şifreleyici

Meta veri kazınmasını (scraping) ve yetkisiz erişimi önlemek için ham görüntü verilerini şifreli ikili (binary - `.bin`) dosyalara dönüştüren özel bir kriptografik araç.

  • Python
  • Cryptography (Fernet)
  • Pillow (PIL)

Araçlar

OCR: PNG'den Metne Çevirici

PNG formatındaki görsellerden toplu (batch) olarak metin çıkaran ve bunları düzenlenebilir dosyalara dönüştüren, manuel veri girişini ortadan kaldıran otomatik bir optik karakter tanıma aracı.

  • Python
  • Tkinter
  • Tesseract OCR
  • +2

Bot & Otomasyon

Telegram Lein Botu

Özel komut ağaçları ve durum takibi (state-tracking) yapan rekabetçi bir bilgi yarışması (trivia) modülü ile donatılmış otomatik bir Telegram asistanı.

  • Python
  • Aiogram
  • Telegram API

Bu alanda bir projeniz mi var?

Mimari tasarım, sistem optimizasyonu veya sıfırdan geliştirme için hizmet paketlerimi inceleyin.