Azure Data Lake Analytics nedir ne işe yarar
bu makalemde size Azure’yi detaylı olarak anlatmaya çalışacağım umarım faydalı bir makele olur.Azure Data Lake Analytics büyük veri analizini kolaylaştırmak için Microsoft tarafından oluşturulmuş bir hizmettir.Peki Azure nasıl kurulur gelin beraber inceleyelim.
Hizmetinizi seçiniz
Azure Data Lake’e kadar çok kolaydır. Sol üst köşedeki “+” düğmesini tıklaylamanız, “Intelligence + analytics” Seçim, aşağı kaydırma ve iki yönü de görmeniz gerekir: Data Lake Mağazası ve Data Lake Analytics. Önce Data Lake Mağazası kurun.
Mağazayı aç
Azure Veri Gölü Mağazası (ADLS) kurmak da oldukça kolaydır. (Bir ADLS hesaplamasında benzersiz olması gerekir), daha sonra bu hesabı içeren bir kaynak grubunun adı. Bu kadar! Artık “Kontrol paneline sabitle” yi kontrol edebilir ve mavi Oluştur düğmesini arasında çeşitleştirebilirsiniz.
Dağıtma
“Kontrol paneli sabitle” yi işaretlediyseniz, burayı gösterildiği gibi ADLS hesabınızın dağıtıldığını gösteren gösterge tablonuza bir kiremit eklediğini görmek için gerekir.
Dağıtım tamamlandı
Uzun sürmez. İşlem tamamlandıktan sonra, Azure portalında bu “bıçak” ı görürsünüz. ADLS için dosya gezgini benzeri bir arayüzü açan üstteki düğmeyi bulunamıyor. Buraya sadece bir kere uygulanmış olacak!
Analytics sağlama
Azure Data Lake Mağazası hesabınızı şimdi kurulduktan sonra, 2. slaytta gösterdiğimiz adıma geri dönebilir ve Azure Data Lake Analytics’i (ADLA) seçebilirsiniz.
Bunu yaptığınızda, bu sağlama formunu görürsünüz. Daha önce gibi bir reklam ve kaynak grubu adı sağlamanız gerekir; Ancak Data Lake Mağazası seçeneklerini tıklamanız ve yeni oluşturmanız yeterli ADLS hesabını seçmeniz gerekecektir.
ADLS ile birlikte çalışırsınız ve veriniz ADLS hesabına kayder;
Daha önce olduğu gibi, “Kontrol paneli sabitle” yi işaretleyin ve bir ADLA kiracısı sağlamak için mavi renkli Oluştur düğmesini tıklayın.
Analiz etmeye
Hazırlık tamamlandıktan sonra göreceğiniz ekran budur. Ek kullanıcı ekleme (ve kullanıcı ilgiyi erişmesini sağlama) becerisine dikkat edin. Üstteki “Örnek Komut Dosyaları” düğmesi, neredeyse hiç vakit kaybetmeden örnek veri sorgulamanızı sağlayabilir. Başlamak için tıklayın.
İşte bu kadar
Şimdi, sekmeyle ayrılmış değerler (TSV) dosyasını sorgulama, bir tablo ve tablo oluştur, bir tablo oluşturmak ve bir tabloyu sorgulama seçeneklerini görmektesiniz.Ancak, ADLA kiracıya örnek verilere ve U-SQL uzantılarını yükleyecek gibi seçeneklerinızda iki maddeyi tıklatana kadar bunu yapamazsınız. Bu nedenle ona her iki işlemi de tamamlayın.
Doğrudan bir dosya ya sorma
Şimdi siz “Bir TSV dosyası sorgulama” seçeneğini tıklayabilirsiniz. Bunu yaptıktan sonra, tam teşeküllü bir U-SQL betiği gelecektir.
U-SQL, ADLS’de veri sorgulamak için ADLA ile birlikte kullanabileceğiniz popüler Yapısal Sorgulama Dili’nin bir diyalektidir. Bu belirli U-SQL betiği, U-SQL’nin EXTRACT komutunu kullanarak bir TSV dosyasından veri çeker ve başka bir TSV dosyasına iter.
Azure portalında gömülü olsa da, U-SQL’de düzenleyicisine dikkat edin, özellikler renk sözdizimi vurgulama. Göreceğimiz Visual Studio’da daha iyi bir editör desteği var. Ancak bu tarayıcı için kötü değil!
En üstteki “İş Gönder” i (vurgulanmış) tıklamak sorguyu yürütür. Bunu biraz araştıralım.
Veritabanı ve tablo oluşturma
Bazıları, tanıdık tablolar konseptini dosyaları onu şeyden daha rahat bulabilir.
Dolayısıyla, yalnızca metin dosyaları ile çalışmak yerine, SQL Server 2005, SQL Server 2005, SQL Server 2005, SQL Server 2008, SQL Server 2008, SQL Server 2008, SQL Server 2005.
Verileri doldurma
Bu SQL Server 2005, SQL Server 2005, SQL Server 2008, SQL Server 2008, SQL Server 2008, SQL Server 2008, SQL Server 2008, SQL Server 2008, SQL Server 2008, SQL Server 2008, SQL Server 2008, SQL Server 2008, SQL Server 2008
Veritabanın da sorgulama
Şimdi tablo doldurulur, bu U-SQL komut sorgu için standart SELECT komutu kullanır. Artık EXTRACT ve düz dosyaları kullanarak artık! Sonuç kümesi @athletes adlı bir değişkende kalıcı hale gelir.
Ardından, OUTPUT komutu @atheletes sonuç kümesini ve daha sonra da SearchLog tablosunununu dosyalara aktarmak için kullanılır.
3 … 2 … kaç!
Şimdi, ilk betiğe geri dönün
İş, hazırlık aşamasından geçecek ve burada gösterilen kuyruklanma evresinden geçecektir. Işin özellikleri. İşin özellikleri. Unutmayın, bu grafikler bunun daha iyi karmaşık hale gelebilir.
Çalıştırma ve Sonlandırma aşamalarının ardından, işin çıktısı SearchLog_output.tsv adlı bir dosya olarak bulun.
Verileri önizleme
İşiniz bittiğinde, SearchLog_output.tsv dosyasını (iş grafiğinin alt kısmında) temsil eden tıklayın. Bu, burada gösterilirken Azure portalında içeriğini önizleme yaparak izin verecektir.
Görsel alma
Tüm yazdıklarını tarayıcıda yapabilmek için kaygan olarak değiştirebilirsiniz. Tam teşekküllü bir entegre geliştirme ortamı kullanmayı tercih etmek.
Bu amaçla, için Microsoft Visual Studio Azure Veri Gölü Araçlar yarattı İçin Ücretsiz Indirebilirsiniz . Da Visual Studio Için Büyük Bir örnek Azure Veri Gölü projemiz var ve Onlar GitHub indirmek . (Ve yoksa Visual Studio, tam ÖZELLİKLİ Community Edition Olan Bir İçin Ücretsiz indir çok.)
Bütün bunları yapın, projeyi açın, ADLA kiracıya giriş yapın, ilk senaryoyu açın ve gönder düğmesini tıklayın. Visual Studio’da da doğru şekilde çalışacaktır.
İş yürütme işlemi tamamlandığında, çıktı dosyası için iş grafiği tarifini sağlaştır; Veri önizleme ve indirme seçenekleri vb. Görürsünüz.
Dosyaları inceleme(görme)
Önceki slayda bahsedilen menüden “Klasörü Aç” Seçgöreniz, burada gösterildiği gibi, Visual Studio’da tam teşekküllü bir ADLS dosya gezgini geldiğini göreceksiniz
Dosya inceleme(İçinde ne var)
/ Çıktı / TweetAnalysis klasörüne gidin ve işin çıktı yazılımı MyTwitterAnalysis1.tsv’yi açın.
Dosya, dosyanın meta verilerini, verilerin birkaç satırını CSV formatında kaydetmek veya veriyi Excel’de önizlemek için seçenekler sunan, burada gösterilen görüntüleyicide görüntülenecektir.
Yerel çalıştırma
Visual Studio’nun U-SQL komut dosyası düzenleyicisinde üst kısmında ADLA kiracı olarak “(Yerel)” seçeneği seçmek izin veren bir açılır menü bulunur. Birlikte bul ve bir tane bulut yapayım ücreti ödem yerel olarak çalışrabilirsiniz.
Burada gösterilen, 15 nolu slaytta (“Görselleştirme”) aynı betiğin icrası, ancak sefer yerel olarak. Yürütme işlemi tamamlandığında çıktı dosyasının konumunu yereliniz için diskinizde görmek için iş planı ifade etmek üzerine gelebilmesini unutmayın.
Dosya bulma ve açma
Buluttaki ADLS kök klasörü yerel diske eşdeğerine ulaşmak için kullanıcı klasörüdeki AppData \ Local \ USQLDataRoot klasörüne gidin. Ardından Çıktısı \ TweetAnalysis alt klasöre gidin ve çıktı gösterilecek gösterilir gibi bulacaksınız. TSV dosyalar için varsayılan düzenleyicide açmak için dosyayı çift tıklayın (bu ekran görüntüsünde Excel 2016).
.NET’den başka bir şey yok.
Visual Studio’da Azure Veri Gölü işi yapmak, bir masaüstü uygulaması kullanmaktan daha fazla işlemi yapmak. Bunun nedeni, U-SQL sorguları C # ile yazılmış işlevleri kod arkasında dosyalarda veya ayrı .NET derleme projelerinde çağırabilmesidir.
Get_mentions bir C # işlevi için kaynak kodu burada gösterilmiştir. Sağ Üstteki Çözüm Gezgini, Azure Data Gölü projesinden ayrı olarak kendi C # projesinde olduğu gibi, aynı Visual Studio çözümünde de göreceksiniz.
C # ifadeleri aynı zamanda U-SQL komut dosyaları için satır içi olarak kullanılabilir. Buna, Azure portalı yerleşik komut dosyaları. Gerçi C # kod arkasında ve montaj tekniklerinde Visual Studio’nun gerekiyor.
Poliglot
Bu U-SQL komut dosyası, bir SELECT sorgusunda get_mentions işlevini kullanır.
Notun, komut dosyasının başında, REFERANS ASSEMBLY komutu, önceki slayda gösterilen C # projesini derleyerek oluşturulan. NET derlemesine bağlanmak için kullanılır.
REFERENCE ASSEMBLY Kullanabilmesi için CREATE ASSEMBLY komutu bir kez çalıştırılmalıdır. Ayrıca, yorumlansa da, önceki kod da gösterilir.
Menü
Dikkatle Visual Studio’nun (kuşkusuz kalabalık) ana anaüne bakın. Azure Veri Göleti projesindeyseniz, soldan yaklaşık 7 veya 8inci bir “Veri Göleti” öğesi görürsünüz. Tıklayın ve buraya gösterilen seçenekleri görürsünüz.
Güç (BI)
Microsoft’un Power BI’sinin doğrudan ADLS’de verileceklerini billanacak mısınız bu konuda veri bağlanabileceğini biliyor muydunuz? Doğru ve burada gösteriliyor.
Görsel alma
Görselleştirmek istemediğiniz sürece o verilere bağlanmazsınız, değil mi? Burada, Visual Studio örnekleri projesindeki 8-TweetAnalysis-WindowingExpr.usql komut dosyasıdan influencer.csv çıktı dosyasına karşılık birkaç görselleştirme gösterilmektedir. Bu bitiş çizgisidir!
Simdi U-SQL C # kodu ADL Araçları ile Çalışan Için hem Visual Studio ettik ettik, Azure kullanılarak aletler U-SQL Portalı, hazırlık ADSL Ağla gelen Azure Veri Gölü Ile uçtan uca gittin Hatta verileri Güç BI’ye Entegre eder ettik.
Bu deneyim, .NET ve SQL Server geliştiricileri için çok sezgisel olacaktır. Ve kaputun altında Hadoop ve İPLİK kullandıkları gerçeği mi? Bu sadece bir uygulama uygulama.
Bu yardımcı oldu mu?
0 / 0
