ابزار ElasticSearch به عنوان یکی از محبوب ترین ابزارهای جستجو در محتوا، این روزها محبوبیت بالایی بین برنامه نویسان پیدا کرده است.
راه اندازی سریع، سرعت بسیار بالا در جستجو، داشبورد محبوب Kibana از عوامل محبوبیت این ابزار می باشد.
از طرفی دیگر MySQL به عنوان مجبوب ترین دیتابیس رابطه ای Open Source در بازار نقش بسیار پررنگی در سرویس های OLTP ایفا می کند.
اما اگر بخواهیم کانال ارتباطی بین این دو ابزار داشته باشیم چه روشی مناسب است؟
Kafka به عنوان محبوب ترین ابزار Publish/Subscribe در بازار می تواند کمک فراوانی در ارتباط بین این دو ابزار داشته باشد.
در این ویدیو آموزشی نگاهی خواهیم داشت به ویژگی های هر سه ابزار MySQL, Apache Kafka, ElasticSearch. در ادامه با تعریف CDC و علت نیاز آن صحبت خواهیم کرد. سپس به معرفی انواع ابزار های CDC در MySQL و نحوه ی کارکرد هرکدام می پردازیم. بعد از انتخاب یکی از ابزار های CDC شروع به تنظیمات هر کدام از ابزار ها . اتصال آنها می کنیم. با استفاده از ویژگی Scheduler فریم ورک Laravel کدهایی جهت تولید داده در دیتابیس های مورد نظر جهت انتقال به دیتابیس و Stream آن به Elastic طراحی و اجرا می کنیم و در انتها خروجی کار را که در قالب یک پروژه تعریف شده است با هم مرور می کنیم.
نیازمندی های این ویدیو آموزشی را می توانید از Github زیر دریافت کنید:
https://github.com/HaMo0n/Stream-MySQL-data-to-ElasticSearch-with-Kafka
این دوره مواردی را که می خواهیم تغییر دهیم مشخص می کند و سپس کارهایی را که باید برای ایجاد نتیجه مطلوب انجام شود ، مشخص می کند. این دوره به من کمک کرد تا به روشنی مشکلات را تعریف کنم و طیف گسترده تری از راه حل های با کیفیت را ایجاد کنم. از تحلیل ساختارهای بیشتر گزینه ها پشتیبانی کنید.
در این دوره فیلمی از آموزش های لاراول ( laravel ) ورژن 5.2 برای شما دوستان قرار داده شده است . Laravel یکی از فریم ورک های زبان PHP است که برای توسعه اپلیکیشن های وب در نظر گرفته شده است و بر پایه MVC کار می کند
.jpg)
در این دوره به صورت خیلی ساده از داکر (docker) کمک گرفتیم و Apache Kafka را به صورت کانتینر راه اندازی کردیم . سپس برای تست , با کامند لاین به کافکا وصل شدیم وبعد از ساخت Topic شروع به Produce کردیم .
در این ویدیو آموزشی با استفاده از 3 ابزار Apache Kafka, MySQL, ElasticSearch تغییرات داده های MySQL را به صورت اتوماتیک به ElasticSearch منتقل خواهیم کرد.