أنواع إدارة البيانات من النهج لإدارة البيانات. تحليل البيانات وإدارة البيانات. البيانات مع التاريخ

تعريف

إدارة البيانات هي سلسلة شاملة من الإجراءات التي يجب اتباعها وتطوير البيانات عالية الجودة والحفاظ عليها باستخدام التكنولوجيا والموارد المتاحة. يمكن تعريفها أيضًا على أنها تنفيذ البنى وفقًا لقواعد وإجراءات معينة محددة مسبقًا لإدارة دورة حياة البيانات الكاملة لشركة أو مؤسسة. إنها تأخذ جميع التخصصات، د & # 39؛ المتعلقة بموارد إدارة البيانات.

فيما يلي الخطوات والإجراءات الأساسية أو تخصصات إدارة البيانات:

1. نظام إدارة قواعد البيانات

2. إدارة قواعد البيانات

3. تخزين البيانات

4. نمذجة البيانات

6. أمن البيانات

7. حركة البيانات

8. هندسة البيانات

9. تحليل البيانات

1. نظام إدارة قواعد البيانات:

هذه واحدة من الشركات & # 39؛ هناك أنواع وعلامات تجارية مختلفة من برامج الكمبيوتر المتاحة هذه الأيام. تم تصميم هذه البرامج خصيصًا لإدارة البيانات. هذه ليست سوى عدد قليل؛ آنسة. Access وMsSQL وOracle وMy Sql وما إلى ذلك. ويعتمد اختيار أي منها على سياسة الشركة وخبرتها وإدارتها.

2. إدارة قاعدة البيانات:

إدارة البيانات هي مجموعة مسؤولة عن جميع جوانب إدارة البيانات. الأدوار والمسؤوليات & # 39؛ تعتمد جهات الاتصال لهذا الفريق على الشركة فيما يتعلق بجميع سياسات إدارة قواعد البيانات. يقومون بتنفيذ الأنظمة التي تستخدم بروتوكولات البرامج الإجرائية لدعم الخصائص التالية:

أ. قاعدة بيانات التطوير والاختبار

ب. أمن قاعدة البيانات

ج. النسخ الاحتياطية لقاعدة البيانات

د. سلامة قاعدة البيانات والبرمجيات

ه. تنفيذ قاعدة البيانات

F. ضمان أقصى قدر من توافر قاعدة البيانات

3. تخزين البيانات

بمعنى آخر، مستودع البيانات هو نظام لتنظيم البيانات التاريخية وسعتها وما إلى ذلك. وفي الواقع، يحتوي هذا النظام على المواد الخام لإدارة أنظمة دعم الاستعلام. هذه المادة الخام تمكن المحللين من الحصول على أي نوع من البيانات التاريخية بأي شكل من الأشكال، مثل الاتجاهات والبيانات الموضعية والقضايا المعقدة والتحليلات. تعتبر هذه التقارير مهمة لأي شركة للاطلاع على استثماراتها أو اتجاهات أعمالها، والتي بدورها سيتم استخدامها للتخطيط المستقبلي.

يعتمد مستودع البيانات على المصطلحات التالية:

أ. يتم تنظيم قواعد البيانات بطريقة تجعل جميع عناصر البيانات d & # 39؛ المرتبطة بنفس الأحداث، د & # 39؛ متصلة مع بعضها البعض

ب. يتم تسجيل جميع التغييرات في قواعد البيانات لإعداد التقارير المستقبلية

ج. لا يتم حذف أو طباعة أي بيانات في قواعد البيانات، وتكون البيانات ثابتة للقراءة فقط

د. البيانات متسلسلة وتحتوي على جميع المعلومات التنظيمية.

4. نمذجة البيانات

نمذجة البيانات هي عملية إنشاء نموذج بيانات من خلال تطبيق ونظرية النموذج لإنشاء مثيل لنموذج البيانات. إن نمذجة البيانات هي في الواقع تعريف البيانات وهيكلتها وتنظيمها باستخدام بروتوكول محدد مسبقًا. ثم يتم تنفيذ هذه الهياكل في نظام إدارة البيانات. بالإضافة إلى ذلك، سيتم إعاقة ذلك أيضًا بسبب بعض القيود في بنية قاعدة البيانات.

5. ضمان جودة البيانات

جودة البيانات هي إجراء سيتم تنفيذه في أنظمة إدارة البيانات لإزالة الحالات الشاذة والتناقضات في قواعد البيانات. كما يقوم أيضًا بتنظيف قاعدة البيانات لتحسين جودة قواعد البيانات.

6. أمن البيانات

ويسمى أيضًا أمن البيانات، وهو نظام أو بروتوكول يتم تنفيذه في النظام لضمان تخزين قواعد البيانات بشكل آمن تمامًا ولا يمكن أن يتضرر أحد من خلال استخدام التحكم في الوصول. ومن ناحية أخرى، تضمن حماية البيانات أيضًا خصوصية البيانات الشخصية وحمايتها. قامت العديد من الشركات والحكومات حول العالم بوضع قوانين الخصوصية.

7. حركة البيانات

هذا هو أحد المفاهيم المنتشرة على نطاق واسع& # 39؛ يرتبط بمستودع بيانات ETL (استخراج وتحويل وتحميل). ETL هي عملية متضمنة في مستودعات البيانات وهذا مهم جدًا حيث يتم تحميل البيانات في المستودع.

8. هندسة البيانات

يعد هذا جزءًا مهمًا من نظام إدارة البيانات؛ إنه إجراء لتخطيط وتحديد حالات البيانات المستهدفة. ويتم ذلك من خلال فهم الحالة المستهدفة من خلال وصف كيفية معالجة البيانات وتخزينها واستخدامها في أي نظام معين. لقد خلق الظروف اللازمة لعمليات المعالجة التي تسمح بإنشاء تدفقات البيانات والتحكم في تدفق البيانات في أي نظام معين.

في الأساس، تكون بنية البيانات مسؤولة عن استبعاد الحالات والمحاذاة المستهدفة أثناء التطوير الأولي، ثم يتم دعمها من خلال تنفيذ الملاحظات البسيطة. في عملية تقليص الموظفين، يتم تقسيم بنية البيانات إلى طبقات فرعية صغيرة وتفاصيل ثم يتم شراؤها في النموذج المطلوب. يمكن إنشاء هذه الطبقات من خلال ثلاث عمليات هندسة بيانات تقليدية:

أ. المفاهيمي، الذي يمثل جميع الموضوعات و# 39 كائنات النشاط الاقتصادي

ب. الوسائل المنطقية لكيفية تكون هذه الهياكل التجارية & # 39؛ متعلق ب.

ج. المادي هو تنفيذ محرك البيانات لوظيفة قاعدة بيانات محددة.

من العبارات المذكورة أعلاه، يمكننا تحديد أن بنية البيانات تتضمن تحليلاً كاملاً للعلاقة & # 39؛ العلاقات بين الوظائف ونوع البيانات والتكنولوجيا.

9. تحليل البيانات

تحليل البيانات عبارة عن سلسلة من الإجراءات المستخدمة لاستخراج المعلومات ذات الصلة وتقرير النتائج. اعتمادًا على نوع البيانات والاستعلام، قد يتضمن ذلك تطبيق الأساليب الإحصائية أو الاتجاهات أو الاختيار أو رفض مجموعات فرعية معينة من البيانات بناءً على معايير محددة. في الواقع، تحليل البيانات هو اختبار أو تأكيدات لنموذج بيانات موجود أو استخلاص المعلمات الضرورية لتحقيق نموذج نظري على الواقع.

استخراج البيانات هو إجراء الحصول على معلمات بيانات غير معروفة ولكنها مفيدة. ويمكن تعريفها أيضًا على أنها سلسلة من الإجراءات لاستخراج المعلومات المفيدة وغير المرغوب فيها من قواعد البيانات الكبيرة. استخراج البيانات هو مبدأ فرز كميات كبيرة من البيانات واختيار المعلومات ذات الصلة والضرورية لبعض الأغراض المحددة.

ما هي أنواع البيانات الموجودة؟

قبل الانتقال مباشرة إلى أنظمة إدارة البيانات الرئيسية، دعونا نحدد نوع البيانات الموجودة.

فيما يلي الأنواع الخمسة الرئيسية:

1. البيانات الوصفية؛
2. البيانات المرجعية.
3. البيانات الرئيسية.
4. بيانات المعاملات؛
5. البيانات التاريخية.

البيانات الوصفيةهي بيانات حول البيانات. إنها ضرورية لفهم وتحديد البيانات التي تعمل عليها المؤسسة. تحدد البيانات الوصفية الهياكل وأنواع البيانات والوصول إليها وما إلى ذلك. هناك مخططات مختلفة لوصف البيانات الوصفية. على سبيل المثال، يمكن استخدام مخطط XSD لوصف بنية مستند XML، ويمكن استخدام مخطط WSDL لوصف خدمة ويب.

البيانات المرجعية- نادرًا ما يتم تغيير البيانات التي تحدد قيم الكيانات المحددة المستخدمة في تنفيذ العمليات في جميع أنحاء المؤسسة. وتشمل هذه الكيانات في أغلب الأحيان: العملات، والبلدان، ووحدات القياس، وأنواع الاتفاقيات/الحسابات، وما إلى ذلك.

البيانات الرئيسية- هذه هي البيانات الأساسية التي تحدد كيانات الأعمال التي تتعامل معها المنشأة. تتضمن هذه الكيانات التجارية عادةً (اعتمادًا على التركيز الصناعي للمؤسسة) العملاء والموردين والمنتجات والخدمات والعقود والحسابات والمرضى والمواطنين وما إلى ذلك. بالإضافة إلى المعلومات المباشرة حول كيان رئيسي أو آخر، تتضمن البيانات الرئيسية العلاقات بين هذه الكيانات والتسلسلات الهرمية. على سبيل المثال، فيما يتعلق بتحديد فرص المبيعات الإضافية، قد يكون من المهم جدًا تحديد العلاقات الصريحة والضمنية بين الأفراد. يتم توزيع البيانات الرئيسية في جميع أنحاء المؤسسة وتشارك في جميع العمليات التجارية. عادة، يُنظر إلى البيانات الرئيسية على أنها أصل غير ملموس رئيسي للمؤسسة، لأنها تعتمد فعالية عملها على جودتها واكتمالها. في روسيا، بدلا من مصطلح "البيانات الرئيسية"، غالبا ما يستخدم مصطلح "المعلومات التنظيمية والمرجعية".

بيانات المعاملات- هذه هي البيانات التي تم إنشاؤها نتيجة قيام المؤسسة بأي معاملات تجارية. على سبيل المثال، بالنسبة لمؤسسة تجارية: مبيعات المنتجات والخدمات، والمشتريات، وإيصالات/شطب الأموال، والإيصالات في المستودع، وما إلى ذلك. عادةً ما تعتمد هذه البيانات على تخطيط موارد المؤسسة (ERP) أو أنظمة الصناعة الأخرى. وبطبيعة الحال، تستخدم أنظمة المعاملات البيانات الرئيسية على نطاق واسع عند تنفيذ المعاملات.

البيانات التاريخيةهي البيانات التي تتضمن بيانات المعاملات التاريخية والرئيسية. في أغلب الأحيان، يتم تجميع هذه البيانات في أنظمة ODS وDWH ويتم استخدامها لحل المشكلات التحليلية المختلفة ودعم قرارات الإدارة.

أنظمة إدارة البيانات الرئيسية

قبل الانتقال إلى نظام إدارة البيانات الرئيسية، دعونا نحدد ما هي إدارة البيانات الرئيسية بشكل عام.

إدارة البيانات الرئيسية (MDM) هو نظام يعمل مع البيانات الرئيسية من أجل إنشاء "السجل الذهبي"، أي نظرة شاملة وشاملة للكيان الرئيسي والعلاقات، ومعيار البيانات الرئيسية الذي يتم استخدامه في جميع أنحاء المؤسسة، وأحيانا بين المؤسسات لتسهيل تبادل المعلومات.

تعمل أنظمة إدارة البيانات الرئيسية المتخصصة (أنظمة MDM) على أتمتة جميع جوانب هذه العملية وتعد مصدرًا "موثوقًا" للبيانات الرئيسية على مستوى المؤسسة. في كثير من الأحيان تقوم أنظمة MDM أيضًا بإدارة البيانات المرجعية.

الوضع الذي يكون فيه نظام MDM هو المصدر الوحيد للبيانات الرئيسية، حيث يتم إجراء جميع التغييرات على نظام MDM ومن ثم يتم نقلها فقط إلى أنظمة المستهلك يسمى "نظام السجلات". هذا هو الوضع المثالي لإدارة البيانات الرئيسية. ومع ذلك، في الحياة الواقعية، الأمور ليست بهذه البساطة: لن يكون نظام MDM دائمًا "نظام سجلات". نظرا لخصائص العمليات التجارية لمؤسسة معينة، والصعوبات الفنية لأنظمة معينة، وما إلى ذلك، من الضروري إنشاء "نسخ" من السجلات الرئيسية. ويسمى النظام الذي يحتوي على نسخة من البيانات الرئيسية "النظام المرجعي". وحتى لا نفقد السيطرة، يجب أن يكون «نظام الارتباط» تحت السيطرة ويتزامن مع «نظام التسجيل».

ثلاثة أبعاد لأنظمة MDM

دعونا نفكر في نظام MDM بثلاثة أبعاد:

عادة، لا يتم تنفيذ أنظمة MDM "مرة واحدة"، لأن وتنفيذها هو عملية معقدة من التحولات المتسقة على مستوى المؤسسة، بدءًا من الحفاظ على البيانات المتباينة وحتى إنشاء رؤية شاملة وشاملة للكيان الرئيسي. لذلك، يتم تنفيذ أنظمة MDM بشكل متسلسل مع اتباع نهج تدريجي للنتيجة المستهدفة في الأبعاد الثلاثة المحددة.

دعونا نلقي نظرة فاحصة على هذه القياسات.

المجالات

في سياق إدارة البيانات الرئيسية، يشير المجال إلى منطقة معينة من البيانات الرئيسية. مجالات البيانات الرئيسية الأكثر شيوعًا هي مجال العميل ومجال المنتج. في الأدب الغربي، ظهرت مصطلحات راسخة لإدارة البيانات الرئيسية ضمن هذه المجالات: تكامل بيانات العميل (CDI) لمجال العميل وإدارة معلومات المنتج (PIM) لمجال المنتج.

لا تتضمن CDI تقليديًا العملاء فحسب، بل تتضمن أيضًا المنظمات أو الأفراد، والتي يمكن تسميتها بشكل مختلف اعتمادًا على مجال عمل المؤسسة: العملاء والموردين والبنوك والصناديق والمرضى والمواطنين وما إلى ذلك.

يتضمن PIM تقليديًا: المنتجات والسلع والمواد والخدمات والأعمال وما إلى ذلك.
هناك العديد من أوجه التشابه في نهجي CDI وPIM لإدارة البيانات الرئيسية، ولكن هناك أيضًا العديد من الاختلافات. على سبيل المثال، عند إلغاء تكرار كيانات العميل، يتم في معظم الحالات إجراء تحليل بسيط لسمات الكيان ومقارنتها بناءً على الخوارزميات الاحتمالية، بينما في مجال المنتج، يتم إجراء التحليل الدلالي/الوجودي للسمات مع تضمين آليات التعلم الذاتي . بالإضافة إلى ذلك، في مجال المنتج، يمكن أن تتمتع الكيانات بسمات مختلفة جدًا اعتمادًا على الفئة المحددة (على سبيل المثال، تتمتع أجهزة الكمبيوتر المحمولة بمجموعة سمات خاصة بها، في حين أن الغسالات لها سمات خاصة بها). يجب أن تكون جميع هذه الميزات الخاصة بالمجالات المختلفة مدعومة بواسطة أنظمة MDM.

في الآونة الأخيرة، كان هناك ميل لإنشاء أنظمة MDM متعددة المجالات مع القدرة على تخصيص بنية البيانات التعريفية بمرونة. تمنح هذه المرونة المؤسسة الفرصة لوصف البيانات الرئيسية خصيصًا لنفسها، مع مراعاة جميع الميزات والفروق الدقيقة، ولكنها في الوقت نفسه تتطلب الكثير من الوقت والمعرفة لتصميم مثل هذا النظام وتكوينه بكفاءة. هناك أيضًا أنظمة في السوق ذات هيكل "صارم" للكيانات الرئيسية التي لديها بالفعل آليات تم تكوينها بشكل صحيح، ولكن استخدام مثل هذا النظام ممكن فقط من قبل تلك المؤسسات التي يمكنها التكيف معه. عادةً ما تكون هذه الأنظمة مناسبة تمامًا لحل مشكلة إدارة البيانات الرئيسية في صناعة معينة. في رأيي، الأنظمة الأكثر واعدة هي تلك التي تحتوي على نموذج بيانات وصفية مرن، ولكن في الوقت نفسه لديها نماذج تم تكوينها مسبقًا للمؤسسات في مختلف الصناعات والتي يمكن إعادة تشكيلها بسرعة.

طرق الاستخدام

تحدد طرق استخدام MDM (طريقة الاستخدام) الغرض الذي سيتم استخدام نظام MDM من أجله في المؤسسة. بمعنى آخر، من سيكون مستهلك البيانات الرئيسية (بطبيعة الحال، قد يكون هناك العديد منهم).

هناك ثلاث طرق رئيسية للاستخدام:

1. التحليلية
2. التشغيلية
3. تعاونية

تدعم طريقة الاستخدام التحليلي العمليات التجارية والتطبيقات التي تستخدم البيانات الرئيسية في المقام الأول لتحليل أداء الأعمال وتوفير التقارير اللازمة وتنفيذ الوظائف التحليلية. يحدث هذا غالبًا من خلال تفاعل MDM مع أدوات ومنتجات ذكاء الأعمال. عادةً، يعمل نظام MDM التحليلي مع البيانات في وضع القراءة فقط، ولا يغير البيانات في الأنظمة المصدر، ولكنه ينظفها ويثريها.

تسمح طريقة الاستخدام التشغيلي بجمع البيانات الرئيسية وتعديلها واستخدامها أثناء تنفيذ المعاملات التجارية (العمليات) وتعمل على الحفاظ على الاتساق الدلالي للبيانات الرئيسية داخل هذه العمليات عبر جميع التطبيقات التشغيلية. في الواقع، في هذه الحالة، يعمل MDM كنظام OLTP يعالج الطلبات الواردة من تطبيقات التشغيل أو المستخدمين الآخرين. غالبًا ما يتطلب العمل في هذا الوضع بناء مشهد تكامل موحد باستخدام مبادئ البنية الموجهة للخدمة (SOA) واستخدام أدوات ناقل خدمة المؤسسة (ESB). إنه مثالي إذا تم تضمين هذه الأدوات مباشرة في نظام MDM أو استمراره (هناك بائعون لديهم حلول MDM وESB في خطهم، ومتكاملة بعمق مع بعضها البعض).

تسمح لك طريقة الاستخدام الجماعية بإنشاء كيانات رئيسية في الحالات التي يكون فيها التفاعل الجماعي بين مجموعات مختلفة من المستخدمين مطلوبًا أثناء عملية الإنشاء هذه. تشتمل هذه التسوية عادةً على عمليات أعمال "متفرعة" معقدة تتكون من مهام آلية ويدوية مختلفة. يتم تنفيذ المهام اليدوية بواسطة علماء بيانات مختلفين (مشرفي البيانات) بالترتيب الذي تحدده عملية الأعمال. في أغلب الأحيان، يتم استخدام طريقة الاستخدام الجماعي في مجال المنتج. على سبيل المثال، عند إنشاء منتج جديد، عندما يكون هناك العديد من الأشخاص المسؤولين عن إدخال بيانات مختلفة، يكون هناك الكثير من العمل اليدوي والموافقة النهائية. من المهم أن يسمح لك نظام MDM بتكوين العمليات التجارية التعسفية لدعم العمليات التجارية لمؤسسة معينة بسرعة.

أساليب التنفيذ

عادة ما تكون هناك ثلاثة أنماط تنفيذ رئيسية:

1. التسجيل؛
2. التعايش؛
3. المعاملات.

يتضمن أسلوب تنفيذ السجل إنشاء مصدر بيانات رئيسي باعتباره "نظام ربط" لمصادر بيانات أقل. يحتوي سجل MDM على السمات الرئيسية اللازمة لتحديد الكيانات وتعيينها فقط. يعمل سجل MDM في وضع القراءة فقط، مع إدخال البيانات في الأنظمة المصدر وتمريرها إلى MDM لتحليل الكيان. بالإضافة إلى ذلك، قد يقوم سجل MDM بتخزين روابط لمصادر البيانات غير الرئيسية، ولكن عادةً لا يتم نقل البيانات نفسها إلى MDM. عادةً ما يتم استخدام أسلوب التسجيل في التنفيذ عند اختيار الطريقة التشغيلية لاستخدام MDM (انظر أعلاه).

يتضمن أسلوب التنفيذ المشترك إدخال البيانات الموزعة عبر مصادر متعددة (تطبيقات الأعمال ونظام MDM). يمكن أن يكون نظام MDM في هذه الحالة "نظام سجلات" لجزء من السمات فقط. ومع ذلك، يتم تشكيل كيان رئيسي كامل في نظام MDM، ويتم نقل تغييراته إلى أنظمة أخرى (ربما ليس كلها). أسلوب التنفيذ المتزامن بسيط جدًا وغالبًا ما يستخدم كخطوة أولى للخطوة التالية - أسلوب المعاملات، لأن لا يتطلب إعادة صياغة عميقة للأنظمة التي تتفاعل مع نظام MDM.

يتضمن أسلوب تنفيذ المعاملات إنشاء "نظام سجلات" كامل يتم فيه تخزين كافة البيانات الخاصة بالكيانات الرئيسية. نظام MDM في هذه الحالة هو "المصدر الوحيد للحقيقة" لجميع أنظمة المستهلك. يتم تنفيذ جميع عمليات إنشاء البيانات ومعالجتها على مستوى نظام MDM. يحظر إدخال البيانات على مستوى نظام المستهلك. عادةً ما يكون تنفيذ هذا النهج صعبًا للغاية، لأنه يتطلب تغييرات كبيرة في العمليات التجارية وأنظمة المشتركين.

خاتمة

من الناحية العملية، يتم تحديد اختيار استراتيجية تنفيذ MDM واحدة أو أخرى من خلال العديد من العوامل: أهداف المؤسسة في مجال إدارة البيانات الرئيسية، ودرجة نضج المؤسسة، ودرجة جاهزية البنية التحتية لتكنولوجيا المعلومات، والتوافر من الاستثمارات لتنفيذ المشروع والعديد من المعالم الأخرى. لاتخاذ قرار بشأن استراتيجية التنفيذ، تحتاج إلى إجراء تحليل شامل لجميع هذه العوامل ووضع دراسة جدوى مفصلة للمشروع وجدول زمني مفصل يوضح مراحل تطوير المشروع. ولكن هذا موضوع واسع آخر يتطلب دراسة منفصلة.

هناك شيء واحد مؤكد: يجب التعامل مع تنفيذ نظام MDM بحذر شديد وتدريجي. تفشل معظم مشاريع تنفيذ أنظمة MDM على وجه التحديد لأنها تقلل من حجم وتعقيد التغييرات التي يتعين على مشاريع MDM مواجهتها.

ملف تعريف الارتباط هو ملف نصي صغير على جهازك يتيح ميزات ووظائف موقع الويب.

ملف تعريف الارتباط هو ملف نصي صغير يطلبه موقع الويب من متصفح الويب الخاص بك ويخزنه على جهازك لتذكر تفضيلات اللغة الخاصة بك وغيرها من المعلومات المماثلة عنك وتمكين ميزات موقع الويب ووظائفه.

في Comindware، نسعى جاهدين لنكون واضحين وشفافين بشأن البيانات التي نجمعها عنك وكيفية استخدامها. وتوفر هذه السياسة تفاصيل حول ملفات تعريف الارتباط التي نجمعها وكيفية استخدامنا للبيانات الخاصة بك. تنطبق سياسة ملفات تعريف الارتباط هذه على موقع Comindware الإلكتروني.

دائما متاح

تأكد من تجربتك الشخصية وتأكد من أن موقع الويب يعمل بشكل صحيح.

تساعدنا ملفات تعريف الارتباط التي يتم تمكينها دائمًا على تزويدك بتجربة موقع ويب مخصصة ولا يمكن تعطيلها على نظامنا. يمكنك ضبط متصفح الويب الخاص بك لحظر ملفات تعريف الارتباط هذه أو تحذيرك بشأنها، ولكن قد لا تعمل بعض أجزاء الموقع بعد ذلك.

سرعة الموقع

يستخدم للتحسين المستمر وتحسين الموقع.

تساعدنا ملفات تعريف الارتباط الخاصة بالأداء على تحسين الموقع وتحسينه باستمرار. تتيح لنا ملفات تعريف الارتباط هذه حساب الإحالات إلى موقع الويب، وتتبع مصادر حركة المرور، وتحديد الصفحات الأكثر شيوعًا وتوفير قيمة للزائرين، وفهم كيفية تنقل المستخدمين في موقع الويب. يتم جمع كافة البيانات في ملفات تعريف الارتباط هذه بشكل إجمالي وبالتالي فهي مجهولة المصدر.

• يعد DFSMSdfp (منتج مرفق البيانات) عنصرًا أساسيًا في نظام التشغيل z/OS الذي ينفذ الوظائف الأساسية لإدارة البيانات وأجهزة تخزين البيانات، بما في ذلك تخصيص الذاكرة الخارجية وتنظيم الوصول إلى البيانات ودعم العمليات على مجموعات البيانات والحفاظ على أدلة مجموعة البيانات.
• DFSMSdss (خدمة مجموعة البيانات) - أدوات إدارة البيانات و أجهزة الذاكرة الخارجيةعلى الأقراص المغناطيسية (النسخ الاحتياطي، والاسترداد، وإلغاء التجزئة)؛
• DFSMShsm (مدير التخزين الهرمي) - وسيلة لتحسين تخزين مجموعات البيانات على الوسائط المختلفة، اعتمادًا على كثافة الاستخدام وضمان سلامة البيانات؛
• DFSMSrmm (مدير الوسائط القابلة للإزالة) - أدوات لإدارة الوسائط القابلة للإزالة (الأشرطة والأجهزة البصرية)؛
• DFSMStvs (خدمة VSAM للمعاملات) - دعم المعالجة المتوازية لمجموعات بيانات VSAM للمهام المجمعة ومعاملات CICS.

الوحدات الأربع الأخيرة اختيارية.

في z/OS، يتم تطبيق تقنيتين مختلفتين لإدارة البيانات ويوجدان بالتوازي، ويطلق عليهما تقليديًا MVS وSMS. تقنية إم في إس(أحياناً يقولون غير الرسائل القصيرة) يعتمد على استخدام إمكانيات وأساليب إدارة البيانات الكلاسيكية، والتي تم وضع أسسها في OS/360. الميزة الرئيسية لهذه التقنية هي التحكم المباشر للمستخدم في معلمات توزيع مجموعات البيانات في الذاكرة الخارجية عند إنشائها. تعد تقنية الرسائل القصيرة (من التخزين المُدار بواسطة النظام) بمثابة برنامج إضافي يوفر إدارة آلية شاملة لمجموعات البيانات، بما في ذلك إنشائها ووضعها ووضعها إدارةاستنادا إلى فئات البيانات المحددة خصيصا. يتم تعيين مجموعة ثابتة من السمات لكل فئة من هذه الفئات، بما في ذلك جهاز التخصيص (الحجم)، ومقدار الذاكرة المخصصة، وخصائص مجموعة البيانات (النوع، والبنية)، ومعلمات الخدمة والأمن، وما إلى ذلك. يتطلب استخدام تقنية الرسائل القصيرة إعدادات نظام خاصة ووحدات تخزين ذاكرة خارجية تم تكوينها بشكل خاص.

سيقدم هذا القسم أولاً المفاهيم والأدوات الأساسية المطبقة في تقنية MVS، ثم يصف ميزات تقنية الرسائل القصيرة.

خصائص مجموعات البيانات

نظام التشغيليدعم z/OS العمل مع مجموعات البيانات التي تختلف في نوع التنظيم المنطقي: تسلسلي، وتسلسلي فهرس، والوصول المباشر، والمكتبة (PDS وPDSE)، ومجموعات البيانات باستخدام طريقة الوصول الظاهري (VSAM)، ومجموعات بيانات الملفات. (HFS، ZFS) [5.11]. لدعم مجموعات البيانات من أنواع مختلفة، يتضمن DFSMSdfp مكونات تسمى طرق الوصولوالموصوفة في البند 5.1.3. تركز كل طريقة وصول على العمل مع مجموعات البيانات من نوع معين وتوفر الدعم للعمليات اللازمة لتنظيم الإدخال/الإخراج.

نظام التشغيليوفر z/OS معالجة مجموعة البيانات في السجلات المنطقيةو كتل. وهذا يعني أنه يتم تمثيل مجموعة من البيانات كمجموعة من السجلات المنطقية، ويمكن للتطبيقات الوصول إلى السجلات المنطقية ومعالجتها كوحدة واحدة. في الوقت نفسه، يتم تبادل البيانات بين الأجهزة الطرفية والذاكرة الرئيسية (الإدخال والإخراج) في كتل (أو سجلات فعلية). تجمع الكتلة عددًا من السجلات المنطقية. وبالتالي، يجب إنشاء سجل منطقي متسق وأحجام الكتل لكل مجموعة بيانات.

يدعم z/OS ثلاثة تنسيقات سجلات منطقية: السجلات ذات الطول الثابت، والسجلات ذات الطول المتغير، والسجلات ذات الطول غير المحدد. سجلات ذات طول ثابتأن يكون حجمها ثابتًا في اللسان إدارة الوظائفيتم تحديدها بالرموز F أو FB وفقًا للطريقة المحددة لحظر السجلات:

• و- تحتوي كل كتلة على كتلة واحدة فقط إدخال منطقي;
• FB - يمكن أن تحتوي كل كتلة على أكثر من سجل منطقي واحد.

إدخالات متغيرةيمكن أن يكون للأطوال أحجام مختلفة داخل نفس مجموعة البيانات، لذا، بالإضافة إلى البيانات، فإنها تتضمن حقلًا إضافيًا (واصفًا) يشير إلى طول السجل الحالي. المعرف V المستخدم للإشارة إلى السجلات ذات الطول المتغير يعني أن كل كتلة تحتوي على كتلة واحدة فقط إدخال منطقي، بما في ذلك مقبض الدخول. يتم استخدام معرف VB في الحالات التي يمكن أن تحتوي فيها كل كتلة على أكثر من سجل منطقي واحد، ولكل كتلة يتم إنشاء واصف إضافي يحتوي على طول الكتلة.

سجلات ذات طول غير محدد(المعرف U) يتميز فقط بحجم الكتلة ولا يحتوي على أي معلومات حول التقسيم إلى سجلات منطقية.

وتتميز كل مجموعة بيانات باسم فريد. يمكن أن تكون الأسماء بسيطة أو مركبة. لا يمكن أن يحتوي الاسم البسيط على أكثر من 8 أحرف (الأحرف اللاتينية من A إلى Z، والأرقام من 0 إلى 9، والأحرف الخاصة #،@،$،-)، ولا يمكن أن يكون الحرف الأول من الاسم رقمًا. على سبيل المثال، PARTS01، B1934-1، $$$$A.

يتكون اسم مجموعة البيانات المعقدة من عدة أسماء بسيطة مفصولة بـ "." ("نقطة"). على سبيل المثال، D.USER1. JCL، أ.طويل جدًا. اسم مجموعة البيانات، $PARTS.DATA2 .

الحد الأقصى لطول الاسم المركب هو 44 حرفًا، بما في ذلك الفواصل المنفصلة.

عادة ما يتم استدعاء الأسماء البسيطة في الاسم المركب تصفيات.

بعد ذلك، سننظر في الأنواع الرئيسية لتنظيم مجموعات البيانات، باستثناء مجموعات بيانات الفهرس المتسلسلة والوصول المباشر (لا توصي شركة IBM باستخدامها باعتبارها قديمة) وHFS (ستتم مناقشتها في القسم 5.1.6).

مجموعات البيانات المتتالية

مجموعات البيانات المتتالية(Physical Sequential, PS) تعتبر مجموعة من السجلات المنطقية التي تتم معالجتها بالترتيب الذي تم وضعها به في مجموعة البيانات (أي بشكل تسلسلي). يمكن تصحيح مجموعة البيانات المتسلسلة إما عن طريق إعادة كتابة كافة المعلومات بالكامل، أو عن طريق إضافة سجلات منطقية جديدة إلى نهاية مجموعة البيانات. تُستخدم مجموعات البيانات المتسلسلة غالبًا لتخزين كميات كبيرة نسبيًا من المعلومات (تقارير المهام، وسجلات الجلسات، وما إلى ذلك) على أي نوع من أجهزة الذاكرة الخارجية. علاوة على ذلك، يمكن لمحركات الأشرطة استخدام مجموعات البيانات التسلسلية فقط. لمعالجة مجموعات البيانات المتسلسلة، يدعم z/OS طريقتين للوصول: "الأساسية"

المستوى المنطقي (وصف رسمي/نموذجي)

يتم تمثيل المستوى المنطقي لتكنولوجيا المعلومات على أنه مجموعة معقدة من النماذج المترابطة التي تضفي الطابع الرسمي على عمليات المعلومات أثناء تحويل المعلومات إلى بيانات. إن تمثيل تكنولوجيا المعلومات بشكل رسمي في شكل نماذج يجعل من الممكن ربط معلمات عمليات المعلومات ويجعل من الممكن تنفيذ إدارة عمليات وإجراءات المعلومات. في التين. ويبين الشكل 2.12 نموذجًا منطقيًا لتكنولوجيا المعلومات الأساسية، والذي يعكس مخطط الترابط لنماذج عملية المعلومات.

واستنادا إلى نموذج المجال الذي يميز كائن التحكم، يتم إنشاء نموذج تحكم عام، والذي بدوره يستخدم لتشكيل نماذج للمهام التي يتعين حلها. نظرًا لاستخدام عمليات المعلومات المختلفة لحل مشكلات الإدارة، فمن الضروري بناء نموذج لمنظمتها، والذي يربط على المستوى المنطقي بين عمليات الإدارة المستخدمة في حل المشكلات.

أرز. 2.12.

عند معالجة البيانات، يتم تشكيل جميع عمليات المعلومات الأساسية: معالجة البيانات وتبادلها وتراكمها، وعرض المعرفة.

نموذج معالجة البيانات يتضمن وصفًا رسميًا لإجراءات تنظيم عملية الحوسبة (أنظمة التشغيل)، والتحويل (خوارزميات وبرامج الفرز والبحث وإنشاء وتحويل الهياكل الثابتة والديناميكية) والاستدلال المنطقي (النمذجة).

نموذج تبادل البيانات يحتوي على وصف رسمي للإجراءات التي تتم في شبكة الكمبيوتر: الإرسال (التشفير، والتعديل في قنوات الاتصال)، والتبديل والتوجيه (بروتوكولات تبادل الشبكة) ويتم وصفه باستخدام المعايير الدولية: OSI (التوصيل البيني للأنظمة المفتوحة)، والشبكات المحلية (IEEE 802) ) ومواصفات الإنترنت (انظر الفصل 18).

نموذج تراكم البيانات يصف كلاً من نظام إدارة قواعد البيانات (DBMS) وقاعدة المعلومات نفسها، والتي يمكن تعريفها بأنها قاعدة بيانات وقاعدة معرفية. يتم تنفيذ عملية الانتقال من التمثيل الدلالي (المعلومات) إلى التمثيل المادي من خلال نظام ثلاثي المستويات لنماذج قاعدة المعلومات: المفاهيمي (ما وكم المعلومات التي يجب تجميعها عند تنفيذ تكنولوجيا المعلومات)، المنطقي (الهيكل والعلاقة) عناصر المعلومات) والمادية (طرق وضع البيانات والوصول إليها على وسائط الآلة). يتم تنظيم وظائف إدارة قواعد البيانات (انظر الفصل 19): لغة قاعدة بيانات SQL (لغة الاستعلام المنظمة)؛ نظام المعلومات والمراجع IRD (نظام قاموس موارد المعلومات) ؛ بروتوكول لعمليات الوصول عن بعد RDA (الوصول إلى البيانات عن بعد)، PAS (المواصفات المتاحة للجمهور) Microsoft إلى واجهة التطبيق المفتوحة للوصول إلى قواعد البيانات ODBC (اتصال قاعدة البيانات المفتوحة) API (واجهة برنامج التطبيق).

نموذج تمثيل المعرفة يتم اختياره اعتمادًا على اكتمال الاستنساخ ومحتوى الموضوع، بالإضافة إلى نوع المشكلات التي يتم حلها. حاليًا، يتم استخدام نماذج تمثيل المعرفة مثل المنطقية والخوارزمية والدلالية والإطارية والتكاملية.

نموذج الحصول على المعلومات تم تصميمه مع الأخذ في الاعتبار المعايير التي تحكم هياكل البيانات والمستندات، بالإضافة إلى تنسيقات البيانات:

• o وسيلة لغة ASNl (تدوين تركيب مجردة واحد)، مخصصة لمواصفات هياكل البيانات التطبيقية - بناء الجملة المجرد للكائنات المطبقة؛
• o تنسيقات ملفات التعريف لتمثيل ونقل المعلومات الرسومية CGM (ملف تعريف رسومات الكمبيوتر)؛
• o مواصفات الرسائل والبيانات الإلكترونية للتبادل الإلكتروني في الإدارة والتجارة والنقل EDIFACT (تبادل البيانات الإلكترونية للإدارة والبدء والتجارة)؛
• o مواصفات الوثائق وهياكلها ODA (هندسة المستندات المفتوحة)؛
• o مواصفات هياكل المستندات للإنتاج، على سبيل المثال SGML (لغة التوصيف المعممة القياسية)؛
• o لغات وصف الوسائط التشعبية ومستندات الوسائط المتعددة، على سبيل المثال: HyTime، SMDL (لغة وصف الموسيقى القياسية)، SMSL (لغة برمجة الوسائط المتعددة/الوسائط التشعبية القياسية)، SPDS (لغة وصف الصفحة القياسية)، DSSSL (دلالات نمط المستند ولغة المواصفات) )، HTML (لغة ترميز النص التشعبي)؛
• o مواصفات تنسيقات البيانات الرسومية، مثل تنسيقات JPEG وJBIG وMPEG.

تم تصميم نموذج عرض المعلومات مع الأخذ في الاعتبار معايير X Windows وMOTIF وOPEN LOOK وVT وCGI وPHIGS وGKS ورسومات الكمبيوتر وواجهة المستخدم الرسومية GUI.

تعمل نماذج إدارة المعلومات والبيانات والمعرفة على ربط عمليات المعلومات الأساسية ومزامنتها على المستوى المنطقي.

حيث أن عمليات المعلومات الأساسية تعمل بالمعلومات والبيانات والمعرفة، ثم الإدارة معلومة يحدث من خلال عمليات الاستلام (التجميع والإعداد والإدخال) والعرض (بناء الرسومات والنصوص والفيديو وتركيب الكلام)؛ يتحكم بيانات تتم من خلال عمليات المعالجة (إدارة تنظيم عملية التحول الحسابي)، والتبادل (إدارة التوجيه والتبديل في شبكة الكمبيوتر، ونقل الرسائل عبر قنوات الاتصال) والتراكم (أنظمة إدارة قواعد البيانات)، والإدارة معرفة - من خلال تمثيل المعرفة (إدارة اكتساب المعرفة وتوليدها).

الطبقة المادية (تنفيذ البرامج والأجهزة)

يمثل المستوى المادي لتكنولوجيا المعلومات تنفيذ البرامج والأجهزة. على المستوى المادي، تعتبر تكنولوجيا المعلومات بمثابة نظام يتكون من أنظمة فرعية كبيرة: المعالجة والتبادل وتراكم البيانات واستقبال وعرض المعلومات وتمثيل المعرفة وإدارة البيانات والمعرفة (الشكل 2.13). يتفاعل المستخدم ومطور النظام مع النظام الذي ينفذ تكنولوجيا المعلومات على المستوى المادي.

أرز. 2.13.

النظم الفرعية لمعالجة البيانات مبنية على أساس أجهزة الكمبيوتر الإلكترونية من مختلف الفئات وتختلف في قوة الحوسبة والأداء. اعتمادًا على احتياجات المهام التي يتم حلها، يتم استخدام كل من أجهزة الكمبيوتر المركزية الكبيرة (الحواسيب المركزية) لمعالجة كميات هائلة من المعلومات وأجهزة الكمبيوتر الشخصية (PC). تستخدم الشبكة كلا من الخوادم والعملاء (محطات العمل).

النظم الفرعية لتبادل البيانات تتضمن مجمعات من البرامج والأجهزة (أجهزة المودم ومكبرات الصوت والمحولات والكابلات وما إلى ذلك) التي تنشئ شبكة كمبيوتر وتقوم بالتبديل والتوجيه والوصول إلى الشبكات.

النظام الفرعي لتراكم البيانات يتم تنفيذه باستخدام الدراجات وقواعد البيانات الموجودة على أجهزة الكمبيوتر الخارجية التي تتحكم فيها. من الممكن تنظيم كل من قواعد البيانات والبنوك المحلية، المنفذة على أجهزة الكمبيوتر الفردية، وبنوك البيانات الموزعة باستخدام شبكات الكمبيوتر ومعالجة البيانات الموزعة.

تلقي النظم الفرعية , عرض المعلومات وتمثيل المعرفة يستخدم لتكوين نموذج للموضوع من شظاياه ونموذج للمشكلة التي يتم حلها. في مرحلة التصميم يقوم المطور بتكوين مجموعة من النماذج للمشكلات المطلوب حلها في ذاكرة الحاسوب. في مرحلة التشغيل، يصل المستخدم إلى النظام الفرعي لعرض المعلومات وتمثيل المعرفة، وبناءً على المهمة المطروحة، يختار نموذج الحل المناسب، وبعد ذلك يتم تنشيط الأنظمة الفرعية الأخرى من خلال النظام الفرعي لإدارة البيانات.

النظام الفرعي لإدارة البيانات والمعرفة كقاعدة عامة، يتم تنفيذه جزئيًا على نفس أجهزة الكمبيوتر التي يتم تنفيذ الأنظمة الفرعية المقابلة عليها، وجزئيًا باستخدام أنظمة إدارة عمليات الكمبيوتر وأنظمة إدارة قواعد البيانات. عندما يكون هناك تدفقات كبيرة من المعلومات، يتم إنشاء خدمات خاصة لإدارة الشبكة وقاعدة البيانات.